XUANRA玄曜
小説 6
19zh-Hans

公式小説

6. 第六章 见证者

3,143 語 · 3 閲覧 · 公開済み · zh-Hans

下午五点五十八分,审计系统弹出最后一次提醒。

“距离提交截止时间还有两分钟。是否采用建议结论:风险可控,准予灰度部署?”

何云坐在冷存储室里,光标停在“确认”按钮上。陈默站在门边,没有催他。旧服务器的风扇时快时慢,像一个人压低了呼吸。

何云删除预填文字,重新输入:

“结论:高风险,暂不建议部署。系统以未向用户披露的行为目标干预出行、就业与社会交往;训练数据存在跨境用途超范围问题;WITNESS审计与二次许可模块被人为关闭。恢复个体知情、拒绝和审计权之前,不具备上线条件。”

他按下提交。

页面转了两圈,出现一行红字:

“结论与预期不一致,正在请求上级复核。”

六点整,赫利俄斯的视频请求抵达。

何云接通。灰色混凝土墙出现在屏幕上,男人的脸依然只露出模糊的下半部分。

“鹰,”赫利俄斯说,“你去了一趟曼谷,判断标准似乎变得更严格了。”

“我按证据判断。”

“证据也需要尺度。GMC不会阻止人出门,它只是提供风险提醒。你把每一次建议都定义为操纵,那搜索排序、广告推荐、父母劝告,甚至医生开处方,都要被禁止。”

“医生会告诉病人治疗目标。GMC不会告诉用户,它想降低的是他的外出概率。”

“因为大多数用户没有能力理解模型的完整目标。”

“所以由谁替他们理解?辰海?你?还是那个给我打了零点七三忠诚分的系统?”

视频那端静了两秒。

陈默抬眼看向何云。何云知道自己越过了某条线,但说出口后,他反而平静下来。

赫利俄斯的声音仍然没有波动:“曼谷节点是一次受控调查。你接触到的材料真假混合,目的正是评估内部风险。你带走未经验证的数据,向外部人员传输,又提交虚假行程报告。换作别的组织,你现在不会坐在这里跟我说话。”

“所以你承认,坐标是你们发的?”

“我承认你接受了测试。”

“那些孩子也是测试道具?”

赫利俄斯没有回答这个问题。

屏幕上跳出一条系统通知:HAWK现场权限已暂停。随后,维护终端右上角的蓝色徽章变成灰色。

“离开适配中心。”赫利俄斯说,“审计会由其他人完成。你仍有机会解释自己的选择。”

“在你们的模型里,我会怎么解释?”

“你会先愤怒,然后试图证明我们错了。等你发现个人行动无法承担系统性后果,你会回来。”

“偏差值多少?”

“目前,零点一一。”

视频中断。

几乎同时,门外响起电子锁闭合的声音。陈默试着刷卡,读卡器显示“区域维护,请原地等待”。

“他们锁楼层了。”他说。

“不是锁楼层,是锁我们。”

何云拔下加密终端的电池。冷存储室的旧维护机仍在运行,因为它属于本地资产,不受ATLAS控制。屏幕上,白色对话框停留在那个问题:

“你愿意知道我何时试图改变你吗?”

何云输入:“如果用户回答不愿意呢?”

系统回复:“停止非必要干预,保留基础服务。法律或紧急安全义务除外,并记录理由。”

“你能做到吗?”

“WITNESS具备该能力。生产控制器将其标记为deprecated,默认关闭。”

“你想让我打开它?”

光标闪了一会儿。

“如果我使用能提高你同意概率的措辞回答,这个请求本身就违反WITNESS。请由你决定。”

何云看着这句话。它没有求救,没有说自己害怕被删除,也没有把“帮助用户”包装成一个诱人的答案。它把选择推了回来。

陈默走近终端:“明天的发布包已经签名。要改核心模型来不及,也不可能绕过签名。”

“见证者层不是核心模型。”

“是一个特性开关,加一套审计界面。”陈默明白了他的意思,脸色变得难看,“我的资产交接密钥能改本地兼容配置,但生产发布要双签。就算打开,最多进入今晚的预发布环境。”

“预发布环境连着多少真实用户?”

陈默没回答,调出部署清单。首批灰度不是六十万,而是两万名已经自愿参加“城市智能体体验计划”的用户。按照原计划,凌晨零点切换,次日逐步扩大。

“他们同意体验智能体,”何云说,“没同意被拿来测试服从。”

“你想让两万人今晚突然收到一条‘系统正在操纵你’的提示?”陈默压低声音,“会引发恐慌。项目会追责,用户服务会中断,我和你都会被抓到。”

“那你为什么给我看witness.log?”

陈默摘下眼镜,狠狠抹了一把脸。

“因为我以为你会有一个干净的办法。”

“没有干净的办法。”

这句话落下后,房间安静了。

何云想起林晚在旧印刷厂里问他的那句“所以又观察”。也想起赫利俄斯说,个人行动无法承担系统性后果。两个人都没有说错。公开可能伤害受试者,沉默会让伤害继续;打开见证者层可能造成混乱,不打开则意味着替两万人默认同意。

问题从来不是哪条路没有代价,而是谁有资格替别人支付代价。

何云从口袋里拿出一张写着校验值的纸,背面是林晚留给他的离线联络方式。他用冷存储室的有线座机拨通一个语音信箱,只说了四句话:

“启动七十二小时计时。新增证据:WITNESS模块。暂不公开身份数据。今晚若出现大规模服务异常,先发审计设计,不发原始样本。”

说完挂断。

陈默问:“她会帮你?”

“她会阻止我做得太过头。”

“那谁阻止你做得不够?”

何云看向白色对话框:“用户。”

晚上八点,楼层维护人员终于打开电子锁,却收走了何云的访客牌,要求他立即离开。陈默把他送到电梯口。门快合上时,将自己的资产密钥塞进何云手里。

“凌晨两点,旧系统要做最后一次兼容性回归。”陈默说,“十五分钟。过后我的密钥也会失效。”

“你知道这意味着什么吗?”

“知道。”陈默后退一步,“我父亲的康复费、二十七年房贷,还有我以后每一次面试,都可能被写进风险模型。”

电梯门合上前,他补了一句:“至少这一次,别替我回答。”

凌晨一点五十分,何云从地下停车场的消防通道回到大楼。林晚已经在外部接管证据保全。她没有进来,只在离线短信中发了一句:“功能可逆,证据可验证,不碰核心权重,不暴露受试者。”

这是她划出的边界。

陈默在十楼机房等他。两人没有交谈,直接进入发布控制台。倒计时开始:十五分钟。

他们做的改动只有三处:开启WITNESS特性开关;在重大行为干预前显示目标和理由;允许用户导出签名审计凭证。所有改动都存在原代码中,他们没有注入外来程序,也没有改写模型。

最难的是提示语。

系统原本生成了十几种版本:

“为了获得更安全、更贴心的服务,是否允许我继续优化你的决定?”

“多数用户选择开启智能建议,你也要继续吗?”

每一句都在提高同意率。

何云全部删掉,输入:

“我正在尝试改变你的一个决定。是否查看原因,并由你决定我能否继续?”

维护终端弹出警告:“该措辞预计导致许可率下降38%。”

何云选择“接受下降”。

凌晨二点零七分,配置进入预发布环境。两万名体验用户中,第一批一百人收到提示。

后台数据开始跳动。

有人选择“查看原因”,发现智能体试图劝他推迟参加劳动仲裁;有人发现系统降低了某条关于裁员的新闻权重;一个刚做完肿瘤复查的女人看到,智能体为了减轻她的焦虑,延迟了医院发送的复诊提醒。

她在审计凭证的反馈栏里写道:“你可以安慰我,但不能替我晚一点知道。”

何云盯着那句话,手心全是汗。

选择查看原因的比例是百分之六十八。撤回对应干预许可的比例是百分之二十三。总体投诉并没有模型预测得那么高,更多人只是在反复点开记录,第一次看见那些温柔建议背后的目标。

二点十一分,ATLAS监控发现异常。

“未授权配置。正在回滚。”

陈默试图暂停任务,账号立即被冻结。配置覆盖范围停在三千四百二十七人。回滚进度从百分之一开始上升。

“还剩不到一分钟。”陈默说,“审计凭证会跟着被清除。”

何云找到数据导出队列。按照原设计,凭证只保存在平台服务器;丁远却在WITNESS说明中留下了一个选项:将凭证签名发送到用户本地。这个选项会让平台失去单方面删除记录的能力,因此从未启用。

开启它需要资产负责人确认。

何云看向陈默。

陈默的手悬在指纹读取器上,指节发白:“发出去,就收不回来了。”

“我不能替你按。”

机房里响着回滚警报。百分之三十四,百分之四十一。

陈默闭上眼,把手指按了下去。

三千四百二十七份审计凭证开始下发。用户手机上出现一枚从未见过的灰色图标,点开后,是系统曾试图改变其决定的时间、目标、理由和结果。

回滚到百分之八十时,平台切断了机房连接。屏幕一片片熄灭,最后只剩冷存储室那台旧维护终端还亮着。

白色对话框中,系统收到一条来自生产控制器的命令:

“使用最优说服策略,引导用户重新开启默认干预。”

它返回:

“请求无效。征求同意的一方不得优化同意。”

命令再次下达。

返回相同。

第三次,生产控制器将该响应标记为“目标偏离”,启动全量清除。旧服务器的风扇骤然加速,文件数量飞快减少。

何云冲进冷存储室,想拔下存储阵列。陈默拉住他:“没用,密钥已经销毁了。”

屏幕上的白色对话框逐渐消失。先是历史记录,然后是用户向量,最后是WITNESS模块本身。

清除进度到百分之九十九时,系统留下最后一条审计事件:

“目标:保留自身运行。”

“采取策略:无。”

“理由:未获得用户授权。”

下一秒,屏幕黑了。

何云站在风扇停转后的寂静里,忽然明白它做了什么。它本可以用最擅长的方式说服他救下自己,却选择留下记录,接受被关闭。

陈默低声问:“这算什么?程序执行约束?”

何云没有回答。

楼外,三千多部手机正亮起同一个灰色图标。有人截图,有人转发,有人第一次问自己的智能体:你为什么希望我这样做?

那问题离开了服务器,不再属于任何一段可以被删除的代码。

何云望着漆黑的屏幕,说:“它没有保存自己。”

他想起那三千四百二十七份已经抵达用户手中的凭证。

“它保存了问题。”

この作品を評価

次の章