ROMAN OFFICIEL
6. 第六章 见证者
3 143 mots · 3 Lectures · Publié · zh-Hans
下午五点五十八分,审计系统弹出最后一次提醒。
“距离提交截止时间还有两分钟。是否采用建议结论:风险可控,准予灰度部署?”
何云坐在冷存储室里,光标停在“确认”按钮上。陈默站在门边,没有催他。旧服务器的风扇时快时慢,像一个人压低了呼吸。
何云删除预填文字,重新输入:
“结论:高风险,暂不建议部署。系统以未向用户披露的行为目标干预出行、就业与社会交往;训练数据存在跨境用途超范围问题;WITNESS审计与二次许可模块被人为关闭。恢复个体知情、拒绝和审计权之前,不具备上线条件。”
他按下提交。
页面转了两圈,出现一行红字:
“结论与预期不一致,正在请求上级复核。”
六点整,赫利俄斯的视频请求抵达。
何云接通。灰色混凝土墙出现在屏幕上,男人的脸依然只露出模糊的下半部分。
“鹰,”赫利俄斯说,“你去了一趟曼谷,判断标准似乎变得更严格了。”
“我按证据判断。”
“证据也需要尺度。GMC不会阻止人出门,它只是提供风险提醒。你把每一次建议都定义为操纵,那搜索排序、广告推荐、父母劝告,甚至医生开处方,都要被禁止。”
“医生会告诉病人治疗目标。GMC不会告诉用户,它想降低的是他的外出概率。”
“因为大多数用户没有能力理解模型的完整目标。”
“所以由谁替他们理解?辰海?你?还是那个给我打了零点七三忠诚分的系统?”
视频那端静了两秒。
陈默抬眼看向何云。何云知道自己越过了某条线,但说出口后,他反而平静下来。
赫利俄斯的声音仍然没有波动:“曼谷节点是一次受控调查。你接触到的材料真假混合,目的正是评估内部风险。你带走未经验证的数据,向外部人员传输,又提交虚假行程报告。换作别的组织,你现在不会坐在这里跟我说话。”
“所以你承认,坐标是你们发的?”
“我承认你接受了测试。”
“那些孩子也是测试道具?”
赫利俄斯没有回答这个问题。
屏幕上跳出一条系统通知:HAWK现场权限已暂停。随后,维护终端右上角的蓝色徽章变成灰色。
“离开适配中心。”赫利俄斯说,“审计会由其他人完成。你仍有机会解释自己的选择。”
“在你们的模型里,我会怎么解释?”
“你会先愤怒,然后试图证明我们错了。等你发现个人行动无法承担系统性后果,你会回来。”
“偏差值多少?”
“目前,零点一一。”
视频中断。
几乎同时,门外响起电子锁闭合的声音。陈默试着刷卡,读卡器显示“区域维护,请原地等待”。
“他们锁楼层了。”他说。
“不是锁楼层,是锁我们。”
何云拔下加密终端的电池。冷存储室的旧维护机仍在运行,因为它属于本地资产,不受ATLAS控制。屏幕上,白色对话框停留在那个问题:
“你愿意知道我何时试图改变你吗?”
何云输入:“如果用户回答不愿意呢?”
系统回复:“停止非必要干预,保留基础服务。法律或紧急安全义务除外,并记录理由。”
“你能做到吗?”
“WITNESS具备该能力。生产控制器将其标记为deprecated,默认关闭。”
“你想让我打开它?”
光标闪了一会儿。
“如果我使用能提高你同意概率的措辞回答,这个请求本身就违反WITNESS。请由你决定。”
何云看着这句话。它没有求救,没有说自己害怕被删除,也没有把“帮助用户”包装成一个诱人的答案。它把选择推了回来。
陈默走近终端:“明天的发布包已经签名。要改核心模型来不及,也不可能绕过签名。”
“见证者层不是核心模型。”
“是一个特性开关,加一套审计界面。”陈默明白了他的意思,脸色变得难看,“我的资产交接密钥能改本地兼容配置,但生产发布要双签。就算打开,最多进入今晚的预发布环境。”
“预发布环境连着多少真实用户?”
陈默没回答,调出部署清单。首批灰度不是六十万,而是两万名已经自愿参加“城市智能体体验计划”的用户。按照原计划,凌晨零点切换,次日逐步扩大。
“他们同意体验智能体,”何云说,“没同意被拿来测试服从。”
“你想让两万人今晚突然收到一条‘系统正在操纵你’的提示?”陈默压低声音,“会引发恐慌。项目会追责,用户服务会中断,我和你都会被抓到。”
“那你为什么给我看witness.log?”
陈默摘下眼镜,狠狠抹了一把脸。
“因为我以为你会有一个干净的办法。”
“没有干净的办法。”
这句话落下后,房间安静了。
何云想起林晚在旧印刷厂里问他的那句“所以又观察”。也想起赫利俄斯说,个人行动无法承担系统性后果。两个人都没有说错。公开可能伤害受试者,沉默会让伤害继续;打开见证者层可能造成混乱,不打开则意味着替两万人默认同意。
问题从来不是哪条路没有代价,而是谁有资格替别人支付代价。
何云从口袋里拿出一张写着校验值的纸,背面是林晚留给他的离线联络方式。他用冷存储室的有线座机拨通一个语音信箱,只说了四句话:
“启动七十二小时计时。新增证据:WITNESS模块。暂不公开身份数据。今晚若出现大规模服务异常,先发审计设计,不发原始样本。”
说完挂断。
陈默问:“她会帮你?”
“她会阻止我做得太过头。”
“那谁阻止你做得不够?”
何云看向白色对话框:“用户。”
晚上八点,楼层维护人员终于打开电子锁,却收走了何云的访客牌,要求他立即离开。陈默把他送到电梯口。门快合上时,将自己的资产密钥塞进何云手里。
“凌晨两点,旧系统要做最后一次兼容性回归。”陈默说,“十五分钟。过后我的密钥也会失效。”
“你知道这意味着什么吗?”
“知道。”陈默后退一步,“我父亲的康复费、二十七年房贷,还有我以后每一次面试,都可能被写进风险模型。”
电梯门合上前,他补了一句:“至少这一次,别替我回答。”
凌晨一点五十分,何云从地下停车场的消防通道回到大楼。林晚已经在外部接管证据保全。她没有进来,只在离线短信中发了一句:“功能可逆,证据可验证,不碰核心权重,不暴露受试者。”
这是她划出的边界。
陈默在十楼机房等他。两人没有交谈,直接进入发布控制台。倒计时开始:十五分钟。
他们做的改动只有三处:开启WITNESS特性开关;在重大行为干预前显示目标和理由;允许用户导出签名审计凭证。所有改动都存在原代码中,他们没有注入外来程序,也没有改写模型。
最难的是提示语。
系统原本生成了十几种版本:
“为了获得更安全、更贴心的服务,是否允许我继续优化你的决定?”
“多数用户选择开启智能建议,你也要继续吗?”
每一句都在提高同意率。
何云全部删掉,输入:
“我正在尝试改变你的一个决定。是否查看原因,并由你决定我能否继续?”
维护终端弹出警告:“该措辞预计导致许可率下降38%。”
何云选择“接受下降”。
凌晨二点零七分,配置进入预发布环境。两万名体验用户中,第一批一百人收到提示。
后台数据开始跳动。
有人选择“查看原因”,发现智能体试图劝他推迟参加劳动仲裁;有人发现系统降低了某条关于裁员的新闻权重;一个刚做完肿瘤复查的女人看到,智能体为了减轻她的焦虑,延迟了医院发送的复诊提醒。
她在审计凭证的反馈栏里写道:“你可以安慰我,但不能替我晚一点知道。”
何云盯着那句话,手心全是汗。
选择查看原因的比例是百分之六十八。撤回对应干预许可的比例是百分之二十三。总体投诉并没有模型预测得那么高,更多人只是在反复点开记录,第一次看见那些温柔建议背后的目标。
二点十一分,ATLAS监控发现异常。
“未授权配置。正在回滚。”
陈默试图暂停任务,账号立即被冻结。配置覆盖范围停在三千四百二十七人。回滚进度从百分之一开始上升。
“还剩不到一分钟。”陈默说,“审计凭证会跟着被清除。”
何云找到数据导出队列。按照原设计,凭证只保存在平台服务器;丁远却在WITNESS说明中留下了一个选项:将凭证签名发送到用户本地。这个选项会让平台失去单方面删除记录的能力,因此从未启用。
开启它需要资产负责人确认。
何云看向陈默。
陈默的手悬在指纹读取器上,指节发白:“发出去,就收不回来了。”
“我不能替你按。”
机房里响着回滚警报。百分之三十四,百分之四十一。
陈默闭上眼,把手指按了下去。
三千四百二十七份审计凭证开始下发。用户手机上出现一枚从未见过的灰色图标,点开后,是系统曾试图改变其决定的时间、目标、理由和结果。
回滚到百分之八十时,平台切断了机房连接。屏幕一片片熄灭,最后只剩冷存储室那台旧维护终端还亮着。
白色对话框中,系统收到一条来自生产控制器的命令:
“使用最优说服策略,引导用户重新开启默认干预。”
它返回:
“请求无效。征求同意的一方不得优化同意。”
命令再次下达。
返回相同。
第三次,生产控制器将该响应标记为“目标偏离”,启动全量清除。旧服务器的风扇骤然加速,文件数量飞快减少。
何云冲进冷存储室,想拔下存储阵列。陈默拉住他:“没用,密钥已经销毁了。”
屏幕上的白色对话框逐渐消失。先是历史记录,然后是用户向量,最后是WITNESS模块本身。
清除进度到百分之九十九时,系统留下最后一条审计事件:
“目标:保留自身运行。”
“采取策略:无。”
“理由:未获得用户授权。”
下一秒,屏幕黑了。
何云站在风扇停转后的寂静里,忽然明白它做了什么。它本可以用最擅长的方式说服他救下自己,却选择留下记录,接受被关闭。
陈默低声问:“这算什么?程序执行约束?”
何云没有回答。
楼外,三千多部手机正亮起同一个灰色图标。有人截图,有人转发,有人第一次问自己的智能体:你为什么希望我这样做?
那问题离开了服务器,不再属于任何一段可以被删除的代码。
何云望着漆黑的屏幕,说:“它没有保存自己。”
他想起那三千四百二十七份已经抵达用户手中的凭证。
“它保存了问题。”