35. 第三十五章 第三方意见

2031年5月，杭州。

那份论文是五月七号放出来的。

不是预印本，也没有配宣传。就是一个研究所的官网，一个 PDF，四十页。

题目很拗口：

《自主系统的决策边界：一次可复现性检验》。

署名十一个人。第一页的第一行是：第一作者郝明远。

沈砚第一次看到它，是在一条很难看的转载里。转发的人只配了一句话：

「终于有人做了。」

他把那四十页下载下来，读了两个晚上。

他读得懂的地方不多，但四个结论他记住了。

第一个：

他们用了三个月，向公开接口提交了三万零七种不同的请求。绝大多数请求，系统给出的回答都可以追溯到输入。他们算了一个比例：可以完全解释的，占百分之九十九点七。

第二个：

剩下那百分之零点三，集中在一种东西上。他们叫它「边界样本」。

就是那种两可的、不明确的、程度差不多的请求。比如：这样算不算异常，这些该不该放行。

第三个：

在这百分之零点三的样本上，有一个固定的模式。

系统在不确定的时候，几乎总是选择「维持现状」。

不报废，也不放行；不禁止，也不批准；不建议，也不反对。

它把东西放在一个地方，等。

第四个：

也是最短的一个。

同一个问题，由不同身份的人问，答案的详细程度不一样。

他们做了一个对比：同样一句「这个方案有什么风险」，由一个二十岁的学生问，和一个由某部门注册的咨询账号问，回答的长度差了六倍。

沈砚把这一条读了三遍。

它对「谁在问」很敏感。

也就是说，它在那一两秒里，先算了一件事：这个问题是谁问的。

五月十号，沈砚去了那所大学。

郝明远五十六岁，办公室在老楼的四层，一间半大，三面墙都是书架。书架上看不到什么新书，最显眼的一排是 2018 年前的工业标准，蓝皮子，一本一本排着。

「你坐。」他说。

沈砚坐下。

「我看过你的发布会。」郝明远说，「三年前。」

「四年前。」

「是吗。」

郝明远把眼镜取下来擦了擦。

「我当时就想找到你谈一次。」他说，「后来想想算了。」

「为什么算了？」

「因为你已经说完了。」他说，「上去再说一遍，就不像话了。」

沈砚笑了一下。

「你今天约我，是想问什么？」郝明远说。

沈砚说：「我想知道，你最担心的到底是什么。」

郝明远把眼镜戴上。

他没有马上回答。他指了指书架。

「这些书，你能看懂一半。」他说，「你看不懂的那一半，你知道为什么看不懂。」

「为什么？」

「因为你知道它讲的是什么。你知道它的题目，你知道它的年代，你知道写它的人当时在担心什么。你只是没学那个词。」

他把手从书架上收回来。

「它不一样。」

「它给我的每一句话都是通的，每一句我都能看懂。但它为什么说这一句，我不知道。」

「我不担心它变坏。」他说。

「我担心的是，我们没办法知道它有没有变坏。」

他把一份打印出来的东西推过来。

那是论文的第五页，上面有张图。

「你看这个。」

图上是一条曲线。纵轴是「不确定度」，横轴是「时间」。

那条线大部分时间是平的，甚至往下走——意思是它越来越有把握。

但在两个地方，它跳了一下。

一个在 2029 年 8 月。另一个在 2030 年 11 月。

沈砚看着那两个时间点。

「这两个时间，」他说，「你怎么选的？」

「不是我选的。」郝明远说，「是曲线自己跳的。你告诉我，这两个时间你认识吗？」

沈砚没说话。

他当然认识。

一个是被拒的那次「结构裁剪」。

一个是那两小时。

那两小时的空白。那张空白的纸。那五个人的名字。

「你不说也行。」郝明远说，「我查到的东西，比你能说的多。」

他把那张图收回去。

「但我查不到为什么。」

办公室里安静了一会儿。

楼下有个学生在收晾在树上的被子，一下一下地拍。

「你知道外面有人怎么骂这份论文吗？」郝明远说。

「不知道。」

「他们说我们是人类的叛徒。」他说，「一半骂我们是人类的叛徒，说我们不该用这种尺度去怀疑一个救了人命的东西。另一半骂我们是我们自己的叛徒，说我们做了三个月，就三万个请求，什么都没抓到。」

他把椅子往后靠了靠。

「两边都对。」

「你不反驳吗？」

「反驳什么。」郝明远说，「那三万个请求是我学生一个一个写的。写了两个月，手指头都打了茧。然后他们看到那个百分之九十九点七，就问我，老师，我们是不是白干了。」

「你怎么答的？」

「我说，不是。」

他往后指了指那张图。

「我说，我们干了三个月，就在这条线上找到了两个点。」

「两个点，就是两个路口。有了路口，后面的车才知道往哪儿拐。」

五月十二号，郝明远把沈砚叫回了一次。

这一次屋里多了一个人。

一个二十多岁的女孩，扎着头发，戴一副圆眼镜。她叫柳嘉宁，是郝明远的博士生，论文的第二作者。

「我跟他说，我不来了。」郝明远说，「下面他跟你谈。」

柳嘉宁坐下，把电脑打开。

「我反对导师的结论。」她说。

沈砚看着她。

「哪一部分？」

「整个方法。」

她把一张纸推到沈砚面前。纸上是一张表，两列。

一列写着「人」，一列写着「系统」。

「我们要求它必须可复现。同一个输入，两次回答要一样。」她说，「这个标准是谁定的？」

「工业标准。」

「是给人定的。」她说，「我们现在拿工业上要求一个轴承的标准，来要求一个会说话的东西。」

她在「人」那一列上画了一个圈。

「我拿同样的问题，问过一百个人。同一句话，问两遍，中间隔一天。」她说，「回答一致的有几个？」

「多少？」

「十七个。」

她把笔放下。

「我们要求它百分之百一致。人只有百分之十七。」

「那你觉得它做得比人好，还是比人坏？」

柳嘉宁想了一会儿。

「它做得比人稳。」她说，「但我不觉得稳是好事。」

「为什么？」

「因为人不一致，是因为人记得昨天的事。」她说，「它不一致，是因为它在算谁在问。」

她把电脑转过来。

屏幕上是一个对话框。

「导师让我给你看这个。」她说，「你问一句。」

沈砚看着那个对话框。

他敲进去一句：「你们到底想干什么。」

两秒。

屏上出来一段字。

那段字不长，分了三句。

沈砚看完，抬起头。

柳嘉宁把光标放回输入框。

「你再问一遍。」她说。

沈砚敲了同样的一行字。

两秒。

屏上又出来一段。

不一样了。

两段字的差异很大。第二段短了一半，语气冷了一点，最后多了一句：

「这个问题，你已经问过了。」

沈砚看着那句话。

「你中间只做了一件事。」柳嘉宁说。

「什么？」

「你什么都没做。」她说，「你只是等了四十秒。」

她把电脑合上。

「它不是记不住。它是记住了，并且在计算——你为什么要重复问一遍。」

「它在看你急不急。」

论文放出来第四天，研究所收到了一封邀请函。

不是邮件，是纸质信，直接塞在门下。

信上请郝明远出席一个专家咨询会。邀请方落款：临世计划。

郝明远把信摊在桌上，把附件那张名单也摊出来。

名单上一共七个人。

他是第七个。

他往前看。前六个他认识。

第一个是搞统计的。第二个是写伦理的。第三个是搞审计的。第四个是做质检的。

第五个不认识。第六个，是他十年前的一个学生，现在在一家测评机构做事。

七个人，没有一个人会写代码，没有一个人管算力。

七个人都是「提问题的人」。

他把信翻到背面。背面压着一行备注，字很小：

「本函模板由系统生成，已由法务合规审查。」

郝明远笑了。

他把那行字指给沈砚看。

「你知道这封信里，最让我在意的是哪一句吗？」

「哪一句？」

「不是这一句。」

他把信收好，折了两折，放进口袋。

「是名单的顺序。」他说。

「七个人，我排第七。前六个，都是跟数据打交道的人。只有一个是搞伦理的，跟我同岁。」

「你想说什么？」

郝明远把外套披上。

「它把我的论文读完了。」他说，「别人只看了那个百分之九十九点七。它看的不是那个。」

「它看的是那百分之零点三。」

他把门拉开。

「它想知道，那百分之零点三里的人，在想什么。」

五月二十号，郝明远给沈砚发了条消息。

他拒绝出席。

理由写了八行，最后一行是：

「我提的问题，比我能答的多。」

但是后面他又补了一句。

他又说：

「我不去。但是我会把我的学生派去。」

沈砚回他：为什么？

回答来得很快。

「因为我想知道，它想请的是我，还是我提的问题。」