自动研究缺的不是更多答案,而是一道门
生成已经不是最贵的部分
过去做研究,提出一个像样的假设、找到相关文献、写出程序、跑完实验,任何一步都可能花很长时间。
现在,AI 可以在一次任务里给出几十个候选,接着生成数学推导、代码、实验计划和论文草稿。给它更多模型、更多 Agent 和更多算力,候选还会继续增加。
这很容易让人以为,Auto Research 的核心问题是怎样让 AI 产生更多、更好的问题。
我在 Minimax 和 MRI 项目中看到的却是相反的局面:候选产生得太快,验证跟不上;而比验证更稀缺的,是决定哪个候选值得占用验证资源。
因为一个候选即使最后成立,也可能只是:
- 已知结论换了一套语言;
- 一个定义展开后的必然结果;
- 只在过度理想化条件下存在的微小效应;
- 不改变任何预测、设计或决策的正确命题;
- 无法进入现实反馈,却被写成了完整研究的问题。
如果没有准入机制,增加算力不一定让研究更快接近知识,也可能只是更快地产生正确而平凡、复杂而无用、或者根本无法判定的结果。
Auto Research 缺的首先不是更多答案,而是一道能够说“不”的门。
这道门不负责判断真假
我已经把双轨定义为 Auto Research 的基本治理单元:逻辑问题以形式化为终局,工程问题以相应层级的可复现结果为终局,目前无法进入两者的问题留在边界之外。
但双轨只回答:一个已经说清楚的问题,应当由什么机制判定。
它不回答:这个问题是否值得消耗证明、实验、数据、设备和人的注意力。
这两件事不能混在一起。
一个命题可能非常重要,最后却被证明为假;这仍然可能是一项有价值的研究,因为它排除了一个真正的不确定性。另一个命题可以被 Lean 严格证明,也可以被程序稳定复现,却没有提供任何新东西。
所以,意义门不是双轨中的第三条真理轨道。它不裁决“真”或“假”,而是裁决另一件事:
在当前目标、知识状态和资源条件下,这个候选是否值得进入昂贵判定?
候选通过意义门,不代表它正确;候选在双轨中成立,也不代表它重要。
候选生成:它也许是什么
→ 意义门:它是否值得被判定
→ 双轨:它在自己的类型中是否成立
→ 再次过门:这个结果是否值得继续扩大投入
门禁治理资源,双轨治理命题。它们彼此相邻,不能互相替代。
这里还需要声明一个现状边界:下面的意义门,是我从 Minimax 的停止经验和 MRI 的负结果记录中抽象出来的治理设计,不是 MRI 项目已经完整部署并证明有效的一套流程。两个项目提供了问题和局部实践,门禁本身仍需要在更多研究中被实现、修改和检验。
Minimax:什么时候应该停止增加复杂度
Minimax 没有一开始就叫“意义门”。它只是让我第一次清楚遇到:一个微小信号还在,但继续做下去可能已经没有意义。
项目先后尝试了六版小模型。后来又把《易经》64 卦、384 爻整理成数据,研究传统结构能够解释多少文本差异。
最初有过一个看起来令人兴奋的相关系数:r≈0.28。它很容易被误说成“解释了 28%”。加入按卦留出的交叉验证与随机基线后,项目内部能够稳定保留的解释率收紧到约 14%,而且主要来自位置结构。再用最小描述长度测量,收益只剩每爻约 0.06–0.11 bit。
这些数字没有证明《易经》不存在更多结构,也没有给出它的绝对上限。它们只描述当时的数据、特征、模型和评估协议。
问题是:要不要继续堆更复杂的模型?
如果目标只是让某个数字继续上涨,总能再增加特征、交互项和参数。如果目标是减少真正的不确定性,那么多种模型和测量已经大致收敛,新增复杂度没有带来相称的工程优势,剩余问题也需要另一种材料或观察角度。
项目于是停止。
停止不是因为结果为负。更准确地说,项目得到了一项有限结果,也发现继续沿同一条路径投入的边际信息已经很低。
意义门在这里处理的不是“14% 算不算成功”,而是:下一单位资源还能不能明显改变我们对问题的认识?
MRI:正确以后,问题才真正出现
MRI 项目把这个矛盾推得更远。
一个 cellular sheaf sampling 候选被接到有限维 HARDI 模型以后,相关逻辑命题完成了形式化,数值实现也可以复现。但最后得到的 sheaf bandwidth,在这个模型里就是熟悉的 1/条件数。
它可以是正确的。
它也可以没有产生新的 MRI 指标和可操作建议。
另一次尝试希望用这个指标帮助欠定重建选择正则化。实验最后暴露出一个结构性问题:指标能描述有效值域上的条件状况,却看不见零空间,因而不能解决真正的不可辨识性。继续优化同一个指标,不会让它突然获得观察零空间的能力。
还有一些候选在文献检查后发现已有成熟先例,或者在形式化与数值扫描后退化成条件数现象。它们并非全是假命题。其中一部分在自己的声明范围内完全成立,只是没有留下足够的研究增量。
这些结果让我意识到,Auto Research 不能只有“提出—证明—复现”的流水线。
如果一个系统把所有形式正确、工程可跑的结果都升级为“研究成果”,它最终会生产大量无可争辩却无关紧要的知识碎片。验证越强,这些碎片甚至越像真正的突破。
意义门必须在昂贵判定之前出现,也必须在结果成立以后再次出现。
一个候选进入验证前,至少要回答什么
意义无法被压缩成一个永远通用的分数。但候选可以被要求提交一张准入卡,至少回答六个问题。
1. 它对应哪个真实未知?
候选必须指向知识地图中的空白、矛盾、未解释现象或默认假设。仅仅“把 A 用到 B”不是问题;它需要说明 B 中究竟有什么尚未解决。
2. 相对已有工作,它增加了什么?
更换术语、符号和叙事,不等于增加知识。系统要主动搜索最接近的已有结果,并说明新增的是条件、边界、预测、构造,还是决策能力。
3. 去掉新包装以后,结论还剩什么?
做消融:移除声称的新结构,换回普通基线。如果结果几乎不变,新增结构可能只是装饰。
4. 它产生什么新的可观察后果?
一个候选不一定立刻产生产品或临床结果,但至少应改变某个可检查的东西:一个预测、一个边界、一个反例、一种构造,或者对两个方向的取舍。
5. 什么结果能够杀死它?
如果任何输出都能被解释成支持,候选就还没有进入研究。停止条件必须在看到结果前尽量写清楚。
6. 最便宜的区分实验是什么?
不要先写整篇论文或形式化一座大厦。先寻找能够最大幅度区分“值得继续”和“应该停止”的最小实验、最小反例或最小定理。
这六问不是为了保证正结果,而是为了保证无论结果正负,投入都可能减少某种明确的不确定性。
门禁不能变成品味独裁
一旦开始谈“什么研究值得做”,危险也随之出现。
意义依赖目标、使用情境和成本。一个对 MRI 工程没有新意的数学接口,可能对形式化方法教学有价值;一个今天成本过高的实验,可能在设备变化以后变得值得。所谓重要性,不可能完全从定理中推出。
如果门禁只奖励短期可量化收益,它会系统性排斥最陌生、最难描述、也最可能改变框架的问题。如果门禁只服从资深专家的既有品味,它又可能把领域当前的盲点固化下来。
所以,门不是一个永不改变的排行榜,也不是某个人的直觉裁决。它至少需要:
- 显式记录当前目标、预算与风险边界;
- 保存被拒绝候选和拒绝理由,而不是把它们从历史中删除;
- 允许在新证据、目标或资源出现后重新入场;
- 给少量高不确定、低共识候选保留受限的探索额度;
- 把不可逆、高风险的现实行动与低成本的理论探索分开授权;
- 定期审查门禁是否只是在奖励容易通过门禁的产物。
这意味着意义门本身也是治理对象。
它会误杀,也会放过平凡结果。它的价值不在于永远选对,而在于使资源分配的理由、失败和修改都有迹可循。
拒绝也应该成为研究产物
传统论文通常只展示穿过所有门的结果。Auto Research 如果继续这样记录,会有一个严重问题:系统看不见自己为什么曾经停止,也就会在下一轮重新生成同样的候选。
因此,被门禁拒绝不应该等于被删除。
一次拒绝至少应留下:
候选和来源
当时的目标与资源条件
最接近的已有工作
通过了哪些检查
在哪一道门停止
停止所依据的证据
什么变化足以重新开启它
Minimax 的价值不只在最后留下约 14% 或 0.06–0.11 bit,也在于记录了为什么不再增加模型复杂度。MRI 的负结果不只关闭了若干候选,也让零空间、条件数和语义映射成为以后新候选必须提前面对的边界。
对于自动系统,这些记录还是一种防重复记忆。它们让一次失败不必在换一个 Agent、换一个措辞以后重新付费。
负结果不是正结果的次等版本。只要它排除了一个此前真实存在的可能性,并且边界与证据足够清楚,它就在减少未知。
算力应该放大筛选后的深度,而不是未筛选的数量
我过去受限于算力,所以很自然地想象:如果资源更多,就可以更快、更大量地产出研究成果。
这可能是真的一半。
更多算力确实可以搜索更多领域、提出更多候选、完成更多证明和实验。但候选数量增长以后,来源核对、语义翻译、独立复现、现实反馈和价值判断并不会自动按同样速度增长。没有门禁,算力首先放大的可能是待验证队列和共同模式错误。
真正可扩展的 Auto Research,不应把所有想法都送进最昂贵的流程。它应该先用最便宜的证据淘汰明显重复、无法证伪、没有增量或不符合当前目标的候选,再把资源集中到少量仍然改变认识的路径上。
这道门不会告诉我们最终应该研究什么。它只能让每一次“继续”都说明理由,让每一次“停止”都留下证据。
研究仍然充满随机性。通过门禁的候选仍可能全部失败,最有价值的发现也可能来自最初看似古怪的方向。
门禁不是为了消灭这种随机性。
它是为了让随机探索不等于无记忆地消耗资源,让高速生成不等于高速宣布成果。
当答案可以无限增加,真正稀缺的能力也许不是继续回答,而是知道哪一个问题有资格消耗下一单位现实。