Prelaunch preview. Explore AROS products and skills. Checkout is in sandbox; no real payment.
博客

为什么我们用经过验证的节点构建工作流

智能体应当组合经过测试的方法,而不是重写它们。

Wang Ziyi阅读约12分钟中文

让一个有能力的AI智能体运行一项标准分析,它通常会从零开始编写代码:加载数据、归一化、拟合模型、绘制图表。代码往往看起来是对的,有时也确实是对的。但无论如何,对于下一个提出同样问题的人,以及再下一个人,这项工作都会被重复一遍,而每一次重写都是一次在细节上出错的新机会。即使没有AI,大多数研究人员也曾尝试复现他人的结果而失败[1];每次运行都重新编写代码,等于每次都多出一种新的出错方式。

我们的工具走的是另一条路。一种方法只实现一次,对照已发表的参考资料进行检验,然后保存为一个节点:一段固定的、带版本号的代码,并附带智能体使用它所需的上下文。在CohortDAG和Tracyte中,节点位于画布上;在我们的技能中,例如荟萃分析(meta-analysis)和孟德尔随机化(Mendelian randomization),它们是流水线背后的脚本。无论哪种形式,智能体的工作都是选择并连接这些步骤,而不是编写分析代码。本文解释我们为什么认为这是更好的分工。

为方法只付一次代价

每个节点都从一个我们可以对照检验的参考开始,可以是官方教程、软件包文档或已发表的论文。我们锁定参考版本,重新运行它,把流程重建为节点,并逐项比较输出。一致程度记录为完全一致、等效、近似或未复现,任何差异都会如实保留、清晰可见。

在CohortDAG中,用标准节点构建的六条研究流水线复现了其来源论文中的数字,91项中有89项与论文印出的数字逐位一致,另外2项在舍入误差范围内一致。在一个非公开的临床队列上,重建的流水线与原始分析笔记本逐字节一致。对照该笔记本逐一执行并审核每个节点,还发现了36个此前一直通过的测试套件从未捕捉到的缺陷,其中包括一个生存曲线中位数的置信区间上下限被互换的问题。每个缺陷都成为流水线验证器中的一项必检项目。

同样的规则也适用于我们的技能。当我们将孟德尔随机化技能与Walker等人2019年的研究对照检验时,它从冻结存档的163个关联中保留了157个工具变量,并与全部19个核心比较单元格一致。荟萃分析技能根据28篇开放获取的Cochrane系统评价所发布的数据包,重新运行了其中的每一项分析,在11,351个可核查的定量条目中复现了10,797个(95%),并列出了未复现的554个条目。

这种验证代价高昂,但我们有意承担这一代价,而且只付出一次。从此以后,节点就携带着智能体使用它所需的一切,无需重新推导方法:它做什么、它的输入和输出、它的参数、它的科学背景以及它的验证记录。节点内部的代码在该版本中保持固定;任何改动都会产生一个必须重新检验的新版本。这是把可复现计算的老规则——锁定确切的版本、避免手工步骤[2]——同时应用于智能体和研究人员的工作。

最直接的节省,是每次智能体重建一个已有方法时原本要耗费的token、调试和前期配置。对于标准分析,这项节省很大,因为方法本身就是工作的主体。

让模型能出错的地方更少

语言模型的出错率不为零;在生成的一大段代码中,每多写一行就像多抽一次签。当十六个代码生成模型被要求编写代码时,它们导入的软件包中有一定比例根本不存在:商业模型至少为5.2%,开源模型为21.7%,样本共计576,000份生成的代码[3]。一项任务需要熟练人员花费的时间越长,智能体完成它的频率就越低,而且下降得很陡[4]。在20个圆盘的汉诺塔谜题上,Meyerson及其同事把其中的算术讲得很清楚[5]:当每一步都必须正确时,微小的单步错误率会不断累积,直到一项长任务几乎必然在某处失败。他们的解决办法是把任务拆成小到可以检查的步骤,并在继续之前检查每一步;这样一来,全部1,048,575步都没有出现一次错误。

组合经过验证的节点,就是把同样的原则应用于数据分析。由于流程就存在于节点之中,智能体只需编写一份简短的图定义(运行哪些节点、按什么顺序、用什么设置),而不是成千上万行代码。这就把模型可能出错的范围,从每一行实现代码缩小到少数几个结构性选择。软件会自动检查这些选择,再由人通过人性化的图形界面在画布上审阅它们。在CohortDAG中,智能体从节点类型和参数的固定结构定义中进行选择,图在任何内容运行之前就会被验证和编译,因此虚构的节点类型或缺失的参数会被立即发现,而不是在结果中悄无声息地成为一个错误。

同样的边界也约束着模型在撰写正文时能写什么。在荟萃分析技能中,固定的R脚本计算统计量,结果文件提供系统评价正文中的每一个数字,而写作程序拒绝输出任何缺少数值的句子。证据的局限(只有一项研究、少于十项研究,或单项研究的权重超过一半)会在生成文字之前被计算成标记;它们从不留给模型临场判断。

还有第二个好处,而且它可能更大。智能体省下编写样板代码的上下文空间,就可以留给科学问题本身:数据代表什么、研究人员在检验什么、方法的假设对这个数据集是否成立,以及结果在生物学上是否说得通。一个不忙于重写归一化例程的模型,才有余力注意到样本与批次发生了混杂、某个参数超出了其已验证的范围,或者某个中间结果看起来不对,并去探究原因。复现参考结果证明的是在其原有范围内的一致;判断这个方法是否适合一个新问题,才是我们希望模型投入注意力的地方。

决定AI在哪里工作

研究中并非每一步都是机械的。有些步骤需要对含义作出判断,例如筛选摘要、标注细胞簇、阅读自由文本的临床记录,或根据文件名推断哪些样本属于同一组。最后这一步一旦出错,就可能毁掉一项研究:如果一项差异表达分析把细胞而不是样本当作重复单位,就可能报告数百个假阳性发现[6]。正是这类任务,语言模型才真正有用,也最需要护栏。

因此,我们把AI作为一个独立的、明确的步骤来对待,而不是让它像胶水一样遍布整个工作流。AI节点和其他节点一样也是一种节点,它由三部分定义:一个定制的提示词,说明它的任务、输出和限制;它加载的技能和上下文,使它遵循经过测试的规程,而不是即兴发挥;以及一个质量控制关卡,在下游任何步骤运行之前由人审阅它的输出。节点的输出会随本次运行一起记录,而一旦拒绝它,建立在它之上的一切都会失效。

自定义节点可以容纳研究人员自己的代码,适用于任何情况。一旦自定义节点或AI节点能够正常工作,研究人员就为它命名并编写说明,此后他们的智能体就能像发现和复用任何内置节点一样发现并复用它。一个实验室特有的专门知识,就这样成为其工作词汇的一部分。

这给了研究人员一个调节旋钮。一个工作流可以完全是确定性的软件,也可以包含一个或几个范围狭窄的AI步骤。一项宽泛的语义任务可以拆分成更小的阶段(分类、检查、总结),使每一步都窄到足以审核。百万步研究表明了这种控制能带来什么[5]。汉诺塔一旦被切分成最小的步骤,并且每一步都在下一步之前得到检查,一个大约每250到450步仍会犯一次错的模型,走完了全部1,048,575步而没有出现一次错误。其背后的算术表明,每一步所需的检查次数只随任务长度的对数增长,因此随着任务变长,这种方法依然有效。这个谜题的每一步都只有一个正确走法,这使对多个采样答案的投票成为可靠的逐步检查;研究问题很少如此,正因如此,每个AI节点上的审阅关卡才承担起这道检查,步骤拆得多细也由研究人员而非模型来决定。

荟萃分析技能展示了这个旋钮的实际用法。筛选和数据提取均各自独立运行两遍,每一遍都在全新的上下文窗口中运行,使两遍之间无法看到彼此。每一个AI决定都在审核台账中被标注为AI决定,而在一项系统评价所要求的两名独立筛选者中,AI筛选者至多只能算作一名。各阶段之间的关卡由具名的人签署,软件会拒绝把AI助手作为签署人。当一个工具处理敏感的临床数据时,同样的规则决定了AI所处的位置:流水线本身保持确定性,智能体则通过命令行和MCP服务器从外部操作它,组合经过测试的节点。

接下来

上述主张是可以检验的,而我们正在检验它。在一组标准分析的基准测试中,我们正在比较一个组合经过验证节点的智能体与一个从零编写分析代码的智能体,测量消耗的token、实际耗时、审阅中发现的缺陷,以及与参考结果的一致程度。我们将在后续文章中在此公布这项基准测试。

参考文献

  1. Baker M (2016). 1,500 scientists lift the lid on reproducibility. Nature 533: 452–454. doi:10.1038/533452a. 一项对1,576名研究人员的调查:超过70%的人曾尝试复现另一位科学家的实验而失败。
  2. Sandve GK, Nekrutenko A, Taylor J, Hovig E (2013). Ten simple rules for reproducible computational research. PLoS Computational Biology 9(10): e1003285. doi:10.1371/journal.pcbi.1003285. 规则2和规则3:避免手工处理数据;存档所有外部程序的确切版本。
  3. Spracklen J, Wijewickrama R, Sakib AHMN, Maiti A, Viswanath B, Jadliwala M (2024). We have a package for you! A comprehensive analysis of package hallucinations by code generating LLMs. arXiv:2406.10279; USENIX Security 2025. 十六个模型、576,000份代码样本:平均而言,商业模型生成的软件包中至少5.2%、开源模型生成的软件包中21.7%并不存在。
  4. Kwa T, West B, Becker J, et al. (2025). Measuring AI ability to complete long software tasks. arXiv:2503.14499; NeurIPS 2025. 成功率随任务所需的人类时间而下降,可以用指数衰减很好地拟合。
  5. Meyerson E, Paolo G, Dailey R, et al. (2025). Solving a million-step LLM task with zero errors. arXiv:2511.09030. 20个圆盘的汉诺塔(1,048,575步)以零错误解出,方法是单步分解、每步至少三个回答的投票,以及丢弃过长或格式错误的回答;模型原始的单步错误率为0.2–0.4%;每步所需的投票次数只随任务长度呈对数增长。该谜题的每一步都有已知的正确答案。
  6. Squair JW, Gautier M, Kathe C, et al. (2021). Confronting false discoveries in single-cell differential expression. Nature Communications 12: 5692. doi:10.1038/s41467-021-25960-2. 忽视生物学重复之间变异的方法存在偏倚,容易产生假阳性发现。

我们的记录:

  • CohortDAG 0.2.0 版本说明:六条开放数据研究流水线,对照其论文中的数字评分,91项中89项完全一致、2项等效。
  • CohortDAG 0.2.0 工具页面,来源记录日期2026年9月17日:全节点执行与审核,在一个非公开的临床队列上与笔记本逐字节一致,以及由此发现的36个缺陷。
  • 孟德尔随机化 1.0.2 证据:Walker等人2019 v2,案例2;163行存档数据,保留157行,19个核心比较单元格中19个一致。
  • 荟萃分析 1.0.0 性能报告:28篇开放获取的Cochrane系统评价,11,351个可核查的定量条目中复现了10,797个(95%)。