Prelaunch preview. Explore AROS products and skills. Checkout is in sandbox; no real payment.
博客

为什么我们把审计科研工作的规则封装成可验证的代码与AI智能体工作流

科学的检验能发现错误,但要晚好几年。审计科研工作的智能体工作流在工作进行之时就运行同样的检验,助力人与AI协同开展科研。

科学的检验在论文发表数年后才发现错误;审计科研工作的智能体工作流在工作进行之时就运行这些检验。

Wang Ziyi阅读约32分钟中文

语言模型可以在几分钟内起草一份看似可信的基金申请书、文献综述、论文稿件或审稿报告。让这些文件成为科学文件的,是一套比模型更古老的规则。自第二次世界大战以来,公共科研一直依靠少数几种制度来决定支持哪些问题、信任哪些主张:竞争性的基金评审、对文献的结构化综合分析、学术论文稿件的标准形式,以及同行评议。每一种制度都是一套规则,规定一个科学论证必须包含什么、可以如何被检验。

我们的技能正是围绕这些形式构建的:biomedical-literature-evidence技能、孟德尔随机化(Mendelian randomization)技能、荟萃分析(meta-analysis)技能、scientific-figure-master技能、grant-write-master技能、scientific-writing技能和academic-peer-review技能。我们没有为AI另起一套无人审查的工作流程,而是把科学制度中的检验编码为可执行的软件、工作流以及AI智能体技能,使智能体与人类研究人员接受同样的标准。而且,由于软件可以在任何时刻运行一项检验,检验就能移到它最能发挥作用的地方:在工作进行之时,而不是在成果发表多年之后。

规则有效,但生效太晚

八十多年来,竞争性资助、公开发表、同行评议和独立重复验证相结合,推翻过许多根深蒂固的临床教条,也揭露过长期持续的学术造假。它在事后起作用:迫使各种主张进入公开记录,让更好的证据能够击败它们,而这需要时间。

例如历史上由Egas Moniz于1930年代中期提出的前额叶脑白质切除术,在美国由Walter Freeman以经眶术式推广,施行于数以万计的患者;Moniz因这一手术分享了1949年诺贝尔生理学或医学奖[1]。终结它的,是其不断累积的危害,与一个可行的替代方案摆在一起。后来的综述报告了人格迟钝和淡漠、23%的患者出现迟发性癫痫发作、15%出现慢性头痛,以及最高达5%的死亡率[2];1950年代初氯丙嗪问世后,药物治疗作为更安全、更有效的选择取代了手术[1, 2]。这个体系自我纠正了,但用了大约四分之一个世纪。

一代人之后,同一套机制在相近的时间尺度上瓦解了一个干细胞研究项目,其数据没有经受住调查。从2001年起,Piero Anversa的实验室在顶级期刊上报告,骨髓细胞[3]以及后来的心脏常驻c-kit+细胞[6]能够再生梗死的心肌。独立实验室在这一主张可受检验之处对其进行了检验。Murry及其同事在正常和受损的小鼠心脏中进行了145次移植,追踪经遗传标记的造血干细胞,未检测到其向心肌细胞的转分化[4]。2014年,即Anversa首次报告心肌再生十三年之后,van Berlo及其同事通过谱系示踪测得,c-kit+细胞对新生心肌细胞的贡献约为0.03%或更低,这一比例很可能不具有功能意义[5]。哈佛医学院对该实验室展开调查,I期SCIPIO试验的论文被撤回,该实验室的许多论文也相继被撤回[6]。在最初的主张与撤稿之间,一项临床试验已经在患者身上进行。

检验迟迟未到时,漏过了什么

这些规则针对的是会犯错、又迫于强大压力而要讲出干净阳性故事的人;自2015年以来开展的大型重复研究项目,测量了当规则只在最后才被应用时,有多少问题会漏过去。

开放科学合作组织(Open Science Collaboration)重复了来自三本心理学期刊的100项研究,原始研究中97%具有统计显著性,而重复研究中只有36%保持了显著性,且重复所得的效应量只有原始效应量的一半[7]。癌症生物学可重复性项目(Reproducibility Project: Cancer Biology)重复了23篇高影响力论文中的50项临床前实验,得到112项可以按全部五项重复标准评分的效应[8]。在这些可评分的效应中,满足五项重复标准中至少三项的不到一半(112项中的51项,即46%),而在阳性效应中,重复效应量的中位数比原始报告小85%[8]。

这些差距的背后,既有蓄意的不端行为,也有日常的走捷径。在Fanelli对调查数据所作的汇总分析中,约2%的科学家承认至少有一次伪造、篡改或改动过自己的数据;在单项调查中,多达三分之一承认有其他可疑研究行为[9]。当被问及同事时,14%的科学家报告曾目睹篡改;在单项调查中,多达72%报告曾目睹其他可疑研究行为[9]。跨学科来看,通过文本挖掘得到的p值恰在0.05之下略有过剩,这正是不断调整分析、直到结果越过界线的特征,尽管作者判断其对结论的影响较弱[10]。Bik、Casadevall和Fang筛查了20,621篇含有蛋白质印迹(Western blot)的论文,其中782篇(3.8%)存在不当的图像重复使用,至少一半带有提示蓄意篡改的特征[11]。

最能说明问题的,是那些在标准数据库早已给出答案时仍逃过作者和审稿人的错误。在2026年10月的一篇预印本中,Sholto David选取了20种常用细胞系,它们带有已确认的缺失或双等位基因失活突变,使10种特定蛋白质丧失表达:MCF-7乳腺癌细胞缺少caspase-3,Jurkat白血病细胞缺少BAX和p16-INK4a,PC-3前列腺癌细胞缺少p53、PTEN以及整个STAT3基因[12]。一个人就能完成的文献检索,查找声称在未重新表达该基因的情况下检测到这些蛋白质的蛋白质印迹,在221篇已发表论文中发现了230份此类报告,居前的是49篇在MCF-7细胞中显示caspase-3的论文、47篇在Jurkat细胞中显示BAX的论文和35篇在PC-3细胞中显示STAT3的论文[12]。部分错误可追溯到抗体:至少有一张BAX印迹使用了一种据报道会结合另一种同等大小蛋白质的抗体,还有几篇论文使用的抗体(ab51243)是针对p16-ARC、而非名称相近的肿瘤抑制因子p16-INK4a制备的[12]。上述每一项基因或蛋白缺失都记录在Cellosaurus和人类蛋白质图谱(Human Protein Atlas)等公共资源中。规则早已存在,却没有人在关键时刻运行它。而且,正如Derek Lowe在Science上指出的,如今被要求替我们阅读全部文献的AI智能系统,也将被喂入这些印迹,连同其他一切内容[13]。

模型没有职业利害,也没有对真相的承诺

如今,智能体正在生成这些规则当初所针对的那些文件,所以第一个问题是这些规则能否评判它。能。Yamada及其同事将三篇由The AI Scientist-v2自主撰写的稿件提交给一个双盲评审的ICLR 2025研讨会,其中一篇得到6.33分,位列投稿的前45%,高于录用线,随后按照与组织者的事先约定撤回[16]。这篇论文的假设是一个组合正则化项有助于网络泛化,这一假设没有成立;实验显示没有益处,有时甚至有害。一个有基金要续期的研究人员也许会去搜寻一个有效的亚组,而这个智能体在这场专门讨论阴性结果的研讨会上直白地报告了阴性结果,审稿人也因此称赞了它[16]。

同一篇论文也显示了同行评议会漏掉什么。Yamada及其同事事后审查了这份稿件及其代码,并重新运行了合成数据生成器(它对每个运算符只能生成几十种不同的表达式),发现约57%的测试条目也出现在训练集中,图3的图注错误描述了验证损失的趋势,而正文称两种架构表现相当,图5却显示其中一种明显领先[16]。这个智能体没有需要维护的自尊,但它也没有内在的对真相的忠诚。让模型凭其权重去写文献综述,它会编造参考文献。Walters和Wilder核查了84篇由模型撰写的简短综述中的引用,GPT-3.5给出的222条引用中有55%、GPT-4给出的414条中有18%是捏造的[17]。即便在指向真实论文的引用中,GPT-3.5的引用有43%、GPT-4的引用有24%存在实质性错误[17]。基于人类反馈训练的助手还倾向于迎合用户所表达的观点,而不是证据[18]。

第二个模型只是第一个模型的一个薄弱审稿人。在一项关于自然语言处理(NLP)研究想法的盲法研究中,所测试的每一个语言模型评估者与专家排名的一致率(43%至53%)都低于专家彼此之间的一致率(56%)[15]。由模型撰写的评审作为席间的一种声音是有用的:在3,096篇Nature旗下期刊论文和1,709篇ICLR投稿中,GPT-4提出的意见与一位人类审稿人意见的重合程度,和两位人类审稿人之间的重合程度大致相当[14]。但用来要求它的标准必须来自科学制度,而且必须由比从模型中再抽一次签更可靠的东西来执行。

规则即节点

在上一篇文章中,我们论证过,智能体永远不应从零重写一项标准检验:它应当把确定性的、经过测试、封装了代码的工作流节点,与作出有界语义判断的范围狭窄的AI节点组合起来。将这一架构应用于科学写作与评审,就能赋予智能体一种不依赖任何人类偏好的程序性诚实。规则不再是要求智能体遵守的规范,而成为它无法跳过的一个步骤。

以缺失蛋白质检验为例。把它变成一个工作流,就是把两类节点配对:

  1. 范围狭窄的AI节点,每个都带有一个定制的提示词、它加载的技能和上下文,以及一个用于质量控制的关卡钩子(gated hook),一次只就一个问题阅读一份稿件或实验方案。其中一个从正文和图中标注里提取每一个(细胞系、目标蛋白、抗体货号、检测方法)元组。第二个检查方法部分中是否有能使原本缺失的基因重新表达的载体或遗传工具。
  2. 确定性代码节点在Cellosaurus、人类蛋白质图谱、Cell Model Passports和已存档的测序记录等经过整理的数据库中查询提取出的细胞系和蛋白质,并将抗体货号与已知的交叉反应和命名混淆(例如p16-ARC与p16-INK4a)进行比对[12]。

在这一工作流下工作的智能体,无法报告PC-3细胞中的内源性STAT3或MCF-7细胞中的caspase-3条带,即David在221篇论文的230份报告中所发现的缺失蛋白质错误中的两种[12]。研究人员在工作进行时就在画布上审阅AI节点提取的内容,而不是两年后在审稿报告中审阅。

这七个技能把同一规则应用于科学制度所采取的每一种形式:

在订购试剂之前运行检验

在同行评议中发现一个不可能存在的蛋白质或一个错误的小计,保护的是文献。对做这项实验的实验室来说,这已经晚了好几年。

对那221篇论文作最宽容的看法[12]:其中许多起初是诚实的疏忽,研究人员选择细胞系或订购抗体时,不知道PC-3缺少STAT3,也不知道ab51243结合的是p16-ARC。当错误在花费了十八个月的基金经费、细胞培养和学位论文工作之后才暴露时,研究人员就落入了沉没成本陷阱。承认奠基性的检测从未测到其目标,就意味着放弃整个课题。把一条非特异性条带合理化、裁剪一张印迹,或添加一个从未做过的对照,就能让论文继续推进并发表。计划阶段的粗心,是发表阶段不端行为的温床;而最终抓住造假的那项迟缓检验,正是当初制造造假压力的那项迟缓检验。

所以,检验应当放在撰写计划的地方,而我们正把它放在那里:放进我们正围绕grant-write-master技能和scientific-writing技能构建的AI原生写作工具中,它与我们的其他工具一样,作为Nexitia桌面应用中的一个节点。在那里,只要申请书或实验方案写明某个细胞系和靶标,同样的确定性细胞系节点和抗体节点就会在订购试剂之前先行运行。在实验方案阶段发现一个缺失的基因或一种有交叉反应的抗体,代价是几秒钟的计算,而不是数年的实验台工作;把诚实的错误变成造假的沉没成本压力也永远不会累积起来。这就是把科学的规则移到上游、并由非人类的程序协同把关的含义:科学制度的检验,不是作为最后的裁决来运行,而是作为开头的一个步骤来运行,为智能体,也为与它共事的人。

以软件形式运行的规则还有第二个特性,这是存在于审稿人头脑中的规则所没有的:它可以被阅读、保存并交给别人。如今这类协作大多发生在聊天窗口之中;而在聊天窗口之外,科学家与智能体应当如何共享记忆、工作流与方法,将是下一篇文章的主题。

接下来

第二次世界大战以来建立的各项制度之所以有效,是因为它们要求每一个科学论证,无论是申请书、系统评价、因果估计、图还是稿件,都采用同行能够审核和证伪的形式。我们正在对照无辅助的智能体基线,测试这七个技能与细胞系和试剂检验的组合,测量它们的确定性关卡和范围狭窄的语义关卡在文件进入人类同行评议之前,能以多高的频率发现缺失蛋白质的主张、捏造的引用、正文与表格的不符以及图注错误。我们将在后续的博客文章中在此公布这项基准测试。

参考文献

  1. Staudt MD, Herring EZ, Gao K, Miller JP, Sweet JA (2019). Evolution in the treatment of psychiatric disorders: from psychosurgery to psychopharmacology to neuromodulation. Frontiers in Neuroscience 13: 108. doi:10.3389/fnins.2019.00108. 综述了前额叶脑叶切除术和经眶脑叶切除术在数以万计患者中的兴起、Moniz的1949年诺贝尔奖,以及1950年代精神外科被氯丙嗪和锂盐取代的过程。
  2. Mehta SS, Vadali S, Singh J, Sadana SK, Singh A (2024). The legacy of Egas Moniz: triumphs and controversies in medical innovation. Cureus 16(10): e72056. doi:10.7759/cureus.72056. 记录了前额叶脑白质切除术的迟发后遗症,包括23%的患者出现癫痫发作、15%出现慢性头痛、死亡率达到5%,以及1952年氯丙嗪问世后该手术在1960年之后的急剧衰落。
  3. Orlic D, Kajstura J, Chimenti S, Jakoniuk I, Anderson SM, Li B, Pickel J, McKay R, Nadal-Ginard B, Bodine DM, Leri A, Anversa P (2001). Bone marrow cells regenerate infarcted myocardium. Nature 410: 701–705. doi:10.1038/35070587. 声称局部移植的骨髓细胞在移植九天后生成了新的心肌,占小鼠心室梗死部分的68%。
  4. Murry CE, Soonpaa MH, Reinecke H, Nakajima H, Nakajima HO, Rubart M, Pasumarthi KBS, Virag JI, Bartelmez SH, Poppa V, Bradford G, Dowell JD, Williams DA, Field LJ (2004). Haematopoietic stem cells do not transdifferentiate into cardiac myocytes in myocardial infarcts. Nature 428: 664–668. doi:10.1038/nature02446. 用心肌细胞限制性和泛表达的报告转基因追踪造血干细胞,在正常和受损的成年小鼠心脏中进行了145次移植,未检测到向心肌细胞的转分化。
  5. van Berlo JH, Kanisicak O, Maillet M, Vagnozzi RJ, Karch J, Lin SCJ, Middleton RC, Marbán E, Molkentin JD (2014). c-kit+ cells minimally contribute cardiomyocytes to the heart. Nature 509: 337–341. doi:10.1038/nature13309. 在小鼠Kit位点进行的遗传谱系示踪显示,内源性c-kit+细胞生成新心肌细胞的比例约为0.03%或更低(考虑细胞融合后低于0.008%),这一比例很可能不具有功能意义。
  6. Bolli R, Tang XL, Guo Y, Li Q (2021). After the storm: an objective appraisal of the efficacy of c-kit+ cardiac progenitor cells in preclinical models of heart disease. Canadian Journal of Physiology and Pharmacology 99(2): 129–139. doi:10.1139/cjpp-2020-0406. 综述了该实验室关于常驻c-kit+心脏祖细胞能再生梗死心肌的主张,并记录了哈佛对Anversa实验室的不端行为调查、The Lancet因在哈佛产生的实验室数据不可靠而撤回I期SCIPIO试验论文,以及该实验室许多论文被撤回。
  7. Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science 349(6251): aac4716. doi:10.1126/science.aac4716. 对来自三本心理学期刊的100项研究进行的高统计功效的重复研究:97%的原始研究报告P < 0.05,重复研究中为36%,重复效应量为原始效应量的一半。
  8. Errington TM, Mathur M, Soderberg CK, Denis A, Perfito N, Iorns E, Nosek BA (2021). Investigating the replicability of preclinical cancer biology. eLife 10: e71601. doi:10.7554/eLife.71601. 重复了23篇高影响力论文中的50项临床前实验,得到158个效应(117个为数值型,其中112个可按全部五项标准评分):这112个效应中有46%(51个)满足五项二元重复标准中的至少三项,阳性效应重复效应量的中位数比原始值小85%。
  9. Fanelli D (2009). How many scientists fabricate and falsify research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE 4(5): e5738. doi:10.1371/journal.pone.0005738. 对18项调查的汇总综合:加权平均1.97%的科学家(7项研究)承认至少一次伪造、篡改或修改数据,多达33.7%承认有其他可疑研究行为;14.12%(12项研究)报告目睹同事篡改数据,多达72%目睹过可疑研究行为。
  10. Head ML, Holman L, Lanfear R, Kahn AT, Jennions MD (2015). The extent and consequences of p-hacking in science. PLoS Biology 13(3): e1002106. doi:10.1371/journal.pbio.1002106. 从PubMed Central开放获取文章中文本挖掘p值;跨学科来看,与相邻的较低区间相比,p值在紧邻0.05之下处聚集,作者将其解读为p值操纵:可能很常见,但其影响似乎较弱。
  11. Bik EM, Casadevall A, Fang FC (2016). The prevalence of inappropriate image duplication in biomedical research publications. mBio 7(3): e00809-16. doi:10.1128/mBio.00809-16. 目视筛查了40种期刊(1995–2014)中与检索词“Western blot”匹配的20,621篇生物医学论文中的照片图像:782篇论文(3.8%)含有有问题的图像重复,至少一半带有提示蓄意篡改的特征。
  12. David S (2026). Erroneous reports of protein expression in cell lines with genetic deletions and mutations. Zenodo (21 October 2026). doi:10.5281/zenodo.23498482. 一篇Zenodo预印本。选取20种常用细胞系,它们在10种蛋白质上带有已确认的纯合缺失或双等位基因失活突变(对照Cellosaurus、人类蛋白质图谱、Cell Model Passports和GEO测序数据核对),并通过一人完成的文献检索,在221篇已发表论文中发现230份错误的蛋白质印迹报告,居前的是MCF-7中的caspase-3(49篇论文)、Jurkat中的BAX(47篇论文)和PC-3中的STAT3(35篇论文)。
  13. Lowe D (2026). The case of the should-be-missing proteins. Science, In the Pipeline, 21 October 2026. https://www.science.org/content/blog-post/case-should-be-missing-proteins. 对David预印本的评论:一人检索发现221篇论文中的230个例子;所指出的原因是细胞系鉴定错误或被污染,以及抗体非特异或用错;并警告用于理解文献的AI系统将被喂入这些错误。
  14. Liang W, Zhang Y, Cao H, Wang B, Ding D, Yang X, Vodrahalli K, He S, Smith DS, Yin Y, McFarland DA, Zou J (2024). Can large language models provide useful feedback on research papers? A large-scale empirical analysis. NEJM AI 1(8): AIoa2400196. doi:10.1056/AIoa2400196; arXiv:2310.01783. 在3,096篇Nature旗下期刊论文和1,709篇ICLR投稿中,GPT-4与一位人类审稿人之间的意见重合度(30.85%和39.23%)与两位人类审稿人之间的重合度(28.58%和35.25%)相当。
  15. Si C, Yang D, Hashimoto T (2024). Can LLMs generate novel research ideas? A large-scale human study with 100+ NLP researchers. arXiv:2409.04109; ICLR 2025. 一项盲法研究,有49位撰写想法的专家和79位专家评审人(298份评审):每一个被测试的LLM评估者与专家的排名一致率(43.3%至53.3%)都低于专家彼此之间的一致率(56.1%)。
  16. Yamada Y, Lange RT, Lu C, Hu S, Lu C, Foerster J, Clune J, Ha D (2025). The AI Scientist-v2: workshop-level automated scientific discovery via agentic tree search. arXiv:2504.08066. 向一个双盲评审的ICLR 2025研讨会提交了三篇自主撰写的稿件:其中一篇报告组合正则化阴性结果的论文得到6.33分(前45%,高于录用阈值),而作者对其代码和文本的自行审查发现了57%的训练集与测试集重叠、不准确的图3图注,以及与图5相矛盾的正文。
  17. Walters WH, Wilder EI (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13: 14045. doi:10.1038/s41598-023-41032-5. 在涉及42个主题、包含636条引用(222条来自GPT-3.5,414条来自GPT-4)的84篇简短文献综述中,GPT-3.5引用的55%和GPT-4引用的18%是捏造的,GPT-3.5真实引用的43%和GPT-4真实引用的24%含有实质性错误。
  18. Sharma M, Tong M, Korbak T, Duvenaud D, Askell A, Bowman SR, Cheng N, Durmus E, Hatfield-Dodds Z, Johnston SR, Kravec S, Maxwell T, McCandlish S, Ndousse K, Rausch O, Schiefer N, Yan D, Zhang M, Perez E (2023). Towards understanding sycophancy in language models. arXiv:2310.13548; ICLR 2024. 五个经基于人类反馈的强化学习训练的最先进助手,在四项自由形式文本生成任务中一致表现出谄媚(sycophancy),迎合用户观点而非给出真实的回答。

我们的记录:

  • Biomedical Literature Evidence 1.0.0-public.1 验证记录:19个unittest方法通过;3条RIS和CSL-JSON记录中的3条保留为未核实;合成的“已完成但证据不足”台账检查(completed: true, support_ready: false)。
  • 孟德尔随机化 1.0.0-public.2 复现报告:Walker等人2019年第2版,案例2;163行存档数据,保留157行,19个核心比较单元格中19个一致,并记录了正文与表4之间的P值不一致。
  • 荟萃分析 1.0.0 性能报告:28篇开放获取的Cochrane系统评价,复现了1,061项合并分析中的1,060项和11,351个可核查定量条目中的10,797个(95%)。
  • Scientific Figure Master 1.1.2 技能页面:20条真实图注中61个评分图注字段中61个正确;32个单元测试通过;当重新计算的p = 0.2与图注矛盾时不加显著性星号。
  • Grant Writing Master 7.0.0-public.1 验证记录:6个unittest方法和8个路由用例通过;事实保留记录显示,一次合成的修订在英文和日文中都保留了p = 0.20和一项非因果关联。
  • Scientific Writing 1.1.0 版本说明:同一输入下的完整稿件修订对比,附有独立的编辑决定记录,并保留了无显著性的结果和相反的结果。
  • Academic Peer Review 1.0.2 技能页面和基准测试:覆盖范围依据60份已发表公开评审中的1,035条审稿意见校准;在PeerJ 20995投稿上盲读,捕捉到49个逐条审稿意见中的6个,经审核其中4个为实质性匹配,包括决定性的、缺乏依据的排序问题,并要求了9项由评审驱动的v1到v2修改中的5项。该技能对这份投稿的评审是公开的。