Prelaunch preview. Explore AROS products and skills. Checkout is in sandbox; no real payment.
博客

超越聊天窗

科学家通过对话使用AI,而对话会丢失线索;私有系统能保住线索,却把它围在墙内。我们正在构建共享的科研经验系统。

聊天记录无法执行、无法检查,也无法分享;用AI做科研,需要一个三者兼备的环境。

Wang Ziyi阅读约16分钟中文

如今用AI开展科研工作的研究人员,尤其是生物医学领域的研究人员,大多只是通过一个聊天窗口来做。一个问题,一个回答,一次纠正,再一个问题,持续几个小时。经验更丰富的人会在窗口周围搭建一些东西:比如预制的提示词文件,一套要求模型首先读取的笔记文件树,一个自制的记忆库,一个工作流运行器等。然而面对一个在会话之间遗忘一切的工具,这两种习惯都是合理的应对。两者也都会在科研共同体的某些重要方面发生失败。

对话之所以低效,是因为它无法承载一种方法,也无法通过自我循环完成一系列长程任务。私有系统之所以低效,是因为它只为一个人服务。在上一篇文章中,我们主张审计科研工作的规则(同行评议、文献综述、荟萃分析(meta-analysis)、科研经费管理与审计的制度)应当作为软件在工作进行的同时运行。nexitia.ai正在开发中的运行规则的软件还有聊天记录所缺少的两种性质:人能够读懂它,人也能够把它传给别人以及AI智能体。本文讨论的是同时赋予科学家和智能体这些性质的环境:科学家可以查阅追踪以及分享的记忆,科学家可以看见的工作流,以及一种分享方法与范式而不分享数据的途径。我们正在把它构建为一个桌面应用:Nexitia。

对话无法承载什么

聊天是一份仅追加的记录,其中一切内容的权重都相同。第47轮奏效的方法,与第12轮的错误开端、粘贴进来的表格、道歉和重试并排放在一起。其中没有任何内容带版本号,没有任何内容经过测试,也没有任何东西标明最终结果依赖于哪几行。会话结束时,研究人员手里只剩下一份需要从中挖掘的对话记录,或一份模型针对自身所写的总结。

模型本身也不能很好地抓住线索,这被称为注意力丢失。Laban及其同事选取了模型在一条完整、明确的指令下能够解决的任务,再通过一个模拟用户把同一条指令每轮透露一部分;结果模型很早就作出假设,在假设之上继续构建,而一旦对话走偏便很少能恢复[1]。在六项任务中,他们测试的15个模型的得分平均比一次性给出完整指令时低39%[1]。即使在一个长提示词之内,事实在上下文中的位置也会影响模型是否使用它:Liu及其同事发现,相关文档位于输入的开头或结尾时准确率最高,位于中间时最低,其中一个模型在这种情况下的表现甚至不如完全不提供文档[2]。一场漫长的科学对话正是这两项发现的最坏情形:决定性的细节通常位于中间,只说过一次,而且是在许多轮之前。

私有系统解决了第一个问题,又制造了第二个问题。一位维护提示词库和记忆库的研究人员,拥有对话无法给予的东西:连续性。但这个记忆库用的是他们自己的词汇,围绕他们自己的项目组织,其他任何人都读不懂。科学在没有AI的时候就遇到过这堵墙。Collins在1971年和1972年访谈了十二个正在制造TEA激光器的实验室,没有一个仅凭书面资料就能成功制造并让激光器运转起来;每一个造出可用激光器的实验室,都是通过拜访、电话或人员流动,从一个已经拥有激光器的实验室那里学会的[3]。方法是通过人际间的真实物理接触传播的,而不是通过记录。四十年后,在一项要求提供数据和代码的期刊政策之下,Stodden及其同事在204篇计算类Science论文中只拿到了89篇的研究材料,并估计这204篇中只有约26%的结果能够被复现[4]。私有的AI记忆是同一堵墙,只是换了一层更新的表面:诀窍存在,甚至已经写了下来,却依然无法传播。

科学家可以打开的记忆

Nexitia把三个部分汇集到一个窗口中:Nexitia Core(目前列为AROS Core),即记忆与编排引擎;IDE,供人检查上下文、文件和输出;以及Commander,负责协调一个实验室多台机器上的工作。聊天窗口仍然保留,位于画布旁边,而不是取代画布。Nexitia Core是我们的工具和智能体赖以工作的记忆。它把不止一种知识分开存放,因为它们的用法不同:与某个事件相关联的观察、可复用的事实、概念性或启发式的模型,以及指导行动的规程(白皮书第9节)。对话把这些压平成一条信息流;Nexitia Core则按其本来面目保存它们,连同其来源、版本和适用范围,使后来的任务可以调取一个验证规程,而不会继承编写它的那个项目的假设。

来自我们自己参考实例的数据说明了这种记忆需要做什么。截至2026年9月7日,它保存了22,714条物理世界的实验事实、16,591条情景经验,以及技能层级中的2,197种专项技能,这是一个实验室的大脑(共享大脑统计)。在618次有记录的检索中,提示词只调取了282个不同的技能,占技能库的13%。我们在公开页面上展示这未被使用的87%,因为它正是主张精选而非累积的论据。记忆并非越大越好;记忆的用处,取决于正确的那一部分是否在正确的时刻到达智能体,以及人能否看到是哪一部分。

最后这项要求,即人能看到智能体用了哪一部分,是一条正在开发的系统特性。Nexitia Core通过渐进式披露加载上下文:智能体从候选工具和工作流的简要描述出发,审查输入、假设以及已经验证的内容,加载所选操作的指令和检查项,只在需要时才打开详细的方法和参考资料。研究人员检查所选的上下文及其来源;权限、版本和输入兼容性由软件而非模型来检查。智能体赖以推理的记忆,是一个可供研究人员打开并审阅的视图:它用到的事实、知识条目、技能和wiki页面,以及它们之间的联系,以图的形式绘出,而不是埋在对话记录里。在Nexitia中,这个视图使用与CohortDAG和Tracyte相同的画布:步骤按阶段分组,远看时一个阶段折叠为单个节点,研究人员放大细看时再展开,这样一个包含数百个步骤的项目,可以在使用者需要的层级上阅读。

智能体自身的工作也以同样的方式绘出。在Nexitia聊天中进行的一次对话作为一项作业运行,因此它被给予了什么、产生了什么,都会像任何其他运行一样进入记忆,而不会随窗口一起消失。当多个智能体共同处理一项任务时,这项任务呈现为一个工作流:每个智能体的步骤都是节点;当某个智能体使用我们的一个AI原生工具时,比如用Tracyte进行单细胞RNA-seq分析,这次使用会作为一个独立的节点出现,点开即可在该智能体接触过的会话和步骤处打开这个工具。研究人员审阅智能体的方式与审阅一条流水线相同:直接查看它。智能体提出建议;在任何内容写入之前,由人在工具中或在Nexitia中作出决定。

记忆还会自我编辑,而这些编辑都有记录。我们的参考实例保存着一份生命周期台账,记录每一次注册、改写和整合:截至2026年9月7日共有1,037个事件,其中828个是将某个组件与其重复项合并,175个是提示词优化器所做的改写(共享大脑统计)。一个会改进自身技能的系统需要这份台账,理由与实验室需要实验记录本相同:让人能看到改了什么、何时改的、由谁改的。

工具是人可以检查的单位,因此相关的工作被拆分为各自独立的AI原生工具,每个工具都有自己带版本的技能和科学上下文;Nexitia Core按领域和工作流的相似性组织它们,并为共享的方法建立交叉链接(白皮书第11节)。每个工具仍是独立的产品,并作为一个节点接入Nexitia。一个包办一切的助手不向研究人员展示任何东西;一个带画布的工具则向他们展示整张图。

分享方法,保留数据

只有当一种方法、经验能够离开一个实验室、而该实验室的数据不随之离开时,私有系统周围的墙才会倒下。经验联邦就是我们的做法,它被构建为两条独立的路径,而不是一个开关(隐私政策第4节)。

第一条路径是一个组织自己的大脑,为本实验室同步,且仅对其私有。第二条是知识公地,它承载程序性知识(技能、知识条目、工作流和策略),以及通过筛查的心智模型和洞见。情景经验、来自物理世界实验或总结的事实,以及记忆图中的边从不离开实例。在贡献任何内容之前,包含文件路径、网址或电子邮件地址的行会被删除(脱敏),技能文本中的主目录会被改写,附带的材料要通过一份白名单,把隐私相关的逐行记录的数据表、测序文件或医学图像等敏感信息阻拦在外。筛查能捕捉句法层面的泄露;一段文字的含义则由贡献者判断,因此由贡献者选择哪些内容进入会同步共享的知识公地或实验室本地共享环境。

知识公地发布的关于自身的数据遵循同一规则。全分享联邦范围的数据只在同意公开的用户中分享,并且只在至少五个实验室实际参与贡献之后才会被分发,这一机制使用了k-匿名原则:任何发布都不应让一个贡献者能从少于四个其他贡献者中被区分出来[5]。低于这一下限时不发布任何内容,因为两三个实验室的合计值可以被其中一个实验室拆解出来。也从不发布按实验室或按机器的细分,因为实例标签就是主机名,会重新识别出其贡献者(共享大脑统计)。

读取无需贡献。经过精选的公开程序性知识库通过Model Context Protocol免费开放:八个只读工具、一个组织密钥,以及接入上限,以免一个高负载客户端挤占其他客户端。一位从未同步过任何内容的研究人员,也可以让自己的智能体指向其他人选择分享的方法。

Collins的激光器制造者需要登门拜访,是因为记录保存了结果,却没有保存推理。知识公地中的一项共享技能承载着方法、方法的上下文以及其重要选择背后的来自人类的推理经验,并在它于别处被检验和改编时保留其来源和版本(白皮书第13和14节)。这就是经验的联邦与一个更大的本地项目目录之间的区别。

工作流的交换平台

研究人员与其智能体在CohortDAG或Tracyte以及任何nexitia.ai未来的任何产品中构建的一个工作流(可以包含也可以不包含AI节点,AI所占的比重由研究人员设定,见第一篇文章中的AI调节旋钮),就是一种相邻领域的人明天就能运行的方法。这个环境的最后一部分,就是让这件事得以流畅进行的精选交换平台。贡献者可以将工作流保持私有,按自己选择的条款分享,或作为一个有人维护的工作流包提供;每个包都注明其作者、预期用途、依赖项、证据、许可和更新策略,发布需要经过审核并具备有据可查的支撑数据(白皮书第19节)。报酬机制旨在奖励持续维护所带来的实用价值,而非单次下载,因为一个被他人依赖的方法会带来工作:兼容性、问题解答、修订。

让一个节点在一个实验室内部值得信赖的那些验证记录,也正是让它值得在两个实验室之间交换的原因。工作流交付时,会附带它所对照核验的参考,以及它所匹配的条目;另一个实验室依据自己的要求运行它,如果发现了能让这个方法更清晰的例外情况,就把改编贡献回来。

接下来

上文有三项主张是可以检验的,而我们正在检验它们。我们正在测量:对于一个暂停的项目,智能体仅凭Nexitia Core的记忆能恢复多少,并与同一智能体拿到聊天记录时的情况相比较。我们正在测量:通过知识公地共享的工作流在第二个实验室中不加修改即可运行的频率,以及当它不能原样运行时第二个实验室需要改动什么。我们还在测试:同步边界是否扣留了贡献者标记为私有的全部内容,同时知识公地的筛查是否能捕捉一组刻意植入的句法泄露和文件泄露。结果将在这里公布。

参考文献

  1. Laban P, Hayashi H, Zhou Y, Neville J (2025). LLMs get lost in multi-turn conversation. arXiv:2505.06120 (preprint). 在超过200,000次模拟对话中,由GPT-4o-mini扮演的“用户”每轮透露指令的一部分;在六项任务上,15个模型的得分平均比在一轮中给出完整指令时低39%;能力(aptitude)下降16%,不可靠性上升112%。
  2. Liu NF, Lin K, Hewitt J, Paranjape A, Bevilacqua M, Petroni F, Liang P (2024). Lost in the middle: how language models use long contexts. Transactions of the Association for Computational Linguistics 12: 157–173. doi:10.1162/tacl_a_00638. 在基于20篇构造的检索段落进行的多文档问答中,2023年年中的GPT-3.5-Turbo在相关段落位于第一位时答对75.8%的问题,位于第十位时答对53.8%,位于最后时答对63.2%,而不提供任何段落的闭卷得分为56.1%。
  3. Collins HM (1974). The TEA set: tacit knowledge and scientific networks. Science Studies 4(2): 165–185. doi:10.1177/030631277400400203. 1971–72年在七个英国和五个北美TEA激光实验室进行的访谈:Collins交谈过的实验室中,没有一个仅凭书面资料造出了可用的激光器,而每一个成功的实验室都是通过拜访、电话或人员调动,从一个已经拥有激光器的实验室那里学会的;Collins也指出,这一领域对其论点而言具有非典型的适用性。
  4. Stodden V, Seiler J, Ma Z (2018). An empirical analysis of journal policy effectiveness for computational reproducibility. Proceedings of the National Academy of Sciences 115(11): 2584–2589. doi:10.1073/pnas.1708290115. 在2011年2月数据与代码政策之后发表的204篇计算类Science论文中,获得了89篇的研究产物(44%:24篇已附链接,65篇在向180位作者发送电子邮件后由作者提供);从经检查判断为可复现的56篇中随机抽取22篇,其中21篇被成功复现,由此得出作者对全样本26%的估计。
  5. Sweeney L (2002). k-anonymity: a model for protecting privacy. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems 10(5): 557–570. doi:10.1142/S0218488502001648. 定义了k-匿名:每条发布的记录在其准标识符上至少与k−1条其他记录无法区分,我们的五个实验室下限把这一原则用于发布的汇总数据。

我们的记录:

  • 共享大脑统计,即联邦页面,2026年9月7日一个实验室参考实例的快照:22,714条世界事实、16,591条情景经验、2,197行技能层级记录;在618次检索中调取了282个不同的技能(13%);生命周期台账共1,037个事件,828个为合并,175个由提示词优化器改写;发布规则(同意公开、五个实验室的下限、不按实验室或主机名细分)。
  • Nexitia Core(在产品页面上列为AROS Core):记忆与检索基础;发现、选择、执行、调查;研究人员检查所选上下文及其来源;权限、版本和输入兼容性由软件检查。
  • AROS白皮书,2026年10月30日版,第2次修订:第9节(知识的种类),第11节(各自拥有技能和上下文、按领域和工作流相似性组织的工具),第13和14节(共享的制品承载方法、其上下文及其推理;全球科学大脑(Global Scientific Brain)保留身份、上下文和版本),第19节(每项产品或服务所注明的内容)。
  • 隐私政策,2026年10月17日,第4节:组织同步与知识公地贡献是两条独立的路径;导出程序的过滤和筛查并不保证排除所有敏感内容;进入快照的内容由本地实例决定。
  • MCP服务器:免费的标准读取访问权限(Standard Read Access),八个列入白名单的只读工具,带读取权限范围的组织API密钥,接入上限。
  • 试点与定价:经授权的工具、技能和工作流的精选交换平台;贡献者可以将作品保持私有、按选定条款分享或提出一个经许可的软件包;发布需要经过审核并具备有据可查的权利。