有能なAIエージェントに標準的な解析を依頼すると、たいていゼロからコードを書きます。データを読み込み、正規化し、モデルを当てはめ、図を描きます。そのコードは多くの場合、正しく見えます。実際に正しいこともあります。いずれにせよ、同じ問いを立てる次の人、さらにその次の人のために同じ作業が繰り返され、書き直すたびに細部を誤る新たな機会が生まれます。AIがなくても、ほとんどの研究者は他人の結果を再現しようとして失敗した経験があります[1]。実行のたびに書き直されるコードは、そのたびに失敗の要因を一つ増やします。
私たちのツールは別の道をとります。手法は一度だけ実装され、公表された参照元と照らし合わせて確認され、ノードとして保存されます。ノードとは、固定されバージョン管理されたコードに、エージェントがそれを使うために必要なコンテキストを添えたものです。CohortDAGとTracyteでは、ノードはキャンバス上に置かれます。メタアナリシス(meta-analysis)やメンデルランダム化(Mendelian randomization)などの私たちのスキルでは、ノードはパイプラインの背後にあるスクリプトです。どちらの場合も、エージェントの仕事はステップを選んでつなぐことであり、解析コードを書くことではありません。本稿では、それがより良い役割分担だと私たちが考える理由を説明します。
手法の代価は一度だけ払う
各ノードは、公式チュートリアル、パッケージのドキュメント、公表された論文など、照合可能な参照元から出発します。私たちは参照元のバージョンを固定し、それを再実行し、手順をノードとして組み直し、出力を項目ごとに比較します。一致の度合いは「完全一致」「同等」「近似」「再現できず」のいずれかとして記録され、差異があれば差異として見える形で残ります。
CohortDAGでは、標準的なノードで構築した6本の研究パイプラインが元論文の数値を再現し、91項目中89項目が論文に印刷された桁まで一致し、残る2項目も丸めの範囲内で一致しました。非公開の臨床コホートでは、組み直したパイプラインが元の解析ノートブックとバイト単位で一致しました。そのノートブックと照らし合わせてすべてのノードを実行・監査したところ、それまで合格していたテストスイートが一度も検出しなかった36件の欠陥も見つかりました。その中には、生存曲線の中央値の信頼区間の上限と下限が入れ替わっていたものも含まれます。それぞれの欠陥は、パイプラインバリデータの必須チェックになりました。
同じ規則が私たちのスキルにも当てはまります。メンデルランダム化スキルをWalkerらの2019年の研究と照合したところ、凍結されたアーカイブの163件の関連から157個の操作変数が保持され、主要結果の比較セル19個すべてが一致しました。メタアナリシススキルは、オープンアクセスのコクランレビュー28件について、公開されたデータパッケージからすべての解析を再実行し、確認可能な定量項目11,351件のうち10,797件(95%)を再現しました。再現できなかった554件も一覧にしています。
この検証にはコストがかかります。私たちはそれを意図して、一度だけ払います。それ以降、ノードには、エージェントが手法を導き直すことなく使うために必要なものが備わります。何をするのか、入力と出力、パラメータ、科学的背景、そして検証記録です。中のコードはそのバージョンでは固定され、変更すれば、改めて確認が必要な新しいバージョンになります。これは、正確なバージョンを固定し、手作業の手順を避けるという、再現可能な計算の昔からの規則[2]を、研究者の作業だけでなくエージェントの作業にも当てはめるものです。
直接の節約になるのは、エージェントが既存の手法を再構築するたびに費やされていたはずのトークン、デバッグ、セットアップです。標準的な解析では、この節約は大きくなります。手法そのものが作業の大半を占めるからです。
モデルが誤りうる箇所を減らす
言語モデルが誤る確率はゼロではなく、長く生成されたコードでは、一行一行がまた一回のくじ引きになります。16のコード生成モデルにコードを書かせたところ、生成された合計576,000件のサンプルで、モデルがインポートしたパッケージのうち測定できるほどの割合が、そもそも存在しないものでした。その割合は、商用モデルで少なくとも5.2%、オープンソースのモデルで21.7%です[3]。熟練した人間が要する時間が長い課題ほど、エージェントが完遂できる割合は下がり、その落ち込みは急激です[4]。20枚の円盤を使うハノイの塔のパズルで、Meyersonらはその算術を明確に示しています[5]。すべてのステップが正しくなければならない場合、ステップごとの小さな誤り率が積み重なり、長い課題はどこかでほぼ確実に失敗します。彼らの答えは、課題を確認できるほど小さなステップに分け、次に進む前に各ステップを確認することです。そうすることで、1,048,575手のすべてが一度も誤ることなく指されました。
検証済みノードを組み合わせることは、同じ原則をデータ解析に当てはめることです。手順がノードの中にあるため、エージェントは何千行ものコードではなく、短いグラフ定義(どのノードを、どの順序で、どの設定で実行するか)を書きます。これにより、モデルが誤りうる範囲は、実装の一行一行から、ひと握りの構造的な選択へと狭まります。ソフトウェアがそれらの選択を自動的にチェックし、人間にとって使いやすいGUIのキャンバス上で人がレビューします。CohortDAGでは、エージェントはノードの種類とパラメータの固定されたスキーマから選び、何かが実行される前にグラフが検証・コンパイルされます。そのため、モデルが作り出した架空のノードの種類や欠けているパラメータは、結果の中で気づかれない誤りとして現れるのではなく、ただちに検出されます。
同じ境界が、モデルが文章として書いてよいことも決めています。メタアナリシススキルでは、固定されたRスクリプトが統計量を計算し、結果ファイルがレビュー本文のすべての数値を供給し、執筆処理は値が欠けている文の出力を拒否します。エビデンスの限界(研究が1件だけ、研究が10件未満、あるいは1件の研究が重みの半分以上を占める)は、文章が生成される前にフラグとして計算されます。それをその場で判断することは、決してモデルに任されません。
もう一つの利点があり、こちらのほうが大きいかもしれません。エージェントがボイラープレートコードを書くことに費やさなかったコンテキストは、科学そのものに使えます。データが何を表しているのか、研究者が何を検証しようとしているのか、手法の前提がこのデータセットで成り立つのか、そして結果が生物学的に意味をなすのか、ということです。正規化のルーチンを書き直すことに追われていないモデルには、サンプルがバッチと交絡しているとき、パラメータが検証済みの範囲を外れているとき、あるいは中間結果がおかしく見えるときに気づき、その理由を調べる余裕があります。参照結果の再現が証明するのは、元の範囲内での一致です。その手法が新しい問いに合っているかどうかを判断することこそ、私たちがモデルの注意を向けてほしいところです。
AIをどこで働かせるかを決める
研究のすべてのステップが機械的なわけではありません。意味についての判断を必要とするステップもあります。抄録のスクリーニング、細胞クラスターのラベル付け、自由記述の臨床記録の読解、あるいはファイル名からどのサンプル同士がひとまとまりになるかを推測することなどです。この最後のステップを誤ると、研究そのものが台無しになりかねません。サンプルではなく細胞を反復の単位として扱う発現変動解析は、数百もの偽の発見を報告しうるのです[6]。こうした課題こそ、言語モデルが本当に役に立つところであり、最もガードレールを必要とするところでもあります。
そのため私たちは、AIをワークフロー全体に塗り広げる接着剤としてではなく、それ自体が明示的な一つのステップとして扱います。AIノードは他のノードと同様のノードであり、三つの要素で定義されます。タスク・出力・制約を定めたカスタマイズされたプロンプト、場当たり的に処理するのではなくテスト済みのプロトコルに従うために読み込むスキルとコンテキスト、そして後続の処理が実行される前に人が出力をレビューする品質管理ゲートです。ノードの出力は実行と一緒に記録され、それを却下すると、その上に築かれたものはすべて無効になります。
カスタムノードは、どのような状況に対しても、研究者自身のコードを保持します。カスタムノードやAIノードが正しく動くようになったら、研究者はそれに名前を付けて説明を書きます。それ以降、その研究者のエージェントは、組み込みのノードと同じようにそれを見つけて再利用できます。研究室に固有のノウハウが、その研究室の作業上の語彙の一部になるのです。
これにより、研究者は調整ダイヤルを手にします。ワークフローは完全に決定論的なソフトウェアにすることも、範囲を狭く絞ったAIステップを一つまたは複数含めることもできます。幅広い意味的な課題は、より小さな段階(分類、確認、要約)に分けて、各ステップを監査できるほど狭くすることができます。百万ステップの研究は、この制御が何をもたらすかを示しています[5]。ハノイの塔を最小のステップに分け、各ステップを次に進む前に確認するようにすると、およそ250〜450ステップに1回はまだ誤るモデルが、1,048,575手のすべてを一度も誤ることなく指しました。その背後にある算術によれば、各ステップに必要な確認の回数は課題の長さの対数に比例してしか増えないため、課題が長くなってもこの方法は機能し続けます。このパズルにはどの手にも正しい手が一つしかなかったので、サンプリングした回答の多数決が信頼できるステップごとの確認になりました。研究上の問題ではそうであることはめったにありません。だからこそ、各AIノードのレビューゲートがその確認の役割を果たすのであり、ステップをどこまで小さくするかを決めるのはモデルではなく研究者なのです。
メタアナリシススキルは、この調整ダイヤルを実際に使っている例です。スクリーニングとデータ抽出は二つの独立したパスで行われ、それぞれが新しいコンテキストウィンドウで実行されるため、どちらのパスも相手を見ることができません。AIによる判断はすべて、監査台帳にその旨がラベル付けされます。また、レビューが求める二人の独立したスクリーニング担当者のうち、AIのスクリーニング担当者は最大でも一人分としてしか数えられません。段階と段階の間のゲートには氏名を明示した人が署名し、ソフトウェアはAIアシスタントを署名者として受け付けません。機微な臨床データを扱うツールでAIをどこに置くかも、同じ規則で決まります。パイプライン自体は決定論的なまま保たれ、エージェントはコマンドラインとMCPサーバーを通じて外側からそれを操作し、テスト済みのノードを組み合わせます。
これから
ここで述べた主張は検証可能であり、私たちは実際に検証しています。標準的な解析を集めたベンチマークで、検証済みノードを組み合わせるエージェントと、解析コードをゼロから書くエージェントを比較し、消費したトークン、実経過時間、レビューで見つかった欠陥、そして参照結果との一致を測定しています。そのベンチマークは、今後の記事でここに公開します。
参考文献
- Baker M (2016). 1,500 scientists lift the lid on reproducibility. Nature 533: 452–454. doi:10.1038/533452a. 1,576人の研究者への調査で、70%を超える人が他の科学者の実験を再現しようとして失敗した経験がありました。
- Sandve GK, Nekrutenko A, Taylor J, Hovig E (2013). Ten simple rules for reproducible computational research. PLoS Computational Biology 9(10): e1003285. doi:10.1371/journal.pcbi.1003285. ルール2と3:手作業によるデータ操作を避けること、使用したすべての外部プログラムの正確なバージョンを保存すること。
- Spracklen J, Wijewickrama R, Sakib AHMN, Maiti A, Viswanath B, Jadliwala M (2024). We have a package for you! A comprehensive analysis of package hallucinations by code generating LLMs. arXiv:2406.10279; USENIX Security 2025. 16モデル、576,000件のコードサンプル:平均すると、商用モデルが生成したパッケージの少なくとも5.2%、オープンソースのモデルが生成したパッケージの21.7%が存在しないものでした。
- Kwa T, West B, Becker J, et al. (2025). Measuring AI ability to complete long software tasks. arXiv:2503.14499; NeurIPS 2025. 成功率は、その課題に人間が要する時間が長くなるにつれて低下し、指数関数的な減衰によく一致します。
- Meyerson E, Paolo G, Dailey R, et al. (2025). Solving a million-step LLM task with zero errors. arXiv:2511.09030. 20枚の円盤のハノイの塔(1,048,575手)を誤りゼロで解きました。方法は、1ステップ単位への分解、各ステップでの少なくとも3つの応答による投票、そして長すぎる応答や形式の崩れた応答の破棄です。モデルの素のステップあたり誤り率は0.2〜0.4%で、各ステップに必要な投票数は課題の長さに対して対数的にしか増えません。このパズルはどのステップにも既知の正解があります。
- Squair JW, Gautier M, Kathe C, et al. (2021). Confronting false discoveries in single-cell differential expression. Nature Communications 12: 5692. doi:10.1038/s41467-021-25960-2. 生物学的反復の間のばらつきを無視する手法には偏りがあり、偽の発見を生みやすくなります。
私たちの記録:
- CohortDAG 0.2.0 リリースノート:オープンデータを用いた6本の研究パイプラインを論文の数値と照合して採点し、91項目中89項目が完全一致、2項目が同等。
- CohortDAG 0.2.0 ツールページ、2026年9月17日付の来歴記録:全ノードの実行と監査、非公開の臨床コホートでノートブックとバイト単位で一致、そこで見つかった36件の欠陥。
- メンデルランダム化 1.0.2 エビデンス:Walkerら 2019 v2、ケース2。アーカイブされた163行のうち157行を保持し、主要結果のセル19個のうち19個が一致。
- メタアナリシス 1.0.0 性能レポート:オープンアクセスのコクランレビュー28件で、確認可能な定量項目11,351件のうち10,797件(95%)を再現。