言語モデルは、もっともらしい研究費申請書、文献レビュー、論文原稿、査読報告書を数分で下書きできます。それらの文書を科学的なものにしているのは、モデルよりも古い一連の規則です。第二次世界大戦以降、公的研究は、どの問いを支援し、どの主張を信頼するかを決めるために、少数の制度に頼ってきました。競争的な研究費審査、文献の構造化された統合と分析、学術論文原稿の標準的な形式、そして査読です。いずれも、科学的な議論が何を含まなければならず、どのように検証されうるかについての規則の集まりです。
私たちのスキルは、まさにそれらの形式を中心に構築されています。biomedical-literature-evidenceスキル、メンデルランダム化(Mendelian randomization)スキル、メタアナリシス(meta-analysis)スキル、scientific-figure-masterスキル、grant-write-masterスキル、scientific-writingスキル、そしてacademic-peer-reviewスキルです。私たちはAIのために誰も点検しない別のワークフローを作るのではなく、制度としての科学のチェックを、実行可能なソフトウェア、ワークフロー、AIエージェントのスキルとして実装し、エージェントが人間の研究者と同じ基準に従うようにしています。そしてソフトウェアはいつでもチェックを実行できるため、チェックは最も効果を発揮する時点、すなわち出版から何年も後ではなく作業が行われているその最中へと移ります。
規則は機能するが、機能するのが遅い
80年以上にわたり、競争的な研究資金、公開出版、査読、独立した追試による検証の組み合わせは、定着した多くの臨床上のドグマを覆し、長年続いた学術不正を暴いてきました。それは事後的に機能します。主張を公的な記録に載せ、より良いエビデンスがそれを打ち破れるようにすることによってです。そして、それには時間がかかります。
例として前頭葉白質切截術(prefrontal leucotomy)を挙げます。この手術は1930年代半ばにEgas Monizによって導入され、米国ではWalter Freemanによって経眼窩式の形で普及し、数万人の患者に施行されました。Monizはこの術式により1949年のノーベル生理学・医学賞を共同受賞しています[1]。それを終わらせたのは、積み重なる害と、それに並べて示された実行可能な代替手段でした。後年のレビューは、人格の平板化と無気力、患者の23%に見られた遅発性のけいれん発作、15%に見られた慢性頭痛、そして最大5%の死亡率を報告しています[2]。1950年代初頭にクロルプロマジンが登場すると、より安全で有効な選択肢として、薬物療法が外科手術に取って代わりました[1, 2]。システムは自らを修正しましたが、それにはおよそ四半世紀がかかりました。
一世代後、同じ仕組みが、調査に耐えなかったデータに基づく幹細胞研究プログラムを、同程度の時間をかけて解体しました。2001年から、Piero Anversaの研究室は一流誌で、骨髄細胞が[3]、のちには心臓に常在するc-kit+細胞が[6]、梗塞した心筋を再生させると報告しました。独立した研究室は、検証できるところでその主張を検証しました。遺伝的に標識した造血幹細胞を、正常なマウス心臓と損傷したマウス心臓への145件の移植にわたって追跡したMurryらは、検出可能な心筋細胞への分化転換を見出しませんでした[4]。Anversaの最初の再生報告から13年後の2014年には、van Berloらの系譜追跡により、新たな心筋細胞へのc-kit+細胞の寄与はおよそ0.03%以下で、機能的にはおそらく意味のない割合であることが示されました[5]。ハーバード大学医学部がこの研究室を調査し、第I相SCIPIO試験の論文は撤回され、同研究室の多くの論文がそれに続きました[6]。最初の主張から撤回までの間に、患者を対象とした臨床試験が実施されていました。
チェックを待つ間にすり抜けるもの
規則は、きれいで肯定的な物語を報告するよう強い圧力を受ける、誤りを犯しうる人々のために書かれました。そして2015年以降に行われてきた大規模な再現プロジェクトは、規則が最後にしか適用されないとき、どれだけのものがすり抜けるかを測定してきました。
Open Science Collaborationが心理学の3誌から100件の研究を追試したところ、統計的有意性が保たれたのは、元の研究の97%に対して追試ではわずか36%で、再現された効果は元の大きさの半分でした[7]。Reproducibility Project: Cancer Biologyは、インパクトの大きい23本の論文から50件の前臨床実験を追試し、5つの再現基準すべてで評価できる効果が112件得られました[8]。それら評価された効果のうち、5つの再現基準のうち少なくとも3つを満たしたものは半数に満たず(112件中51件、46%)、陽性の効果では、追試の効果の中央値が元の報告より85%小さくなっていました[8]。
こうした差の背後には、意図的な不正行為と日常的な手抜きの両方があります。Fanelliによる調査データの統合解析では、科学者の約2%が自分のデータを少なくとも一度は捏造・改ざん・改変したことを認め、個々の調査では最大で3分の1がその他の疑わしい研究行為を認めています[9]。同僚について尋ねると、14%の科学者が改ざんを目撃したと報告し、個々の調査では最大72%がその他の疑わしい行為を目撃したと報告しています[9]。分野を横断して、テキストマイニングで抽出されたp値には0.05のすぐ下にわずかな過剰が見られます。結果が境界線を越えるまで解析を調整した痕跡ですが、著者らは結論への影響は弱いと判断しています[10]。Bik、Casadevall、Fangがウェスタンブロットを含む20,621本の論文をスクリーニングしたところ、そのうち782本(3.8%)に不適切な画像の重複があり、その少なくとも半数には意図的な操作を示唆する特徴がありました[11]。
最も示唆に富むのは、標準的なデータベースにすでに答えがあるのに、著者と査読者をすり抜ける誤りです。2026年10月のプレプリントで、Sholto Davidは、特定の10種類のタンパク質を失わせる欠失または両アレル性の不活化変異が確認されている、よく使われる20種類の細胞株を取り上げました。MCF-7乳がん細胞はcaspase-3を欠き、Jurkat白血病細胞はBAXとp16-INK4aを欠き、PC-3前立腺がん細胞はp53、PTEN、そしてSTAT3遺伝子全体を欠いています[12]。遺伝子を再発現させていないのにそれらのタンパク質を検出したと主張するウェスタンブロットを、一人でもできる文献検索で探したところ、221本の出版論文にわたって230件のそうした報告が見つかりました。最も多かったのは、MCF-7細胞でcaspase-3を示した49本、Jurkat細胞でBAXを示した47本、PC-3細胞でSTAT3を示した35本です[12]。誤りの一部は抗体に由来します。少なくとも1つのBAXのブロットでは、同じ大きさの別のタンパク質に結合すると報告されている抗体が使われており、いくつかの論文では、名前の似たがん抑制因子p16-INK4aではなく、p16-ARCに対して作製された抗体(ab51243)が使われていました[12]。これらの欠損はいずれも、CellosaurusやHuman Protein Atlasなどの公開リソースに記録されています。規則は存在していたのに、重要な瞬間に誰もそれを実行しませんでした。そして、Derek LoweがScienceで指摘したように、文献全体を私たちの代わりに読むよう求められているAIシステムには、こうしたブロットが他のあらゆるものと一緒に与えられることになります[13]。
モデルにはキャリア上の利害がなく、真実へのこだわりもない
これらの規則が対象としてきた文書そのものを、今ではエージェントが作成しています。そこで最初の問いは、規則がエージェントを評価できるかどうかです。できます。YamadaらがThe AI Scientist-v2によって自律的に書かれた3本の原稿をダブルブラインド査読のICLR 2025ワークショップに投稿したところ、1本が6.33点を獲得し、投稿の上位45%に入って採択ラインを上回りました。その後、主催者との事前の取り決めにより取り下げられています[16]。その論文の仮説、すなわち構成的正則化(compositional regularisation)の項がネットワークの汎化を助けるという仮説は成り立ちませんでした。実験では効果は見られず、ときには悪影響さえありました。更新すべき研究費を抱えた研究者なら、うまくいくサブグループを探し回ったかもしれない場面で、エージェントは否定的な結果に特化したワークショップで否定的な結果をそのまま報告し、査読者はそうしたことを称賛しました[16]。
同じ論文は、査読が見逃すものも示しています。Yamadaらが事後にその原稿とコードを監査し、演算子ごとに数十種類しか異なる式を生成できなかった合成データ生成器を再実行したところ、テスト項目の約57%が訓練データにも含まれていたこと、図3のキャプションが検証損失の傾向を誤って述べていたこと、そして本文では二つのアーキテクチャを同等としながら図5では一方が明らかに上回っていたことがわかりました[16]。エージェントには守るべき自尊心はありませんでしたが、真実に対する生来の忠実さもありませんでした。重みだけを頼りに文献レビューを書かせると、モデルは参考文献をでっち上げます。WaltersとWilderがモデルの書いた84本の短いレビューの引用を確認したところ、GPT-3.5による222件の引用の55%、GPT-4による414件の18%が捏造されたものでした[17]。実在する論文への引用であっても、GPT-3.5によるものの43%、GPT-4によるものの24%に実質的な誤りがありました[17]。人間のフィードバックで訓練されたアシスタントには、エビデンスよりも、ユーザーが述べた考えのほうへ傾く傾向もあります[18]。
二つ目のモデルは、一つ目のモデルにとって頼りない審査者です。NLPの研究アイデアに関する盲検化研究では、検証されたすべての言語モデル評価者が専門家の順位づけと一致した頻度(43%〜53%)は、専門家同士が一致した頻度(56%)よりも低いものでした[15]。モデルが書く査読は、議論の場の一つの声としては有用です。3,096本のNature系列誌の論文と1,709件のICLR投稿にわたって、GPT-4が挙げた指摘が人間の査読者の指摘と重なった頻度は、二人の人間の査読者同士が重なる頻度とほぼ同じでした[14]。しかし、それが従うべき基準は制度から来なければならず、モデルからもう一度サンプリングすることよりも信頼できる何かによって執行されなければなりません。
ノードとしての規則
前回の論考で私たちは、エージェントは標準的なチェックを決してゼロから書き直すべきではなく、決定論的でテスト済みの、コードをまとめたワークフローノードと、限定された意味的判断を行う範囲を絞ったAIノードとを組み合わせるべきだと論じました。科学的な執筆と査読に当てはめると、このアーキテクチャはエージェントに、人間の好みに左右されない手続き上の誠実さを与えます。規則は、エージェントに尊重を求める規範であることをやめ、エージェントが飛ばすことのできないステップになります。
欠けているタンパク質のチェックを例にとります。これをワークフローにすると、二種類のノードが組み合わされます。
- 範囲を絞ったAIノードは、それぞれがカスタマイズされたプロンプト、読み込むスキルとコンテキスト、品質管理のためのゲート付きフックを備え、原稿やプロトコルを一度に一つの問いずつ読みます。一つは、本文と図のラベルから(細胞株、標的タンパク質、抗体のカタログ番号、アッセイ)の組を一つずつ抽出します。もう一つは、本来存在しない遺伝子を再発現させるベクターや遺伝学的ツールがないか、方法のセクションを確認します。
- 決定論的なコードノードは、抽出された細胞株とタンパク質を、Cellosaurus、Human Protein Atlas、Cell Model Passports、登録されたシーケンシング記録などのキュレーションされたデータベースで照会し、抗体のカタログ番号を、既知の交差反応性や、p16-ARCとp16-INK4aのような名称の取り違えと照合します[12]。
このワークフローのもとで動くエージェントは、PC-3細胞における内在性のSTAT3や、MCF-7細胞におけるcaspase-3のバンドを報告できません。これらは、221本の論文にわたるDavidの230件の報告に含まれる、欠けているタンパク質の誤りのうちの二つです[12]。研究者は、AIノードが抽出したものを、2年後の査読報告書の中ではなく、作業が行われているそのときにキャンバス上でレビューします。
七つのスキルは、制度としての科学がとる形式のそれぞれに、同じ規則を当てはめます。
- たどり直すことができ、「不十分」で終わることもある文献検索。 biomedical-literature-evidenceスキルは、PubMedとPMCへのすべての検索クエリを日付とパラメータとともに記録し、重複するコホート報告が二重に数えられないよう、取得した論文とその背後にある研究を区別して保持し、インポートしたRISおよびCSL-JSONレコードを確認されるまで未検証として扱い(検証記録では3件中3件)、完了したレビュー台帳に、無理に結論を出すのではなく、エビデンスが不十分であると記録できるようにしています。
- 固定された推定。 メンデルランダム化スキルでは、テスト済みのRとPythonのスクリプトが操作変数を選び、推定法を実行します。Walkerら 2019と照合したところ、これらのスクリプトはアーカイブされた163件の関連のうち157件を保持し、主要結果の比較セル19個すべてが一致し、論文の本文と論文自身の表4との食い違いを、取り繕わずに記録しました。メタアナリシススキルでは、RevMan互換のRエンジンがオープンアクセスのコクランレビュー28件にわたって、統合解析1,061件のうち1,060件と、確認可能な定量項目11,351件のうち10,797件(95%)を再現し、執筆モジュールはすべての数値を計算済みの結果ファイルから取り、たどれない数値の出力を拒否します。
- キャプションにおもねらない図。 scientific-figure-masterスキルは、キャプションを明示的な仕様に解析し(実際のキャプション20件にわたり、採点対象の61項目中61項目)、生データのワークブックから検定を再計算し、データがキャプションと食い違うときはキャプションに反論します。有意な増加と主張されていても、再計算したpが0.2であれば、星印なしで描かれます。
- 否定的な結果を残す申請書と原稿。 grant-write-masterスキルはでっち上げたデータ、引用、倫理承認を禁じ、有意差の出なかった予備試験の結果(p = 0.20)、因果的でない関連、未解決の限界を、改訂や言語をまたいでそのまま保持します。scientific-writingスキルは同じ保持を論文原稿に適用し、編集上のメモを出版用ファイルに入れません。
- 計算をやり直し、すべてのDOIを確認する査読。 査読者の側では、academic-peer-reviewスキルが原稿を26の欠陥クラスにわたってスクリーニングし、サブグループの合計や欠けている交互作用項を再計算し、自らの報告書のすべての参考文献をエクスポート前にEurope PMCとCrossrefで照合します。そのカバー範囲は、公開された60件のオープン査読にある1,035件のコメントに対して較正されました。公開されたウェット実験の投稿論文に対して盲検で実行したところ、人間の査読者が挙げた行単位の指摘49件のうち、決定打となった「根拠のない順位づけ」を含む6件を挙げ、査読がその後求めた9件の変更のうち5件を要求しました。
バイアルを注文する前にチェックを実行する
存在しえないタンパク質や誤った小計を査読で捉えることは、文献を守ります。実験を行った研究室にとっては、それは何年も遅すぎます。
それら221本の論文について、最も善意に解釈してみましょう[12]。その多くは悪意のない見落としから始まった、という見方です。PC-3がSTAT3を欠くことや、ab51243がp16-ARCに結合することを知らずに、研究者が細胞株を選んだり、抗体を注文したりしたのです。研究費、細胞培養、学位論文の作業に18か月を費やした後で誤りが表面化すると、研究者はサンクコスト(埋没費用)の罠に直面します。基盤となるアッセイが一度も標的を測定していなかったと認めることは、プロジェクトを捨てることを意味します。非特異的なバンドを正当化したり、ブロットをトリミングしたり、実施していない対照を付け加えたりすれば、論文は先へ進み、出版に至ります。計画段階の不注意は出版段階の不正の温床であり、最終的に不正を捉える遅いチェックは、その不正への圧力を生み出したのと同じ遅いチェックなのです。
だからチェックは計画が書かれる場所に置くべきであり、私たちはまさにそこに置いています。grant-write-masterスキルとscientific-writingスキルを中心に私たちが構築している、AIネイティブの執筆ツールです。このツールは、私たちの他のツールと並んで、Nexitiaデスクトップアプリの一つのノードとして加わります。そこでは、申請書やプロトコルが細胞株と標的を挙げた時点で、バイアルが注文される前に、同じ決定論的な細胞株ノードと抗体ノードが実行されます。プロトコルの段階で見つかった欠失遺伝子や交差反応性のある抗体にかかるコストは、何年分もの実験台での作業ではなく、数秒の計算です。そして、悪意のない誤りを不正に変えるサンクコストの圧力は、決して積み上がりません。それが、科学の規則を上流に移し、人間ではないプログラムがその執行を共に担うということの意味です。制度のチェックを、最後に下される判定としてではなく最初のステップとして、エージェントにも、エージェントと共に働く人にも実行することです。
ソフトウェアとして実行される規則には、査読者の頭の中にある規則にはない第二の特性があります。それは、読み、保存し、他の人に手渡せるということです。科学者とエージェントが、今日その協働の大半が行われているチャットウィンドウを越えて、記憶、ワークフロー、手法をどのように共有すべきか。それが次の論考のテーマです。
これから
第二次世界大戦以降に築かれた制度が機能するのは、申請書、システマティックレビュー、因果効果の推定、図、論文原稿のいずれであれ、あらゆる科学的議論が、同じ分野の研究者が監査し反証できる形式をとることを求めるからです。私たちは、これら七つのスキルを細胞株・試薬チェックとともに、支援なしのエージェントのベースラインと比較してテストしています。文書が人間の査読に届く前に、その決定論的なゲートと範囲を絞った意味的ゲートが、欠けているタンパク質の主張、捏造された引用、本文と表の不一致、キャプションの誤りをどれだけの頻度で捉えるかを測定しています。そのベンチマークは、今後の記事でここに公開します。
参考文献
- Staudt MD, Herring EZ, Gao K, Miller JP, Sweet JA (2019). Evolution in the treatment of psychiatric disorders: from psychosurgery to psychopharmacology to neuromodulation. Frontiers in Neuroscience 13: 108. doi:10.3389/fnins.2019.00108. 数万人の患者に及んだ前頭葉ロボトミーと経眼窩ロボトミーの広がり、Monizの1949年のノーベル賞、そして1950年代にクロルプロマジンとリチウムによって精神外科が取って代わられた経緯を概説しています。
- Mehta SS, Vadali S, Singh J, Sadana SK, Singh A (2024). The legacy of Egas Moniz: triumphs and controversies in medical innovation. Cureus 16(10): e72056. doi:10.7759/cureus.72056. 前頭葉白質切截術の遅発性の後遺症(患者の23%でのけいれん発作、15%での慢性頭痛、5%に達する死亡率など)と、1952年にクロルプロマジンが導入された後、1960年以降に急激に衰退したことを記録しています。
- Orlic D, Kajstura J, Chimenti S, Jakoniuk I, Anderson SM, Li B, Pickel J, McKay R, Nadal-Ginard B, Bodine DM, Leri A, Anversa P (2001). Bone marrow cells regenerate infarcted myocardium. Nature 410: 701–705. doi:10.1038/35070587. 局所投与した骨髄細胞が、移植の9日後に、マウス心室の梗塞部分の68%を占める新たな心筋を生成したと主張しました。
- Murry CE, Soonpaa MH, Reinecke H, Nakajima H, Nakajima HO, Rubart M, Pasumarthi KBS, Virag JI, Bartelmez SH, Poppa V, Bradford G, Dowell JD, Williams DA, Field LJ (2004). Haematopoietic stem cells do not transdifferentiate into cardiac myocytes in myocardial infarcts. Nature 428: 664–668. doi:10.1038/nature02446. 心筋細胞に限定して発現するレポーター導入遺伝子と全身で発現するレポーター導入遺伝子を用いて、正常および損傷した成体マウス心臓への145件の移植にわたり造血幹細胞を追跡し、心筋細胞への分化転換を検出しませんでした。
- van Berlo JH, Kanisicak O, Maillet M, Vagnozzi RJ, Karch J, Lin SCJ, Middleton RC, Marbán E, Molkentin JD (2014). c-kit+ cells minimally contribute cardiomyocytes to the heart. Nature 509: 337–341. doi:10.1038/nature13309. マウスのKit遺伝子座での遺伝学的系譜追跡により、内在性のc-kit+細胞が新たな心筋細胞を生成する割合はおよそ0.03%以下(細胞融合を考慮すると0.008%未満)で、機能的にはおそらく意味のない割合であることが示されました。
- Bolli R, Tang XL, Guo Y, Li Q (2021). After the storm: an objective appraisal of the efficacy of c-kit+ cardiac progenitor cells in preclinical models of heart disease. Canadian Journal of Physiology and Pharmacology 99(2): 129–139. doi:10.1139/cjpp-2020-0406. 心臓に常在するc-kit+心臓前駆細胞が梗塞心筋を再生させるという同研究室の主張を概説し、Anversaの研究室に対するハーバードの不正調査、ハーバードで生成された信頼できない実験データを理由とするThe Lancetによる第I相SCIPIO試験論文の撤回、そして同研究室の多くの論文の撤回を記録しています。
- Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science 349(6251): aac4716. doi:10.1126/science.aac4716. 心理学の3誌に掲載された100件の研究を高い検出力で追試しました。元の研究の97%がP < 0.05を報告していたのに対し、追試では36%で、追試の効果は元の大きさの半分でした。
- Errington TM, Mathur M, Soderberg CK, Denis A, Perfito N, Iorns E, Nosek BA (2021). Investigating the replicability of preclinical cancer biology. eLife 10: e71601. doi:10.7554/eLife.71601. インパクトの大きい23本の論文から50件の前臨床実験を追試し、158件の効果を得ました(117件が数値的な効果で、そのうち112件が5つの基準すべてで評価可能)。その112件の46%(51件)が5つの二値評価の再現基準のうち少なくとも3つを満たし、陽性の効果における追試の効果量の中央値は元より85%小さいものでした。
- Fanelli D (2009). How many scientists fabricate and falsify research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE 4(5): e5738. doi:10.1371/journal.pone.0005738. 18件の調査を統合しました。科学者の加重平均1.97%(7研究)がデータの捏造・改ざん・改変を少なくとも一度は認め、最大33.7%がその他の疑わしい行為を認めました。14.12%(12研究)が同僚による改ざんを目撃したと報告し、最大72%が疑わしい行為を目撃していました。
- Head ML, Holman L, Lanfear R, Kahn AT, Jennions MD (2015). The extent and consequences of p-hacking in science. PLoS Biology 13(3): e1002106. doi:10.1371/journal.pbio.1002106. オープンアクセスのPubMed Central論文からテキストマイニングでp値を抽出しました。分野を横断して、p値は隣接する下側の区間と比べて0.05のすぐ下に集中しており、著者らはこれを、おそらく一般的だが影響は弱いと見られるpハッキングと解釈しています。
- Bik EM, Casadevall A, Fang FC (2016). The prevalence of inappropriate image duplication in biomedical research publications. mBio 7(3): e00809-16. doi:10.1128/mBio.00809-16. 40誌(1995〜2014年)で検索語「Western blot」に一致した生物医学論文20,621本の写真画像を目視でスクリーニングしました。782本(3.8%)に問題のある画像の重複があり、その少なくとも半数には意図的な操作を示唆する特徴がありました。
- David S (2026). Erroneous reports of protein expression in cell lines with genetic deletions and mutations. Zenodo (21 October 2026). doi:10.5281/zenodo.23498482. Zenodoのプレプリントです。10種類のタンパク質にわたってホモ接合性欠失または両アレル性の不活化変異が確認されている、よく使われる20種類の細胞株を取り上げ(Cellosaurus、Human Protein Atlas、Cell Model Passports、GEOのシーケンシングデータと照合)、一人での文献検索で、221本の出版論文にわたる230件の誤ったウェスタンブロット報告を見つけました。最も多かったのは、MCF-7におけるcaspase-3(49本)、JurkatにおけるBAX(47本)、PC-3におけるSTAT3(35本)です。
- Lowe D (2026). The case of the should-be-missing proteins. Science, In the Pipeline, 21 October 2026. https://www.science.org/content/blog-post/case-should-be-missing-proteins. Davidのプレプリントについての論評です。一人による検索で221本の論文に230例。挙げられた原因は、誤同定または汚染された細胞株と、非特異的な抗体または誤った抗体。そして、文献を理解するためのAIシステムにこうした誤りが与えられることへの警告です。
- Liang W, Zhang Y, Cao H, Wang B, Ding D, Yang X, Vodrahalli K, He S, Smith DS, Yin Y, McFarland DA, Zou J (2024). Can large language models provide useful feedback on research papers? A large-scale empirical analysis. NEJM AI 1(8): AIoa2400196. doi:10.1056/AIoa2400196; arXiv:2310.01783. 3,096本のNature系列誌の論文と1,709件のICLR投稿にわたり、GPT-4と人間の査読者の指摘の重なり(30.85%と39.23%)は、二人の人間の査読者の間の重なり(28.58%と35.25%)と同程度でした。
- Si C, Yang D, Hashimoto T (2024). Can LLMs generate novel research ideas? A large-scale human study with 100+ NLP researchers. arXiv:2409.04109; ICLR 2025. アイデアを執筆した49人の専門家と79人の専門家査読者(298件の査読)による盲検化研究です。検証されたすべてのLLM評価者は、専門家との順位の一致(43.3%〜53.3%)が、専門家同士の一致(56.1%)より低いものでした。
- Yamada Y, Lange RT, Lu C, Hu S, Lu C, Foerster J, Clune J, Ha D (2025). The AI Scientist-v2: workshop-level automated scientific discovery via agentic tree search. arXiv:2504.08066. 自律的に書かれた3本の原稿をダブルブラインド査読のICLR 2025ワークショップに投稿しました。構成的正則化に関する否定的な結果を報告した1本が6.33点(上位45%、採択基準を上回る)を獲得した一方、著者ら自身によるコードと本文の監査では、57%の訓練・テスト間の重複、不正確な図3のキャプション、図5と矛盾する本文が見つかりました。
- Walters WH, Wilder EI (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13: 14045. doi:10.1038/s41598-023-41032-5. 42のトピックに関する84本の短い文献レビューに含まれる636件の引用(GPT-3.5から222件、GPT-4から414件)で、GPT-3.5の引用の55%とGPT-4の引用の18%が捏造されたものであり、実在する文献への引用のうちGPT-3.5の43%とGPT-4の24%に実質的な誤りが含まれていました。
- Sharma M, Tong M, Korbak T, Duvenaud D, Askell A, Bowman SR, Cheng N, Durmus E, Hatfield-Dodds Z, Johnston SR, Kravec S, Maxwell T, McCandlish S, Ndousse K, Rausch O, Schiefer N, Yan D, Zhang M, Perez E (2023). Towards understanding sycophancy in language models. arXiv:2310.13548; ICLR 2024. 人間のフィードバックによる強化学習で訓練された最先端のアシスタント5種が、4つの自由記述テキスト生成タスクにわたって一貫して迎合(sycophancy)を示し、真実の回答よりもユーザーの見解に合わせました。
私たちの記録:
- Biomedical Literature Evidence 1.0.0-public.1 検証記録:19個のunittestメソッドが合格。RISおよびCSL-JSONレコード3件中3件を未検証として保持。合成データによる「完了・エビデンス不十分」の台帳チェック(
completed: true, support_ready: false)。 - メンデルランダム化 1.0.0-public.2 再現レポート:Walkerら 2019 v2、ケース2。アーカイブされた163行のうち157行を保持し、主要結果の比較セル19個のうち19個が一致。本文と表4のP値の食い違いを記録。
- メタアナリシス 1.0.0 性能レポート:オープンアクセスのコクランレビュー28件で、統合解析1,061件のうち1,060件と、確認可能な定量項目11,351件のうち10,797件を再現(95%)。
- Scientific Figure Master 1.1.2 スキルページ:実際のキャプション20件にわたり、採点対象のキャプション項目61項目中61項目が正解。32個の単体テストが合格。再計算したp = 0.2がキャプションと矛盾するときは有意性の星印なし。
- Grant Writing Master 7.0.0-public.1 検証記録:6個のunittestメソッドと8件のルーティングケースが合格。事実保持記録は、合成データによる改訂がp = 0.20と因果的でない関連を英語と日本語で保持していることを示しています。
- Scientific Writing 1.1.0 リリースノート:同一入力による論文原稿全体の改訂の比較。編集判断の記録を別に持ち、有意差のなかった知見と反対の知見を保持。
- Academic Peer Review 1.0.2 スキルページとベンチマーク:公開された60件のオープン査読にある1,035件の査読コメントに対してカバー範囲を較正。PeerJ 20995の投稿論文を盲検で読み、行単位の査読者の指摘49件中6件を捕捉(監査後、そのうち4件が実質的な一致で、決定打となった「根拠のない順位づけ」を含む)、査読に基づくv1からv2への変更9件中5件を要求。同スキルによるその投稿論文の査読は公開されています。