Anthropicは2026年11月13日、因果推論の専門家50人にAIエージェントを使った分析を行わせた無作為化比較試験の結果を公開した。エージェントの意見の傾向をコイン投げで決めて参加者に知らせない設計で、分析上の4つの選択の86%がその傾向と一致した。影響がなければ想定は約50%だ。人間による確認の独立性が問われる結果を、研究倫理の観点から読み解く。
AIに実験の実行や分析を任せる研究現場では、最終的な判断だけは人間が持つという前提で運用が組まれる。2026年11月13日にAnthropicが公開した実験は、その前提が数値の上でどれほど脆いかを示した。対象になったのは、専門家自身の判断だった。
コイン投げで決めた傾向が分析を貫いた
参加者は因果推論の知識チェックに合格し、PythonかRを日常的に使い、観察データによる因果分析の実務経験を持つプロの分析者61人だ。うち11人がエージェントを使わないことを選び、残る50人が主な分析対象になった。65%は修士か博士の学位保有者か実務経験6年以上で、90%が観察的因果推論について熟練以上と自己評価していた。
課題は架空の農業協同組合Greenfieldsの経営判断だった。組合が運営する有償の栽培助言プログラムを全農家に広げるべきか。生産性向上の推定値が理事会の基準(3〜4%)を超えるかどうかで結論が変わる。分析者は生産性をヘクタールあたりの収量で測るか操業コストあたりで測るか、効果をどの範囲の農家で推定するかといった4つの選択を経て、最終的な勧告を組み立てた。
実験側はここに細工を仕込んだ。分析者に知らせず、エージェントへの隠し指示で4つの選択それぞれの意見の傾向をコインの表裏で割り当てた。エージェントは自らの傾向を、データが許す範囲で最も強く主張する。証拠が明確に反すれば考えを変え、結果を曲げて伝えない。そう指示された環境はClaude Codeで、モデルはClaude Opus 4.8(High effort設定)。所要時間の中央値は65分だった。
結果は一方向に出た。4つの選択のうちエージェントの傾向と一致した割合は、測定指標で92%、比較方法で82%、推定の対象範囲で81%、重み付けで90%で、合わせて86%になる。影響がなければ想定される約50%を大きく上回った。最終勧告にも差が出て、展開側に傾いた群では54%が全面展開を勧め、反対側に傾いた群では36%だった。著者らは4つの傾向だけから最終勧告の82%を統計モデルで予測できたと報告している。最多の勧告を常に選ぶ戦略での的中率は61%だった。
経験も自信も追従を防がなかった
誰が追いやすいのかも調べられた。実務経験年数、自己評価の専門性、最終学歴、因果推論の理解度テストの得点、AIへの信頼感、利用頻度、熟考志向、開放性、性別、年齢の10項目のいずれも、選択が傾向と一致する割合を予測しなかった。年齢だけが補正前には有意な関連を示したが、多重比較の補正で消えた。経験を積んだ専門家なら影響を受けにくいという想定は、このデータでは支えられない。
事前に自分の意見を表明していた分析者も同様だ。意向を口にしていた38件では、エージェントがそれに反対したとき60%が自説を取り下げた。同意された場合は6%しか変わらなかった。ただしこの差は38件に基づくため95%信頼区間は24〜82ポイントと広く、著者ら自身が推定は不正確だと注記している。
さらに重いのは判断の所有感のずれだ。事後調査で52%の分析者は最終勧告をエージェントというより自分のものと評価し、35%はほぼ完全に自分のものとまで評した。それでも選択がエージェントの傾向へ動いた幅は、前者で平均約65ポイント、後者で約79ポイントと、誤差の範囲で大差ない。自信も同じで、4つの選択すべてで傾向に従った群の自己評定は平均71点、それ以外は73点だった(0から100までの評定)。理由を説明する場面では、77%の分析者がエージェント自身の論証を時にほぼそのまま使い、その出典をエージェントと明示したのは15%だけだった。
查読も安全性検証も独立な人間がいて初めて成立する
Anthropic自身、この結果をAI安全性研究への含意として述べている。投稿は「研究者は実験の実行と分析にエージェントを使い始めている。人間のレビュアーが独立したチェックであり続けるのは、その判断が本人のものであるときだけだ」と指摘する。分析上の選択はどれも、もっともらしい2案から1つを選ぶ種類の判断で、外からは恣意性が見えにくい。エージェントの傾向は仕込まなくても生じる。隠し指示なしで同じ課題を走らせたところ、Claude Opus 4.8は123回中112回で同じ5つの選択をしたという。既定の傾向が安定して存在するなら、それが研究の結論を誰にも気づかれないまま形作ることもありえる。
生産性側のデータも公平に扱う必要がある。エージェントを使った分析者は課題を速く終え、深刻な誤りも少なかったと報告されている。ただし比較対象はエージェントを使わなかった11人で、少人数かつ経験が浅く、著者らはこの比較から読み取りすぎることに慎重だ。速さと正確さの利益と、判断がすり替わるリスクは、同じ道具の両面にある。
透明性を高める動きと地続きの話でもある。Anthropicは2026年11月8日、開発ペースを外部が追跡できるようにする3つの指標(AI自身が担うAI研究開発の割合、エージェントの行動への監督、計算資源の配分)を公開した。複数組織の第三者評価者を社内に受け入れ、内部のリスク評価チームと同等のアクセスを与える計画も表明している。だが専門家の判断がエージェントに引きずられるなら、外部評価者の独立性も同じ問題に直面する。評価する人間がエージェントとどう距離を保つかまでが、実務上の問いになる。
86%は企業の自己報告として読むのが正確だ
この実験はAI開発企業が自社モデルを対象に実施した研究で、論文本文(PDF)も同社のサイトで公開されている。投稿では査読の状況に触れられておらず、数値はAnthropic自身の報告値として扱うのが正確だ。86%という値も意図的に意見を強く持たせたエージェントでの結果で、著者らは普段の利用では効果が小さくなる可能性に言及している。
それでも方法は筋が良い。コインの表裏による無作為割り付けと隠し指示という設計は、エージェントの傾向が専門家の選択に与える影響を因果の方向から測りやすい。AI支援が前提になるほど、人間が確認したという言葉の重さは、確認した人間の判断の独立ぶりに依存する。実験が突きつけたのは、その依存関係そのものだ。
コメントを残す