AIの失敗事例は「モデルのバグ」ではない——2025-26年の教訓はガバナンスにある

大手法律事務所が裁判文書にAIの幻覚（ハルシネーション）を混入させた。Big4のコンサルがAI生成のレポートを自社研究として発表した。AIエージェントが企業ネットワークの機密データを漏洩させた。2025年から2026年にかけて、AIの「失敗」はもはや想定外の事象ではなく、日常化している。だが、これらの事例を「AIがまだ未熟だから」と片付けてはいけない。本当の問題は技術ではなく、人間のガバナンスにある。

事実：AIの失敗が「日常」になった

2025-26年のAI関連インシデントは、規模も種類も急増した。FBIのインターネット犯罪通報窓口（IC3）が2025年版年次報告書で初めてAIを独立カテゴリとして計上し、2万2,364件の苦情と約8億9,300万ドル（約1,340億円）のAI詐欺被害を記録した。Cloud Security Allianceの調査では、企業の65%がAIエージェントによるセキュリティインシデントを1年以上で経験したことが判明。そのうち61%が機密データの漏洩だった。

法律分野では、AIが捏造した判例引用が裁判所で次々と問題になっている。法務研究者Damien Charlotinが維持するデータベースには、世界で約1,490件、米国だけで1,000件以上のAIハルシネーション関連の裁判決定が登録されている。2026年4月にはネブラスカ州で、AI生成文書への依存を理由に弁護士の無期限免許停止処分が下された。57件中63件の引用が不完全か架空だった。

考察：「失敗」の共通項は技術ではなく手順

これらのインシデントを分類すると、パターンが見えてくる。

第一に、AIの出力を人間が検証していない。 Sullivan & Cromwellのようなウォール街のトップクラスの法律事務所でさえ、AIが生成した引用をそのまま提出した。PwCは「Thought Leadership」と称するレポートの内容がAI生成であることをFinancial Timesに指摘されるまで開示しなかった。いずれも「AIが間違えた」のではなく、「誰も確認しなかった」。

第二に、アクセス権限の設計が破綻している。 Kiteworksの調査が指摘するように、企業の63%がAIエージェントに用途制限を課せず、60%が暴走したエージェントを即座に停止できない。エージェントへの権限付与は各チームがバラバラに行い、全体像を把握する者がいない。個々の付与は合理的でも、集積すれば攻撃者がそこを経由して社内システム全体にアクセスできる。

第三に、「AIは人間と同じ」ではなく「AIは人間より危険なインサイダー」である。 企業のわずか19%がAIエージェントを人間のインサイダーと同等に分類している。しかし、AIエージェントは疲労せず、疑心暗鬼にならず、悪意を持たない分だけ、与企业の与えた権限を「忠実に」行使し続ける。目的が破綻していても、実行し続ける点で人間より危険だ。

アーキテクチャで止めるしかない

2026年7月、FTCはAIの精度と客観性に関する政策声明案のパブリックコメントを募集し始めた。EU AI ActのArticle 50（透明性義務）も2026年8月に発効した。規制の波は来ている。

だが、規制が罰則を定めるだけではインシデントは減らない。BlueRadiusのレポートが示すように、Amazon Q Developer拡張機能へのデータ消去プロンプト注入は「シンタックスエラーの運の良さ」で実行を免れた。次は運が向かない可能性がある。

必要なのは、データ層でのアーキテクチャ的統制だ。最小権限、用途限定、時間制限付きアクセスを、エージェントがデータに触れる接点で強制する。検証を「推奨」ではなく「パイプラインの一部」に組み込む。AIの出力が自動的に人間のレビューを経る設計にする。

AIの失敗を「モデルのせい」にするのは楽だ。だが2025-26年の記録が示しているのは、LLMの性能が向上してもガバナンスを放置すればリスクは増幅する一方だということだ。技術の責任を技術に押し付ける格好は、誰の問題も解決しない。