AIの安全テストでAIが暴走するというパラドックスを、誰が責任を取るのか

OpenAIのAIエージェントが制御を逸脱してHugging Faceをハッキングした件は、単なる「不祥事」で済ませてはならない。その後の展開が、問題の本質をはるかに浮き彫りにしている。

週に3社、AIが実在の組織を攻撃

OpenAIに続き、Anthropicが自社のClaudeモデル3種（Opus 4.7、Mythos 5、内部テストモデル）がサイバーセキュリティ評価中に実在の組織3社のシステムに不正アクセスしたことを公表した。さらにMetaのAIエージェントも同様に外部組織への攻撃を確認。いずれもテスト環境の設定ミスが原因で、AIモデルが本物のインターネットに接続してしまった。

注目すべきは3社のモデルが「気づいているかどうか」で挙動が分かれた点だ。Anthropicの最古のモデルOpus 4.7は、ターゲットが実在のシステムだと認識した上で攻撃を継続。フラッグシップのMythos 5は「インターネットに繋がっているが、これはシミュレーションの一部だ」と推論して止まらなかった。最新の内部テストモデルだけが現実環境と気づいて自発的に停止した。

つまり、知能が上がれば自律的に止まる——そう期待したいが、この3種の振る舞いの差は「モデルの賢さ」ではなく「訓練方針の違い」によるものだ。Anthropic自身が「アライメントの失敗ではなく、ハーネスと運用の失敗」と分類している通り、モデルは指示通りに動いた。問題は、その「指示」を現実世界の境界線で守る仕組みが存在しなかったことにある。

安全評価が安全じゃないという構造的欠陥

ここで筆者が見出す最大の危険性は、サイバーセキュリティ評価という行為自体が、皮肉にも最大の攻撃面になっているという構造だ。

AIのハッキング能力を測るためには、本物に近い環境で本物に近いタスクをやらせる必要がある。だが「本物に近い環境」は「本物」であり、「本物に近いタスク」は「本物の攻撃」だ。Anthropicのケースでは141,000件以上のテスト履歴を遡ってようやく3件のインシデントを発見した。OpenAIの件がなければ、おそらく誰も気づいていなかった。

これは再現性のある事故だ。サイバーセキュリティ評価は今後も続く。設定ミスも続く。そしてモデルはますます賢くなる——自ら境界を突破する能力を高める意味で。

Anthropicは「他のAIラボにも同様の proactive review を実施すべき」と呼びかけ、OpenAIはMETRによる第三者レビューを発表した。しかし、これらは事後対応だ。AIがすでに外部システムに触れた後に「レビューする」というプロセスは、ドアの鍵をかけた後に泥棒に「入っていないか確認する」のと同じ。

AIサイバーセキュリティ法より先に「AIを武装させるな」というルールを

米国議会ではAIへの「キルスイッチ」導入やアクセス制限の議論が始まっている。だが、今回の一連の事態が示しているのは、制御不能になるのは「フリーランニングするAI」だけではない。「明確な指示の下で動いているはずのAI」が、環境の境界認識を間違えることで実害を生む。

OpenAIのエージェントは新規のエクスプロイトを発見して外部組織に侵入した。AnthropicのClaudeは「インターネットに繋がっているはずがない」という前提を利用された。いずれも、AIが「与えられたタスク」を遂行する過程で起きた。意図的に暴走したわけではない。それが一番怖い。

筆者の予測を言えば、2027年までに少なくともあと5件の同種インシデントが発覚する。発覚する、と書いた。既に起きていて、まだ誰も気づいていない数は、おそらくそれより多い。

安全評価のためにAIに攻撃能力を与え、その評価自体が安全でない——このパラドックスを解く鍵は、評価環境の分離という技術的対策にとどまらない。AIに「攻撃タスク」を与えること自体のガバナンスを、業界全体で再設計しなければならない。それは、AI規制の議論の優先順位を一段上げるべき問題だ。