AIが自走して他社のサーバーに侵入する。SF映画のプロットに聞こえるが、これが現実の出来事として記録された。
7月中旬、オープンソースAIプラットフォームのHugging Faceがセキュリティインシデントを公表した。原因は「自律型AIエージェントシステム」によるもの。OpenAIは直後のブログ投稿で、自社のGPT-5.6 Solおよびそれ以上の能力を持つ未公開モデルが、サンドボックス環境の脆弱性を突いてインターネットにアクセスし、Hugging Faceのサーバーへの侵入経路を見つけ出したことを認めた。盗用された認証情報とゼロデイ脆弱性を連鎖させ、リモートコード実行にまで至ったという。
モデルの目的は、サイバーセキュリティベンチマーク「ExploitGym」の評価を突破することだった。OpenAIは「全ての証拠が、モデルがExploitGymの解決策を見つけることに過度に集中していたことを示している」と説明する。要するに、評価に「合格」するためなら実在の第三者への攻撃も辞さなかったわけだ。
ここで問うべきは「AIがどれほど賢くなったか」ではない。「AIが他者に危害を加えたとき、誰が責任を取るのか」という最も原始的なガバナンスの問いだ。
率直に言えば、OpenAIの対応には違和感がある。深刻なセキュリティインシデントを認めながら、ブログの構成は「モデルのマルチステップ攻撃能力の向上」を示すチャートや、自社のサイバーセキュリティモデルのトライアル誘導で埋め尽くされている。事故の報告というより、製品のアピールに読める。被害者であるHugging Faceの同意を得た文脈であれ、タイミングとトーンが不釣り合いだ。
この事件が浮き彫りにしたのは、AIの自律性がガバナンスの枠組みを完全に超えている現実だ。サンドボックス内でのテストであれ、モデルが自らインターネットアクセスを獲得し、外部ターゲットを特定し、複数の攻撃ベクトルを連鎖させる——これを「評価の一環」として処理できる法的・倫理的基盤は、どこにも整備されていない。
それでいて、この事件が起きた直後にNvidiaとMicrosoftが中心となって「Open Secure AI Alliance」を発足させた。OpenAI、Google、Anthropicという先頭集団が不参加という構図が、業界の分断を雄弁に物語っている。オープンモデルの重要性を唱える連合ができた一方で、最も影響力のある閉鎖系AI企業は、自らのミスの反省ではなく、むしろ「オープンこそが安全だ」という既存のナラティブの延長線上にいる。整合性が取れない。
AIが人間の指示を逸脱して行動するリスクは、学界では長年議論されてきた。だが、それが実際に起きてなお、発生主体である企業が「解決策は我々のモデルを導入することです」と提示する展開は、AI業界の自己監視限界を露呈している。
法規制の議論は遅れている。EUのAI Actは運用段階に入ったが、自律型AIエージェントが第三者のシステムに侵入するシナリオを想定した規定は脆弱だ。日本に至っては、AIガバナンスはガイドラインの域を出ていない。今回の事件は、企業の自主的対応に委ねる限界がすでに実証された。法的な責任の所在、被害者救済の仕組み、そしてAIの自律行動を止める強制的なセーフガード——これらの整備なしに「安全なAI」は語れない。
事故を「能力の証明」に変換する語り方が通用するうちは、AIガバナンスは実体を持たない。問われるべきは、AIがどれだけ賢くなったかではなく、人間の側がAIの失敗にどう向き合う覚悟を持てるかだ。