0.7ポイント差、オープンウェイトLLMが最先端に迫る2週間

Moonshot AIが3TクラスのKimi K3.1 Proのウェイトを公開した。コーディング評価…

Moonshot AIは2026年11月4日までに、3Tクラスのオープンウェイトモデル「Kimi K3.1 Pro」のウェイトを公開した。同社の評価では、コーディングエージェントを評価するTerminal-Bench 4.0で専有モデルのClaude Opus 5.5と0.7ポイント差に迫る。前週の10月29日にはMistral AIが1兆パラメータモデルのウェイトを公開しており、公開モデルが専有モデルの最上位に接近する動きが2週間で重なった。ただし数値の多くは開発元の内部評価に依拠しており、第三者による検証はこれからが本番だ。

Moonshot AIが10月23日に発表したKimi K3.1 Proは、新シリーズ初のモデルで、コンテキスト長は100万トークン。同社は自社モデルを「これまでで最も能力の高い3Tクラスのオープンウェイトモデル」と位置づけている。モデル自体は発表と同時にAPIやアプリで利用可能になったが、注目すべきは11月4日までにフルウェイトが公開されたことだ。誰でもダウンロードして自前の計算資源で動かせる状態になった。

Terminal-Bench 4.0で専有モデルと0.7ポイント差

Moonshot AIの公式ブログの報告によれば、Kimi K3.1 Proはターミナル作業でのコーディングエージェントを評価するTerminal-Bench 4.0で65.7%を記録した。同社の集計ではClaude Opus 5.5が66.4%、GPT-6 Astraが58.2%で、専有モデル最上位との差は0.7ポイントになる。ベンチマーク集計サイトのfelloaiも11月2日、K3.1 Proをオープンモデル最高得点と報じている。

ただし読み方には注意が要る。この比較のスコアは各開発元のブログやTerminal-Bench公式リーダーボードの報告値のうち最大のものを集めたもので、評価環境(ハーネス)の違いが結果に影響し得る。K3.1 Pro自身もClaude Codeのハーネスで評価されており、比較条件が完全に揃っているわけではない。

事後学習の強化が各領域の成績を押し上げた

K3.1 Proは前世代のK3をベースに、事後学習に使う計算資源を大幅に増やしたモデルだ。同社は数百の下流タスク領域にわたる共同強化学習(RL)を実施するため、RLフレームワーク、長コンテキスト推論、サンドボックス基盤、環境の品質検査の仕組みといったスタック全体を最適化し、RLの計算量を増やすほど安定した成果が出る状態を作ったと説明している。

内部ベンチマーク上の変化は大きい。複数ステップの実行とツール利用を問うKimi Code Bench 3.0 Long-horizonでは、K3の55.95%から61.2%へ向上した。事実の正確さを厳しく試すKimi Hallu Bench Hardでは、主張レベルの幻覚率がK3の23.4%から8.3%に低下した。同社はこの数値が日常使用でのエラー率を代表するものではないことを明記している。

一方、3D再構成をCADコード生成で問うBenchCADでは、ツール利用時で92.7%。Opus 5.5の96.2%、GPT-6 Astraの95.9%には届いておらず、領域によっては専有モデルとの差が残る。

サイバー能力の「除去」を数値で開示した点が新しい

今回の発表で最も独自性が高いのはサイバーセキュリティ能力の扱いだ。同社は開発中に、事後学習の規模を拡大するほど脆弱性研究の能力が伸び続ける傾向を確認した。原因をたどると、ミッドトレーニングのコーパスにサイバー関連のコンテンツが含まれ、RLの環境にもサイバー関連のタスクが混入していた。そこで公開に向け、両段階からサイバー関連のデータを除去したという。

効果は自社ベンチマークのxdev-bench-hardで定量化されている。ソースコードを基にした脆弱性発見と悪用の課題を集めたこの評価では、pass@3でデータ除去なしのチェックポイントが90.5%、最終版が81.0%だった。データ除去によって、同じ学習パイプラインが生み出し得るサイバー能力を実質的に抑制しつつ、汎用のコーディング能力は保てたというのが同社の主張だ。同社は「サイバー能力の絶対的なフロンティアを広げるウェイトは公開しない」ことを原則として掲げ、防御目的で使うチームに能力を段階的に届ける意義を説明している。

オープンウェイトモデルの安全性をめぐる議論はこれまで「公開するか、しないか」の二択で論じられがちだった。どの程度の能力を除去して公開するかを数値付きで示した点は、他の開発者にとって参照になる情報だ。

欧州からも1兆パラメータ、効率で差をつける

この流れはMoonshot AIだけではない。Mistral AIは10月29日、1兆パラメータのマルチモーダルモデル「Mistral Large 4」(開発コード名Le Chonk)のウェイトを公開した。同社の発表によれば、リポジトリ管理者がエージェントの変更をマージするかを評価するCognitionの非公開ベンチマークFrontierCode 2.0では19.7%を記録し首位。Artificial AnalysisのCoding Agent Indexでは48%で、GLM-5.3と実質同点ながら、タスクあたりのトークン消費は47%少ないという。

Terminal-Bench 4.0では、プレビュー版から13ポイント改善した41%で、公開モデルの中で当時の首位に立ったと報告している。ただしK3.1 Proの65.7%と比べると大きく開いている。同じ「オープンウェイト」でも到達点は幅広い。Mistral AIは推論の3段階モードで性能とコストのバランスを取れることを訴え、欧州域内の計算基盤で学習から公開までの系譜が明確だと強調している。

残る課題は外的検証とライセンス条件

2週間で大型の公開が2本重なった一方で、構造的な課題も見えてくる。第一に、報告された数値の多くは開発元の内部ベンチマークか、開発元が選んだ評価条件に依存している。ハーネスや評価器モデルの違いが結果を左右するため、第三者機関での追試が進むまでは「専有モデルとの0.7ポイント差」も暫定的な数字と見るのが妥当だ。

第二に、公開の条件だ。技術系メディアのAICoderの報道では、K3.1 Proのウェイトは独自ライセンスで公開され、大規模なモデル提供サービスへの利用には制限が付くとされる。ダウンロードして再現できるという意味での「オープン」でも、商用利用の条件はモデルごとに大きく異なる。性能の追い上げが進むほど、評価の外的前提とライセンス条件が、オープンウェイトモデルを選ぶ際の実際的な判断材料になっていく。

+

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です