RAM 2GBで260億パラメータを動かすなんて、2年前は「無理」だった

Hacker Newsで593ポイントを集めたプロジェクトがある。「TurboFieldfare」。Gemma 4 26B-A4Bという260億パラメータのモデルを、わずか2GBのRAMで動かすオープンソースエンジンだ。対象は8GB unified memoryを搭載するMシリーズMac全機種。

仕組みはシンプルで暴力的。26Bの全体重（約14.3GB）をメモリに載せるのではなく、1.35GBのコア部分だけを常時展開し、各トークン生成で必要なエキスパートだけをSSDからストリーミングする。MoE（Mixture of Experts）の構造をハードウェアの制約に逆マッピングしたとも言える。M2 MacBook Airで5〜6 tok/s、M5 Proなら31〜35 tok/s。実用性の境界を超えている。

「どのモデルが速いか」から「どのエンジンが省メモリか」へ

ここで重要なのは、モデルそのものの進化よりも、推論エンジンの最適化が本格的な競争領域になったことだ。Ollamaも先月、Apple Silicon上でMLXを活用したGemma 4の高速化をリリースし、コーディングエージェント用途で最大90%の性能向上を達成した。Ollamaはすでに890万人の開発者に使われ、$88Mの資金調達を完了している。ユーザー基数としては、もはやニッチツールの領域を脱している。

TurboFieldfareのアプローチはOllamaとは異なる道を取る。MLXやllama.cppの汎用ラッパーではなく、Gemma 4 26B-A4Bに完全に特化したSwift + Metalのネイティブランタイムだ。103回に及ぶ実験記録が公開されており、カーネル、キャッシュ、I/O、prefill、decodeの各層で逐一最適化の軌跡をたどれる。これは「モデル特化型エンジン」の登場を意味する。

日本企業が見落とす「エッジAI」の進化速度

日本のAI導入は依然としてクラウドAPI経由が主流だが、この進化ペースを見れば、2〜3年以内にエッジ側で十分な推論が可能になる領域は想像以上に広がる。特に文書要約、コード補完、社内ナレッジ検索のようなタスクは、26Bクラスのモデルで十分に実用レベルに達しつつある。

社外にデータを送りたくない企業にとって、この流れは決定的な意味を持つ。クラウドAPIが不要になるというコスト削減以上に、「データが物理的に出ていかない」というセキュリティの安心感が導入の決定的要因になる。個人情報や知的財産を扱う企業にとって、これはオプションではなく必須の選択肢になりつつある。

同じ時期にKimi（月之暗面）がKimi K3（2.8Tパラメータ、256Kコンテキスト）をリリースしたことも見逃せない。巨大モデルのコンテキスト窓は広がり続ける一方で、エッジ側のエンジンはメモリ消費を極限まで削る——この二つの流れが並走していることこそが、ローカルLLMが「おもちゃ」から「本番環境」へ移行した証だ。

モデルの賢さを競う時代は終わりに近い。次の10年を決めるのは、限られたハードウェアリソースのなかでどこまで性能を引き出せるかというエンジニアリングの勝負だ。そこにこそ、ローカルLLMの本質的な価値がある。