ローカルで動く7440億パラメータAI ― 「Colibrì」が変えるオンデバイス推論の常識

中国の研究機関が開発した大規模言語モデル「GLM-5.2」は、7440億個のパラメータを持つ巨大モデルだ。これをメモリ25GBのコンシューマーPCで動かすことを可能にした推論エンジン「Colibrì」が公開され、ローカルAI実行の常識を塗り替えようとしている。

SSDを仮想メモリとして使う独自アーキテクチャ #

従来のローカルLLM実行ではモデルの重みをRAM/VRAMへ丸ごと展開する必要があった。744Bパラメータのモデルをfloat16で持つには単純計算で約1.5TBのメモリが必要であり、一般のPCでは到底手が届かない規模だ。

Colibrìはこのボトルネックを根本から解決した。モデル全体をSSDに配置し、推論の各ステップで必要な重みブロックだけをオンデマンドでRAMにロードする選択的ストリーミング方式を採用している。NVMe SSDのシーケンシャル読み出し速度を活用しつつ、次トークン予測に必要なブロックを先読みするプリフェッチ機構を組み合わせることで、25GBというコンパクトなRAM構成での動作を実現している。

ハッカー・セキュリティ研究者にとっての意味 #

クラウドLLMとローカルLLMの最大の違いは「推論環境の不可視性」にある。商用APIを経由するモデルは利用ログが残り、特定の入力にはコンテンツフィルタが介在する。一方ローカルモデルはネットワーク接続なしに稼働し、エアギャップ環境での運用も可能だ。

ペネトレーションテスターにとっては、標的コードのオフライン解析や、クラウドに送信できない機密マルウェアサンプルのコードレビュー補助など、プライバシー制約の強い作業をAIに委ねられる意味は大きい。さらに、モデルウェイトをローカルに保持することは、プロンプトインジェクション経由のデータ漏洩リスクを構造的に排除するという副次効果も持つ。

速度とトレードオフ #

SSDストリーミングにはスループットの上限がある。NVMe最上位モデルでもトークン生成速度は毎秒数トークン程度に留まるとみられ、リアルタイム対話よりも「大量コードの一括解析」や「設計ドキュメントの精査」などバッチ処理向きの用途で真価を発揮する。量子化とSSDストリーミングを組み合わせたさらなる高速化が次の焦点になるだろう。巨大モデルを手元のSSDに収める未来が、現実のものになりつつある。