llm-checker — 自分の PC で動くローカル LLM を CLI が選んでくれる

ローカル LLM を試したいが、自分の環境でどのモデルなら現実的に動くのか — RAM・VRAM・量子化と要件表の照らし合わせで毎回足踏みする。GitHub で公開されている CLI ツール llm-checker は、その判定を自動化してくれる。Ollama カタログ (200 モデル超) を SQLite で内蔵し、ハードウェア検出から推奨モデルの提示、ollama pull / run の生成までを一気通貫で済ませる。

何をスキャンして、何を返すか #

llm-checker hw-detect を叩くと、GPU (Apple Silicon / NVIDIA / AMD / Intel)・CPU・RAM・利用可能なアクセラレーションバックエンドを列挙する。続いて llm-checker recommend --category coding のようにユースケースを渡すと、内蔵カタログから候補を絞って提示する。中身は 4D スコアリング と呼ぶ仕組みで、品質・速度・適合性・コンテキスト長の 4 軸を用途別に重みづけし、さらに「パラメータあたりのバイト数」からメモリ実消費を予測する。量子化前提のサイズ感をユーザに代わって読み解く CLI、というのが実態に近い。

依存は Node.js 16 以降と npm のみで、npm install -g llm-checker で入る。Linux / macOS / Windows (WSL) で動く。

ハッカー視点 — クラウドに投げない選択肢を、雑に選べる #

技術的目新しさよりも、立ち位置が面白い。ローカル LLM の利点 — 機密データを社外 API に流さない・レイテンシ・継続コスト — は前から指摘されてきたが、「結局どのモデルが自分の MacBook で動くのか」というモデル選定コストが導入の壁だった。llm-checker は、その壁を CLI 一発のレベルまで下げる方向に振っている。

セキュリティ屋から見ると、社内文書や顧客データを扱う検証環境で「とりあえずローカルで叩いてみる」初手として使いやすい。クラウド AI に防御を積み増す一方で、そもそも外に出さない選択肢を雑に試せるツールが普及してきているのは健全な流れだろう。同種ツールの llmfit がワークフロー寄りなのに対し、本ツールは「いまこの箱で何を動かすか」という一点に絞っている。