システムのメモリ・CPU・GPUに合わせて適切なAIモデルを教えてくれるターミナルツール「llmfit」
生成AIの話題に欠くことのない昨今、ある程度のパワーを有するPCが手元にある方は一度ならず「ローカルで生成AIを動かしてみたい」という思いに駆られた事があるのではないでしょうか。とはいえ余程AIモデルに関する知識が深くなければどのAIモデルなら自分の環境で快適に動作させられるのか把握するのは困難です。ネットなどで相談しようにもPCのスペックが違えばどう影響するかまで考慮して助言をくれる人はそういないはず。「llmfit」は実行PCの環境に合わせてどのAIモデルなら快適に動作するのかを教えてくれる夢のようなツールです。
https://github.com/AlexsJones/llmfit
◆インストール
今回はllmfitをWindows11にインストールします。公式GitHubを確認するとScoopを利用する方法が紹介されているのでまずScoopのインストールを行います。WindowsターミナルでPowerShellを起動して以下のコマンドを実行します。
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression
続いてPowerShellで以下のコマンドを実行するとインストールが始まります。
scoop install llmfit
ターミナルに「llmfit (バージョン番号) was installed successfully!!」と表示されればインストール完了です。
◆起動
Windowsターミナル上のPowerShellで「llmfit」と入力しエンターキーを押すとTUIモードでllmfitが起動します。ターミナルツールなのでGUIではありませんが画面中央に表示されたAIモデルのリストをはじめ非常にわかりやすいレイアウトです。
Windowsターミナルの画面サイズを拡げてみたところ。画面サイズを変えてもレイアウトの乱れはありません。
◆操作
カーソル上下キーもしくはvimと同じJ/Kキーでリスト中の選択項目を切り替えることができます。
エンターキーを押すと選択項目の詳細画面を表示します。
Fキーを押すと「Fit」の値が順次入れ替わり、AIモデルがマシン上でどの程度動作するかによって表示がフィルタリングされます。
・All：すべてを表示
・Runnable：マシン上で動作するもののみ表示(Perfect〜Marginalを表示)
・Perfect：マシン上で完璧に動作するものを表示
・Good：マシン上で良好に動作するものを表示
・Marginal：マシン上でなんとか動作するものを表示
・Too Tight：マシン上での動作が厳しいものを表示
Sキーを押すと「Sort」の値が順次入れ替わり、AIモデルのリストをソートする条件を指定できます。
・Score：算出したスコア
・tok/s：一秒間のトークン数
・Params：パラメータ数
・Mem%：消費メモリ
・Ctx (Context Window)：コンテキストウィンドウサイズ
・Date：リリース日
・Use (Use Case)：AIモデルの用途
なお「AIモデルの用途」には以下のものがあります。
・Chat：チャット用
・Coding：コーディング用
・Embedding：埋め込み用
・General：汎用
・Multimodal：マルチモーダル用
・Reasoning：推論モデル用
「U」キーを押して表示されるポップアップを操作することで表示する「AIモデルの用途」を限定することもできます。
◆プランモード
通常のモードは「このマシンでは現状どこまでのAIモデルを動かせるのか」を知るアプローチですが、「このマシンでこのAIモデルを動かすにはどうすればいいか」という切り口で情報を提示するのが「プランモード」です。プランモードに移行するには対象のAIモデルを選択し「p」キーを押します。今回は試しに「Fit」の値が「Too Tight」となっているAIモデルを選択します。
・Minimum Hardware：動作させるのに最低限必要なVRAM・RAM・CPUコア数
・Recommended Hardware：動作させる上で推奨されるVRAM・RAM・CPUコア数
・Run Paths：実現可能な実行パス(GPU・CPUオフロード・CPUのみ)
また、「Inputs (editable)」の項目は編集可能でタブキーやJ/Kキーにより編集対象の項目を切り替えることができます。
・Context：コンテキストウィンドウのサイズ
・Quant：量子化フォーマット
・Target TPS：目標のトークン/秒
試しに「Target TPS」の値を上げてみたところ、「実現可能な実行パス」がどんどん減っていきました。
◆テーマ切り替え
UIや文字の配色である「テーマ」は６つ用意されておりTキーを押すことで切り替えることができます。以下の画面はデフォルトのテーマを使用したもの。
Draculaはパステル調の濃い紫色の背景が特徴です。
Solarizedは非常に人気が高く「計算し尽くされた」カラースキームとも評されています。
Nordは北極を彷彿とさせるクールな青灰色ベースの色調です。
Monokaiはデフォルトに近いながらも温かみを感じる色合いとなっています。
Gruvboxも温かみのあるアースカラーのレトロ調色彩です。
◆CLIモード
CLIモードはTUIモードと異なりターミナルに一覧を出力して実行完了となるモードです。
TUIモードでキー入力により表示を切り替える代わりにCLIモードでは様々なパラメーターを渡すことで出力内容を切り替えます。
# Table of all models ranked by fit
llmfit --cli
# Only perfectly fitting models, top 5
llmfit fit --perfect -n 5
# Show detected system specs
llmfit system
# List all models in the database
llmfit list
# Search by name, provider, or size
llmfit search "llama 8b"
# Detailed view of a single model
llmfit info "Mistral-7B"
# Top 5 recommendations (JSON, for agent/script consumption)
llmfit recommend --json --limit 5
# Recommendations filtered by use case
llmfit recommend --json --use-case coding --limit 3
# Plan required hardware for a specific model configuration
llmfit plan "Qwen/Qwen3-4B-MLX-4bit" --context 8192
llmfit plan "Qwen/Qwen3-4B-MLX-4bit" --context 8192 --quant mlx-4bit
llmfit plan "Qwen/Qwen3-4B-MLX-4bit" --context 8192 --target-tps 25 --json
# Run as a node-level REST API (for cluster schedulers / aggregators)
llmfit serve --host 0.0.0.0 --port 8787
◆まとめ
llmfitはAIモデルを導入する上で直面する様々な問題を解決する手助けをしてくれる優秀なツールであることがわかります。導入する際にもほとんど手間がかからないので、自宅や職場などのPCにAIモデルを導入する予定のある方は是非一度使ってみてはいかがでしょうか。
