チャットも画像生成もローカルで実行できるAIアプリ「Gerbil」を使ってみた
「Gerbil」は大規模言語モデルや画像生成モデルをローカルで実行できるPC向けのアプリです。チャットAIとして使えたりFLUXを用いて高品質な画像を生成できたりして面白そうだったので、実際に使ってみました。
GitHub - lone-cloud/gerbil: A desktop app for running Large Language Models locally.
https://github.com/lone-cloud/gerbil
インストーラーのダウンロードが完了したらダブルクリックして実行します。
セキュリティ警告が表示されたら「詳細情報」をクリック。
「実行」をクリック。
インストーラーが起動したら「次へ」をクリック。
「インストール」をクリック。
「完了」をクリック。
すると、Gerbilが起動するので「Get Started」をクリック。
続いて、どのような環境のPCで実行するかの選択画面が表示されます。今回はNVIDIA GeForce RTX 3060(12GB)を搭載するPCで実行したいので「Standard」の右隣にある「Download」をクリックしました。
必要なファイルのダウンロードが始まるのでしばらく待ちます。
以下の画面が表示されたら「LAUNCH」をクリック。
大規模言語モデルのダウンロードが始まります。初期設定のままだと「gemma-3-4b-it-GGUF 」がダウンロードされます。
ダウンロードが完了したら、チャット画面のUI選択画面が表示されます。今回はChatGPTなどのチャットAIサービスに似た「Corpo UI」を選択して「Set UI」をクリックしました。
これがGerbilのチャット画面です。
画面下部に入力欄にテキストを入力して送信ボタンをクリック。
返答が出力されました。
返答を生成中のGPU使用率はこんな感じ。クラウドではなくローカルでAIを実行できていることが分かります。
Gerbilには画像生成機能も搭載されているので試してみます。まず、画面上部のモード切替ボタンをクリックしてから「Eject」をクリック。
確認画面が表示されたら「Eject」をクリック。
モデル設定画面が表示されたら「Image Generation」をクリックしてから「Model Preset」欄の選択ボタンをクリックしてプリセットを選びます。今回は「FLUX.1」を選びました。
必要なモデルのダウンロード用URLが自動入力されるので、そのまま「LAUNCH」をクリック。
モデルのダウンロードが完了するまでしばらく待ちます。
ダウンロードが完了したら、元のチャット画面が表示されます。画像生成モードに切り替えたいので、モード切替ボタンをクリックしてから「Stable UI」をクリック。
画像生成画面が表示されました。
画面を下方向にスクロールすると、プロンプト入力欄やステップ数などの調整バーが表示されます。
「Prompt」の欄に生成したい画像の説明文を入力して「Generate 1 image」をクリック。
しばらく待つと生成結果が表示されます。NVIDIA GeForce RTX 3060(12GB)を搭載したPCの場合、512×512ピクセルの画像を1枚生成するのに約11分かかりました。
タスクマネージャーを見ると、VRAMが足らずにシステムメモリにまで漏れ出していることが分かります。FLUX.1で快適に画像を生成するには大容量なVRAMが必要なようです。
生成した画像を保存するには「Images」をクリック。
これまでに生成した画像が一覧表示されるので、いずれかの画像を長押しします。
各画像の右上に選択用の丸印が表示されたら、保存したい画像をクリックして「Download」をクリックすることで画像をまとめたZIPファイルを保存できます。
なお、Gerbilは「llama.cpp」からフォークした「koboldcpp」を基盤に開発されており、今後llama.cppベースに移行することも検討されています。
