AIの頭脳である大規模言語モデル(LLM)をローカルで動作させると、料金がかからなかったり、プライバシーを守れたりなどのメリットがあります。今回はLLMをローカルで簡単に動作させるためのツール「Lemonade」を実際にインストールして使用してみました。

Lemonade: Local AI for Text, Images, and Speech

https://lemonade-server.ai/

Lemonadeを開発したのはAMDで、AMD製のハードウェア向けに徹底的にテスト・最適化が行われているとのこと。とはいえAMD以外のハードウェアでも問題なく動作するとされています。

Lemonadeのページへアクセスし、「Download」をクリック。



ダウンロードされた「lemonade.msi」をダブルクリックして実行します。



「Next」をクリック。



インストール場所を確認して「Next」をクリックします。



インストールが始まりました。



あっという間にインストールが完了。今回はすぐに動作を試すので、「Run Lemonade Server now」にチェックを入れて「Finish」をクリック。



ネットワークへのアクセスを求められるので「許可」をクリックします。



Lemonadeが起動しました。



何かチャットしてみます。試しに「who are you?」と入力してEnterキーを押してみました。



自動でモデルのダウンロードが始まります。



モデルのダウンロードが完了するとAIの返事が出力されました。



返事の質はモデル次第です。他のモデルを使用したい場合、画面左側に表示されている「MODEL MANAGER」の検索欄にモデル名を入れて下の欄から選択すればOK。標準で設定されているオススメモデルのほか、Hugging Faceにアップロードされているモデルも検索してダウンロードできるようです。



さらに「Lemonade」を実際に使うとどうなるのかというのを追加予定です、乞うご期待！