「Jan」は、大規模言語モデル(LLM)のダウンロードからローカルで動作させて実際にチャットするまでの流れをすべてGUIで実行できるアプリです。便利そうだったので、実際にPCにJanをインストールしてLLMとチャットするまでの手順を確かめてみました。

Jan | Rethink the Computer

https://jan.ai/

JanはLLMをダウンロードしてローカルで実行するアプリです。LLMとサクサク会話するには、NVIDIA製GPUを搭載マシンかAppleシリコン搭載Macの使用が推奨されています。今回はGeForce RTX 3090を搭載したWindowsマシンで動作させてみます。

まずは以下のリンクをクリックしてJanのダウンロードページにアクセスします。

Download | Jan | Rethink the Computer

https://jan.ai/download/

ダウンロードページにアクセスしたらWindowsと記されてエリアにある「Standard(64-bit)」をクリックしてJanのインストーラーをダウンロードします。



インストーラーのダウンロードが完了したらダブルクリックして実行。



インストールは数秒で完了してJanが自動的に起動します。JanではOpenAIのAPIキーを指定することでGPT-4などと会話することもできますが、今回はLLMをローカルにダウンロードして実行してみます。LLMをダウンロードするには画面左側の赤枠で囲ったボタンをクリック。



ダウンロード可能がLLMがズラリと表示されるので、下方向にスクロールしながらダウンロードしたいLLMを探します。



ダウンロードしたいLLMを見つけたら、右側の「Download」をクリック。今回は「Llama 2 Chat 7B Q4」をダウンロードしてチャットすることにしました。



するとダウンロードが始まるのでしばらく待ちます。



ダウンロードが完了したら「Use」をクリック。



チャット画面が表示されたら画面下部の入力欄にテキストを入力して「Send」をクリックするかEnterキーを押します。



すると、LLMの読み込みが始まります。



読み込みが完了すると入力したテキストへの返答が生成されます。GeForce RTX 3090搭載マシンの場合、LLMの読み込みが完了した後はテキストをかなり高速に生成できました。



日本語で応答するように頼むと、しっかり日本語で返事してくれました。ただし、回答内容は不正確です。Janではこんな感じにLLMをのダウンロードから実行までをGUI上で簡単に実行できるというわけです。



なお、Janはオープンソースで開発されており、以下のリンク先でソースコードを確認できます。

GitHub - janhq/jan: Jan is an open source alternative to ChatGPT that runs 100% offline on your computer

https://github.com/janhq/jan