オフラインで動作＆データを読み込んでその内容を元に回答してくれるAIチャットツール「Khoj」を2019年に購入したノートPCで動かしてみた
Khojは、PC内のドキュメントを読み込んで回答したりドキュメントそのものを検索したりする機能が備わっているAIチャットツールです。推論時にはインターネット接続不要で、動作がローカルで完結するとのことなので、2019年に購入したi7-8650U搭載のノートPCで動作可能なのか試してみました。
khoj/docs at master · khoj-ai/khoj
Khojの動作にはPythonが必要です。Pythonの公式サイトへ行き、「Downloads」にカーソルをのせると出てくる「Python 3.XX.X」というボタンをクリックします。
インストーラーがダウンロードされるので、ダブルクリックして実行。
「Add python.exe to PATH」にチェックを入れて「Install Now」をクリックします。
インストールが始まるのでしばらく待機。完了したら「Close」をクリックしてインストーラーを終了します。
また、Khojのインストール時には「Microsoft C++ Build Tools」が必要です。Microsoftのサイトへアクセスし、「Build Tools のダウンロード」をクリック。
インストーラーがダウンロードされるので、ダブルクリックして実行します。
「続行」をクリック。
何をインストールするかを選択する画面になるので、「C++によるデスクトップ開発」にチェックを入れます。右側にオプションが表示されるので、「MSVC v143〜」「Windows 11 SDK」「Windows 用 C++ CMake ツール」「ツールのコア機能のテスト」の4つだけを選択した状態にし、「インストール」をクリックします。
インストールには30分以上かかりました。「OK」をクリックしてインストーラーを終了後、PCを再起動しておきます。
これで事前準備は完了です。Khojのリリースページにアクセスし、一番新しいバージョンの「exe」形式のファイルをダウンロードします。
ダウンロードしたファイルをダブルクリックで実行。
セキュリティの警告が出るので、「詳細情報」をクリックします。
「実行」をクリック。
Khojが起動しました。「Open Web UI」をクリックするとブラウザが起動し、Khojの「Settings」画面が開きます。
最初にチャットを有効化するため、Settings画面を下にスクロールして「Offline Chat」の項目にある「Enable」をクリック。
10分程度待機すると「Offline Chat」の横にチェックマークが入りました。
「Chat」タブへ移動し、プレースホルダーにある通り「What is the meaning of life?」と聞いてみます。
かなり長文の答えが返ってきました。回答が始まるまでに約20秒、回答完了までには1分以上の時間がかかりました。
日本語を使えるか聞いてみましたが、返答は英語でした。ただし、こちらの質問内容はきちんと理解できているようです。
推論中のCPU使用率・メモリ使用量はこんな感じ。CPUはi7-8650Uを利用しています。なお、記事作成時点ではGPUを利用する設定はなさそうです。
通常のチャットAIとしての利用は問題ないことがわかったので、続いてプラグインの機能を試してみます。利用できるプラグインの一覧は「Settings」画面で確認でき、記事作成時点では「Github」「Notion」「Markdown」「Org」「PDF」の5つとなっています。今回は「Markdown」をクリック。
また、Khojに読み込ませるファイルの準備も必要です。今回はKhojのドキュメントフォルダを利用します。適当な場所に保存し、フォルダのパスをコピーします。
Khojの画面に戻り、「Folders」の枠にパスを貼り付けて「Save」をクリック。
「settings page」をクリックして戻ります。
ページの一番下までスクロールし、「Configure」をクリック。
下図の画面が表示されれば読み込み完了です。
チャットで「khojのインストール方法」を聞いてみると、ちゃんと読み込んだ内容を踏まえて回答してくれます。
また、「Search」画面ではドキュメントそのものを検索可能です。チャットとは異なり、かなり高速に動作するため快適に検索できます。
なお、特徴である「オフラインでの動作」を諦めることになるものの、OpenAIの「GPT-3.5-turbo」を利用してオンラインで高速な推論を行うことも可能となっています。
