インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場
Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。
Secret Llama
https://secretllama.com/
GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3.
実際にSecret LlamaのデモサイトでLlama 3を動作させて会話してみたところが以下のムービー。
大規模言語モデルを完全にブラウザで動作できる「Secret Llama」でLlama 3と会話してみた - YouTube
Secret Llamaのデモサイトにアクセスするとこんな感じ。
左上からモデルを選ぶことが出来ます。選択可能なモデルはMistral-7B、Llama 3、TinyLlama、Phi1.5の4種類。
プロンプトは中央下部にある入力欄に入力します。
最初に入力すると、まずモデルをロードします。今回は最も軽量かつ高速なTinyLlamaを選んでみました。
モデルのロードが終わると、今度はGPUシェーダーモジュールのロードが始まります。
全てのロードが終了。今回はノートPCでSecret Llamaにアクセスしているので、使用しているGPUはiGPUのIntel UHDグラフィックスです。
「こんにちは」という日本語の入力に対し、TinyLlamaは英語で回答。
TinyLlamaが日本語に正式に対応していないからか、回答の日本語はめちゃくちゃになっています。
しかし、英語で質問してみると、今度は回答が返ってこなくなり、ストップしてしまいました。さすがにモデルが軽量といえども、ノートPCのiGPUではLLMを動かすのは厳しい模様。
そこで、今度はNVIDIA GeForce GTX 3060 12GBを搭載した編集部のPCからSecret Llamaにアクセス。モデルをLlama 3に切り替えて質問してみました。
日本語は理解しているものの回答は英語のみ。それでも非常に応答が早く、回答の精度も高いことがわかります。
Secret Llamaは会話データがPCから流出することはなく、完全にプライベート。ブラウザで実行するのでサーバーもインストールも必要ありませんまた、モデルをロードした後はオフラインでも動作し、ChatGPTライクな使いやすいインターフェイスとなっています。推論エンジンにはWeb-LLMを使っているとのこと。
なお、Secret LlamaはWebGPUを使う仕様上、デフォルトでWebGPUが有効化されているGoogle ChromeまたはMicrosoft Edgeでの使用が推奨されています。Mozilla Firefoxの場合は手動でWebGPUを有効化する必要があり、 Safariの場合は「実験的なWebKitの機能」の設定からWebGPUを有効化する必要があります。また、Secret LlamaのReactコードを自分でコンパイルして使うことも可能です。
