チャットAI「LLaMA」を一発でローカルにインストールして「文章の続きを書く機能」を試せる「Dalai」使い方まとめ
FacebookやInstagramの運営元であるMetaが開発した言語モデル「LLaMA」は、単体GPUで動作する手軽さとChatGPTに匹敵する性能を両立しているとして話題になっています。そんなLLaMAをApple シリコン搭載Macで動作可能にした「llama.cpp」をGUI付きで簡単に動作させられる「Dalai」が登場したので、実際にインストールして「文章の続きを書く機能」を試してみました。
https://cocktailpeanut.github.io/dalai/
Dalaiを使うには、JavaScript実行環境「Node.js」や開発者向けツール詰め合わせパック「Command Line Tools」を先にインストールしておく必要があります。今回はiMacを使って、必要なソフトウェアから順番にインストールしてみます。既に環境が整っている場合は、「Dalaiのインストール＆起動」までスクロールしてください。
・目次
◆1：Node.jsのインストール
◆2：Command Line Toolsのインストール
◆3：Dalaiのインストール＆起動
◆4：DalaiでLLaMAの「文章の続きを書く機能」を使ってみた
◆1：Node.jsのインストール
まず、以下のリンクをクリックしてNode.jsのダウンロードページにアクセスします。
Node.js
https://nodejs.org/ja/download/
続いて、「macOS Installer」をクリックして、インストーラー(ファイルサイズ70.4MB)をダウンロードします。
次に、ダウンロードしたインストーラーをダブルクリックして起動します。
インストーラーが起動したら「続ける」をクリック。
使用許諾契約をよく読んでから「続ける」をクリック。
「同意」をクリック。
「インストール」をクリック。
Macにログインする際のパスワードを入力して「ソフトウェアをインストール」をクリック。
以下の警告が表示されたら「OK」をクリック。
少し待つとインストールが完了するので「閉じる」をクリックします。
最後に「ゴミ箱に入れる」をクリックすれば、Node.jsのインストールは完了です。
◆2：Command Line Toolsのインストール
続いて、Appleが提供している開発者向けツール詰め合わせパック「Command Line Tools」をインストールします。Xcodeをインストール済みの場合はCommand Line Toolsも既にインストールされているので、この項目は飛ばしてOKです。
まず、「Commandキー」と「Spaceキー」を同時押ししてSpotlightを開き、「ターミナル」を検索して起動します。
以下のような画面が開けばOK。
続いて、以下のコマンドを入力して「Enterキー(Returnキー)」を押します。
xcode-select --install
画像をで示すとこんな感じ。上記のコマンドを丸ごとコピー＆ペーストしてから「Enterキー」を押せばOK。
インストール確認画面が表示されたら「インストール」をクリック。
使用許諾契約をよく読んでから「同意する」をクリック。
インストールは数分間かかります。
インストールが完了したら「完了」をクリック。これでDalaiのインストール準備はすべて完了です。
◆3：Dalaiのインストール＆起動
Dalaiは、以下のコマンドを実行するだけでインストールできます。
npx dalai llama
画像で示すとこんな感じ。
モデルデータのダウンロードなどが自動的に進むので、しばらく待機します。
以下のような画面になれば、インストール完了です。
Dalaiを起動するには、以下のコマンドを実行します。
npx dalai serve
画像で示すとこんな感じ。
「Server running on http://localhost:3000」と表示されたら、SafariやFirefoxなどのブラウザを起動します。
ブラウザを起動したら、「http://localhost:3000」にアクセスします。
すると、以下のようにDalaiのUIが表示されます。
◆4：DalaiでLLaMAの「文章の続きを書く機能」を使ってみた
Dalaiでは、テキストボックスに文章を入力してから「Autocomplete」をクリックすることで、入力した文章の続きを生成できます。試しに「I like cake.(私はケーキが好きです)」と入力してから「Autocomplete」をクリック。
すると、ケーキをいかに好きか熱弁する文章が生成されました。しかし、文章の途中から「ケーキをかざる棚のセールストーク」が始まっており、あまり自然な文章とは言えません。
今度は「This is a pen.(これはペンです)」と入力してから「Autocomplete」をクリック。
今度は、「三洋とパナソニックが開発した素晴らしきペン」という謎製品の解説文が生成されました。
日本語だとどうなるのか気になったので「こんにちは。」と入力してから「Autocomplete」をクリック。
すると、文章の続きが英語で生成されました。日本語での文章生成には対応していないようです。
なお、Dalaiのソースコードは、以下のリンク先で公開されています。
GitHub - cocktailpeanut/dalai: The simplest way to run LLaMA on your local machine
https://github.com/cocktailpeanut/dalai
