スマートフォン上で直接動作する小型言語モデルを搭載したAIアシスタントが「PocketPal AI」です。PocketPal AIはiOSとAndroidの両方に対応しており、インターネット接続なしで様々なSLMと対話できます。すべての処理はデバイス上で完結するため、プライバシーは完全に保護されます。会話、プロンプト、データはスマートフォンから外部に送信されることも、外部サーバーに保存されることもありません。

a-ghorbani/pocketpal-ai: An app that brings language models directly to your phone.

https://github.com/a-ghorbani/pocketpal-ai

PocketPal AI App - App Store

https://apps.apple.com/us/app/pocketpal-ai/id6502579498

PocketPal AI - Google Play のアプリ

https://play.google.com/store/apps/details?id=com.pocketpalai

PocketPal AIはiOS版とAndroid版が提供されています。今回はiPhone 15 Proで使ってみるため、App Storeページで「入手」をタップし、インストールします。



インストールが終わり、PocketPal AIを起動するとこんな感じ。「Download Model」をタップします。



「Available to Download」をタップ。



すると、インストールできるモデルの一覧が展開されます。今回は「Gemma-2- 2b-it(Q6_K)」の「Download」をタップします。



Gemma-2- 2b-it(Q6_K)のダウンロードが始まりました。モデルは用意されているもの以外にも、Hugging Faceで検索したものを導入することも可能です。右下にある＋アイコンをタップ。



「Add from Hugging Face」を選択します。



すると、Hugging Faceで公開されているモデルが表示されます。そこで、NVIDIAのNemotoron 3 Nanoを導入するため、タップ。



ダウンロードアイコンをタップします。



ダウンロードが終わったモデルはモデル一覧の「Ready to Use」に表示されているので、「Load」をタップしてロードします。



ロードが終了すると、チャット画面が開きました。「Chat」の下に「Gemma-2- 2b-it(Q6_K)」とモデル名が表示されています。



日本語を使ってチャットをすることができました。小型言語モデルなので精度は高くないものの、iPhone上での動作でも返答はかなり速いと感じました。



モデルを変更するには、右上のケバブアイコンをタップして「Models」をタップ。



「NVIDIA-Nemotron3-Nano-4B-Q4-K_M.」を選択します。



すると、NVIDIA-Nemotron3-Nano-4B-Q4-K_M.と会話することができるようになりました。なお、メニューは左上のハンバーガーアイコンをタップすると展開します。



展開したメニューはこんな感じ。「Chat」でチャット画面を開くメニューで、過去のチャット履歴はメニューの下に表示されました。



「Pals」は記事作成時点では実験的な機能で、個性や設定の異なるパーソナライズされたAIアシスタントを導入できます。Palsを利用するにはPalshub.aiに登録する必要があります。登録は無料で、メールアドレスあるいはGoogleアカウントの連携が求められます。



「Models」で見られるモデル一覧からは、ロード中のモデルをオフロードしたり、新たにモデルを追加したりすることが可能です。



そして、PocketPal AIではAIモデルを用いたデバイスのベンチマークを実行できます。モデルを選択し、「Start Test」をタップするだけでOK。ベンチマークには2〜5分ほどかかります。



iPhone 15 Proで、Gemma-2- 2b-it(Q6_K)でベンチマークを実行した結果が以下。プロンプト処理(Prompt Processing)が毎秒205.34トークン、トークン生成(Token Generation)が毎秒13.77トークン、トータル時間36秒、メモリー消費率のピークは31％でした。「View leaderboard」を見ると、Hugging Faceに公開されているベンチマーク結果のランキングを見ることができます。



記事作成時点でのランキングでトップの座に輝いていたのは、M2チップ搭載の第6世代iPad Pro(11インチ)でした。



それ以下のランキングはこんな感じでした。



なお、Device Duelの項目ではデバイス同士の結果を比較することができました。