Llama 3.3 70BベースでGPT-4o超えの満足度を達成するAIをPerplexityが発表
AI企業のPerplexity AIが、自社独自モデルである「Sonar」の新しいバージョンをリリースしたことを明らかにしました。このバージョンはGPT-4o miniやClaude 3.5 Haikuのような同クラスのモデルを大幅に上回り、ユーザー満足度ではGPT-4oやClaude 3.5 Sonnetのようなフロンティアモデルを上回ることがわかっています。
Meet New Sonar
Sonarの新しいバージョンは、有料サービス「Perplexity Pro」の加入者がAI検索エンジン「Perplexity」で利用することができます。
SonarはMetaの大規模言語モデル「Llama 3.3 70B」をベースに構築されていて、Perplexityのデフォルトの検索モードにおいて解答の正確性と読みやすさを向上させるようトレーニングされているとのことです。
A／Bテストを通じてユーザーに新モデルを試してもらったところ、満足度はClaude 3.5 Sonnetとほぼ同等で、GPT-4o mini、Claude 3.5 Haikuのような同クラスのモデルを大幅に上回ったそうです。これは、モデルが質問にどれだけうまく答えることができるか、Markdownを適切に使用して読みやすい形に成形したかといった指標から測定されています。
正確さ(FACTUALITY)、読みやすさ(READABILITY)、素直さ(IFEval)、知識の幅広さ(MMLU)などの指標を数値化したところ、Sonarは正確さと読みやすさで他社モデルを上回り、素直さと知識の幅広さでは他社モデルに近い性能を発揮しました。
応答の速度も速く、Gemini 2.0 Flashのような同等のモデルよりも10倍近く速いデコード・スループットを達成し、「驚異的なスピード」で回答を提供するとのこと。
SonarとGPT-4oの出力結果を比較した画像が以下。書かれていることはほとんど同じように見えますが、Sonarは個人の経歴を箇条書きして表示するなど読みやすく仕上げていることがわかります。
Perplexity AIは「Sonarは迅速かつ正確な回答を提供することに優れており、日常的に使用するのに最適なモデルです。Perplexity Proのユーザーは、設定でSonarをデフォルトモデルにすることができます。また、Sonar APIを介して使用することもできます」と案内しました。
