Llama 3.1発表、4050億パラメータの最先端モデル公開「オープンなAIを主流に」
米Metaは7月23日（現地時間）、オープンAIモデル「Llama 3.1」を発表した。
同社は今年4月に「Llama 3」を発表し、70B（700億パラメータ）と8B（80億パラメータ）の2つのモデルをリリースした。その際に、OpenAIのようなクローズドなアプローチをとる企業が提供しているフロンティア（最先端）モデルに匹敵する、4000億パラメータ規模のモデルをトレーニング中であると明かしていた。それがLlama 3.1である。405B（4050億パラメータ）、70B、5Bの3つのモデルがあり、23日からllama.meta.comとHugging Faceでダウンロード可能となった。
Llama 3.1の公開に合わせ、MetaのCEO、マーク・ザッカーバーグ氏がMetaのAI開発のアプローチを説明する「Open source AI is the path forward」を公開した。その中で同氏は、「Llama 3.1 のリリースは、ほとんどの開発者がオープンソースを主に使用し始める業界の変曲点になると信じている」と述べている。
現在、生成AIの開発競争はOpenAIのようなクローズドなアプローチをとる企業が先頭集団を形成している。Metaが昨年リリースしたLlama 2は、それらの最先端モデルより性能が劣る旧世代モデル相当だったが、Llama 3.1は最先端モデルに匹敵し、いくつかの分野ではリードしている。下はMetaが公開したLlama 3.1 405Bのモデル評価の結果である。
実際に使用した人による評価では、OpenAIのGPT-4oとの比較で、19.1％がLlama 3.1 405Bの方が「優れている」と評価し、「同等」という評価が51.7％だった。
下はLlama 3.1 8Bと70B、同規模の他のAIモデルのモデル評価結果である。
Llamaが最先端モデルの領域で性能面の競争力を備えたことで、オープン性、変更可能性、コスト効率といったオープンなアプローチのメリットが生きてくる。
生成AIモデルは今後、組織ごとの様々なニーズに応じたカスタマイズが重要になる。オンデバイス・タスクや分類タスクには効率的に動作する小さなモデルが、複雑なタスクには大きなモデルが必要である。それぞれの用途に応じて、特定のデータでトレーニングまたは微調整することで適切な機能やサービスを提供できる。また、クローズドなベンダーへの依存は、運営や管理を自身でコントロールできないリスクにつながる。
ザッカーバーグ氏は「405Bモデルがオープンであるという事実によって、（Llamaが）小規模モデルのファインチューニングや蒸留の最適な選択肢となるだろう」と述べている。
Metaはモデルを公開するだけではなく、広範なエコシステムを成長させるために様々な企業と協力している。 Amazon、Databricks、NVIDIAは、開発者が独自のモデルを微調整し、蒸留するのをサポートするためのサービススイートを立ち上げている。 AI・機械学習のためのハードウェアおよびソフトウェアソリューションを提供するGroqは、クラウド展開向けに低レイテンシ推論を最適化し、Dellはオンプレミスシステム向けに同様の最適化を行なっている。
クローズドモデルの方がコスト効率が良いという指摘に対し、MetaはArtificial Analysisの評価を紹介し、1トークンあたりのコストでLlamaモデルが最も低いとしている。 Llama 3.1 により、開発者は独自のインフラ上で405Bモデルを用いて、ユーザー向けおよびオフラインの推論タスクの両方で、クローズドなモデルを使用する場合のおよそ50%のコストで推論を実行できるとのこと。
Llama 3.1は、MetaのAIアシスタント「Meta AI」で、meta.aiとWhatsAppから利用できるようになり、さらにInstagramとFacebookに展開される。Meta AIのアップデートでは、対応言語に、フランス語、ドイツ語、ヒンディー語、ヒンディー語（ローマ字）、イタリア語、ポルトガル語、スペイン語が追加され、利用できる国・地域が22カ国に拡大する。
Metaは、音声AI機能としてスマートグラス「Ray-Ban | Meta Smart Glasses」にMeta AIを実装しているが、VRヘッドセットMeta Questにも導入する計画で、8月に米国とカナダで試験的機能提供を開始する。ユーザーは、パススルーモードで見える現実世界のものについて質問したり、VR環境で視聴しているコンテンツに関して会話したり、またはコンテンツの再生や天気予報の確認など音声コマンドとして利用できるようになる。
同社は今年4月に「Llama 3」を発表し、70B（700億パラメータ）と8B（80億パラメータ）の2つのモデルをリリースした。その際に、OpenAIのようなクローズドなアプローチをとる企業が提供しているフロンティア（最先端）モデルに匹敵する、4000億パラメータ規模のモデルをトレーニング中であると明かしていた。それがLlama 3.1である。405B（4050億パラメータ）、70B、5Bの3つのモデルがあり、23日からllama.meta.comとHugging Faceでダウンロード可能となった。
現在、生成AIの開発競争はOpenAIのようなクローズドなアプローチをとる企業が先頭集団を形成している。Metaが昨年リリースしたLlama 2は、それらの最先端モデルより性能が劣る旧世代モデル相当だったが、Llama 3.1は最先端モデルに匹敵し、いくつかの分野ではリードしている。下はMetaが公開したLlama 3.1 405Bのモデル評価の結果である。
実際に使用した人による評価では、OpenAIのGPT-4oとの比較で、19.1％がLlama 3.1 405Bの方が「優れている」と評価し、「同等」という評価が51.7％だった。
下はLlama 3.1 8Bと70B、同規模の他のAIモデルのモデル評価結果である。
Llamaが最先端モデルの領域で性能面の競争力を備えたことで、オープン性、変更可能性、コスト効率といったオープンなアプローチのメリットが生きてくる。
生成AIモデルは今後、組織ごとの様々なニーズに応じたカスタマイズが重要になる。オンデバイス・タスクや分類タスクには効率的に動作する小さなモデルが、複雑なタスクには大きなモデルが必要である。それぞれの用途に応じて、特定のデータでトレーニングまたは微調整することで適切な機能やサービスを提供できる。また、クローズドなベンダーへの依存は、運営や管理を自身でコントロールできないリスクにつながる。
ザッカーバーグ氏は「405Bモデルがオープンであるという事実によって、（Llamaが）小規模モデルのファインチューニングや蒸留の最適な選択肢となるだろう」と述べている。
Metaはモデルを公開するだけではなく、広範なエコシステムを成長させるために様々な企業と協力している。 Amazon、Databricks、NVIDIAは、開発者が独自のモデルを微調整し、蒸留するのをサポートするためのサービススイートを立ち上げている。 AI・機械学習のためのハードウェアおよびソフトウェアソリューションを提供するGroqは、クラウド展開向けに低レイテンシ推論を最適化し、Dellはオンプレミスシステム向けに同様の最適化を行なっている。
クローズドモデルの方がコスト効率が良いという指摘に対し、MetaはArtificial Analysisの評価を紹介し、1トークンあたりのコストでLlamaモデルが最も低いとしている。 Llama 3.1 により、開発者は独自のインフラ上で405Bモデルを用いて、ユーザー向けおよびオフラインの推論タスクの両方で、クローズドなモデルを使用する場合のおよそ50%のコストで推論を実行できるとのこと。
Llama 3.1は、MetaのAIアシスタント「Meta AI」で、meta.aiとWhatsAppから利用できるようになり、さらにInstagramとFacebookに展開される。Meta AIのアップデートでは、対応言語に、フランス語、ドイツ語、ヒンディー語、ヒンディー語（ローマ字）、イタリア語、ポルトガル語、スペイン語が追加され、利用できる国・地域が22カ国に拡大する。
Metaは、音声AI機能としてスマートグラス「Ray-Ban | Meta Smart Glasses」にMeta AIを実装しているが、VRヘッドセットMeta Questにも導入する計画で、8月に米国とカナダで試験的機能提供を開始する。ユーザーは、パススルーモードで見える現実世界のものについて質問したり、VR環境で視聴しているコンテンツに関して会話したり、またはコンテンツの再生や天気予報の確認など音声コマンドとして利用できるようになる。
