MetaがAIモデル「Llama 3.2」を2024年9月26日に発表しました。Llama 3.2には画像認識性能が向上した中規模モデルの「Llama 3.2 90B」と「Llama 3.2 11B」のほかに、スマートフォン上でのローカル動作に最適化された小規模モデル「Llama 3.2 3B」および「Llama 3.2 1B」もラインナップされています。

Llama 3.2

https://www.llama.com/

Llama 3.2: Revolutionizing edge AI and vision with open, customizable models

https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/

◆「Llama 3.2 90B」＆「Llama 3.2 11B」

「Llama 3.2 90B」と「Llama 3.2 11B」は、Llama 3.1のテキスト関連の機能を維持しつつ画像認識性能を向上するようにトレーニングされています。これにより、画像とテキストを同時に入力して高精度の推論結果を得られるようになっています。



「Llama 3.2 90B」と「Llama 3.2 11B」のベンチマーク結果を「Claude 3 Haiku」や「GPT4o-mini」と比較した表が以下。「Llama 3.2 90B」は多くのテストでライバルモデルのスコアを上回り、「Llama 3.2 11B」も比較的小規模なモデルとしては高いスコアを記録しています。



◆「Llama 3.2 3B」＆「Llama 3.2 1B」

「Llama 3.2 3B」と「Llama 3.2 1B」はスマートフォン上での動作を念頭に置いた軽量モデルで、非力なスマートフォン向けチップ上で「要約」「リライト」「文章生成」といった操作を実行できます。なお、「Llama 3.2 3B」と「Llama 3.2 1B」を開発する際にはArmやQualcomm、Mediatekと緊密に連携したとのこと。

スマートフォン上で文章をリライトするテストでは、「Llama 3.2 3B」と「Llama 3.2 1B」が「Phi 3.5 3.8B」や「Gemma 2 2.6B」といった軽量モデルよりも高い性能を示しました。



「Llama 3.2 3B」「Llama 3.2 1B」「Gemma 2 2B IT」「Phi-3.5-mini IT」のベンチマーク結果を並べた表が以下。「Llama 3.2 3B」は多くのテストでライバルを上回り、「Llama 3.2 1B」も一部のテストでライバルを上回っています。



Llama 3.2の各種モデルは以下のリンク先でダウンロード可能です。ただし、「Llama 3.2 3B」と「Llama 3.2 1B」は量子化済みモデルのみが公開されており、未量子化モデルの詳細は近日中に公開される予定です。

meta-llama (Meta Llama)

https://huggingface.co/meta-llama