米Metaは7月18日（現地時間）、大規模言語モデル「Llama 2」を発表した。オープンソースとして公開し、研究および商業利用も可能。モデルサイズは70億〜700億パラメータ。「推論、コーディング、習熟度、知識テストを含む多くの外部ベンチマークにおいて、他のオープンソース言語モデルを上回っている」としている。また、AI分野におけるMicrosoftとのパートナーシップを拡大し、MicrosoftがAzureとWindowsでLlama 2をサポートする。Amazon Web Services（AWS）、Hugging Face、その他のプロバイダーからも利用できる。



Llama 2のモデルサイズは70億、130億、700億パラメータの3つ。2月に発表したLlama 1より40％多い2兆個のトークンで訓練された。モデルが一度に処理できるコンテンツの長さに関わるコンテキスト長は、Llama 1の2倍の4,096トークンだ。



「これはLLM市場の風景を変えるだろう」とMetaのチーフAIサイエンティストのヤン・ルクン氏はツイートしている。Metaが公開したベンチマーク結果によると、130億パラメータのLlama 2が400億パラメータのFalconに匹敵する。NVIDIAのシニアAIサイエンティストのジム・ファン氏がベンチマークについて、「70B（700億パラメータ）が推論タスクでGPT-3.5に迫るが、コーディングベンチマークでは大きな開きがある。PaLM-540B（Google）と同等かそれ以上だが、GPT-4やPaLM 2-Lにはまだ遠く及ばない」と指摘し、その上で「今あるOSSの中で最高のモデルだ」と評価している。



同社は2月にLlama 1を非商用ライセンスで研究コミュニティに公開したが、すぐに流出してしまってAIコミュニティに広く浸透した経緯がある。AIモデルをオープンソースで公開することには賛否両論がある。反対派は、データの品質や偏り、スパムや偽情報の生成に使われる可能性、管理の難しさなどを懸念する。一方で支持派は、透明性、巨大テック企業に技術が限定されない活発な競争、AIの民主的といったメリットを主張する。

MetaはLlama 2の調整済みモデルに100万以上の人によるアノテーションを行った。安全性に関して、第三者に依頼してレッドチーム演習を実施し、敵対的なプロンプトの生成を繰り返してファインチューニングを促進させた。今後も安全性調整を繰り返しながら更新版をリリースしていく。また、公正かつ責任ある使用を定め、特定のユースケースを禁じるポリシーを設けており、開発者をサポートするリソースとして「責任ある使用ガイド」を作成した。さらに、研究論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」で透明性に関するスキマティックを通じてモデルの調整と評価方法を説明している。

同日に「Statement of Support for Meta’s Open Approach to Today’s AI」も公開し、MetaのオープンソースAIモデルへの取り組みが業界全体のサポートを得ていることを示している。同声明にはDropbox CEOのドリュー・ヒューストン氏、Hugging FaceのCTOであるジュリアン・ショーモン氏、MITのレックス・フリードマン氏、Yコンビネーターの創設パートナーであるポール・グレアム氏などが署名している。一方で、MozillaのTrustworthy AIのシニアフェローのアベバ・ビルハネ氏のように、個人データが関わるAIトレーニングについて十分な情報な開示されていないと指摘する研究者もいる。

LLMの責任ある開発と共有についての理解を深めることを目的に、Metaは学術研究者向けの新しいパートナーシッププログラムを開始した。また、Llamaインパクト・チャレンジという困難な問題の解決にLlamaの活用を促すチャレンジを計画している。

MicrosoftはAzure AIモデルカタログ（現在パブリックプレビュー中）に3つのLlama 2モデルを追加し、顧客がそれらを選択して簡単にファインチューニングしてデプロイできるようにする。また、Windows上でローカル動作するように最適化する予定だ。Windowsの開発者は、ONNX Runtimeを通じてDirectML実行プロバイダーをターゲットにすることでLlamaを使用できるようになり、アプリケーションに生成AI体験をもたらすシームレスなワークフローが可能になる。