2023年11月のイベント「Microsoft Ignite 2023」で発表された言語モデルの「Phi-2」がリリースされました。パラメーター数は27億で小規模なモデルとなっているものの、最大で25倍のモデルと同等の性能を発揮できます。

Phi-2: The surprising power of small language models - Microsoft Research

https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/





「Phi」はMicrosoft Researchの機械学習基盤チームが開発しているTransformerベースの小規模言語モデルシリーズです。最初のモデルである「Phi-1」は13億パラメーターで、既存の小規模言語モデルの中でPythonコーディングにおいて最先端のパフォーマンスを達成しました。Phi-1を起点に一般的な推論と言語理解の能力を向上させたモデルが「Phi-1.5」で、パラメーター数が13億と小さいながらも5倍大きいモデルと同等のパフォーマンスを発揮しています。

今回リリースされたPhi-2は27億パラメーターのモデルで、パラメーター数が130億未満の基本言語モデルの中で最先端のパフォーマンスを達成できたとのこと。そのほか、さまざまなベンチマークを計測すると最大でサイズが25倍大きいモデルと同等以上の性能を発揮しました。モデルのサイズが小さいためトレーニングや推論などのコストを抑えることができ、言語モデルを研究するのに適しているとのこと。

小さいモデルで大きいモデルに匹敵する性能を出すために、Microsoftはトレーニングのデータと方法に焦点を当てました。トレーニングデータとしては科学や日常生活、心理などの常識・一般知識を教えるためのデータセットと、教育的価値やコンテンツの品質に基づいて慎重にフィルタリングしたウェブのデータセットを使用したとのこと。また、最初にPhi-1.5をトレーニングしてその知識をPhi-2へ移転するという方法を用いることでトレーニングの収束を加速しつつベンチマークスコアを向上させることに成功しました。トレーニングデータの量は1.4兆トークンで、96個のNVIDIA A100 GPUを使用して14日かけてトレーニングを行ったとのこと。



下図はToxiGenに基づいて安全性スコアを算出したもので、スコアが高いほど無害な文を生成しやすいことを示しています。Phi-2はRLHFやファインチューニングによる調整を行っていないベースモデルであるにもかかわらず、毒性やバイアスに関して既存の調整済みモデルであるLlama2-7bよりも優れた結果を出しました。



他のモデルと比較したベンチマーク結果は以下の通り。Phi-2は特にプログラミングや数学など複数のステップが必要な推論タスクにおいて優れたパフォーマンスを発揮しています。

モデルサイズBBH常識的推論言語理解数学プログラミングLlama-27B40.062.256.716.521.013B47.865.061.934.225.470B66.569.267.664.138.3Mistral7B57.266.463.746.439.4Phi-22.7B59.268.862.061.153.7

2023年12月6日に登場したGeminiのうち、一番小さいモデルである「Gemini Nano 2」との比較は下図の通り。Phi-2はGemini Nano 2と同等以上の性能を持っていることが確認できます。

ModelSizeBBHBoolQMBPPMMLUGemini Nano 23.2B42.479.327.255.8Phi-22.7B59.383.359.156.7

ベンチマーク通り、単純な物理問題であれば難なく解ける模様。平方根の計算についてもほぼ正確に行うことができました。



なお、Phi-2は研究用途のみのライセンスで提供されているため、商用利用は不可能となっている点に注意が必要です。