NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み
![](https://image.news.livedoor.com/newsimage/stf/b/2/b234a_88_48ed188dc1d99af9c9633c2b20dc0a51.png)
AI開発企業のMistral AIがNVIDIAと協力してAIモデル「Mistral NeMo」を開発したことを発表しました。Mistral NeMoは各種ベンチマークでGemma 2 9BやLlama 3 8Bを上回る性能を示しており、NVIDIAのAIプラットフォームで利用できるほか、モデルデータがオープンソースで公開されています。
Mistral NeMo | Mistral AI | Frontier AI in your hands
Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model | NVIDIA Blog
https://blogs.nvidia.com/blog/mistral-nvidia-ai-model/?ncid=so-twit-243298&linkId=100000274370636
Mistral NeMoはパラメータ数12Bの比較的小型なAIモデルです。Mistral NeMoとGemma 2 9BとLlama 3 8Bの性能を比較した表が以下。Mistral NeMoのコンテキストウィンドウは12万8000で、他の2モデルと比べて大きなプロンプトを処理可能。さらに、ほとんどのベンチマークでGemma 2 9BとLlama 3 8Bを上回るスコアを記録しています。加えて、Mistral NeMoは量子化を考慮して設計されており、FP8でもパフォーマンスの低下を抑えて推論処理を実行可能とのこと。
![](https://image.news.livedoor.com/newsimage/stf/2/c/2cf39_88_f906f1b153e35926e3e28f507783a8cb.png)
Mistral NeMoは多言語対応モデルとして開発されており、特に日本語、英語、中国語、韓国語、アラビア語、イタリア語、スペイン語、ドイツ語、ヒンディー語、フランス語、ポルトガル語で性能を発揮します。多言語性能を測定するベンチマークでは、ほとんどのテストでLlama 3 8Bを上回るスコアを記録しています。
![](https://image.news.livedoor.com/newsimage/stf/1/5/15257_88_e967ad88fb9b2f255361cfd4f5125800.png)
また、Mistral NeMoは新開発のトークナイザ「Tekken」を採用しており、トークン化の効率が向上しています。日本語では従来のトークナイザと比べて1.56倍の効率でトークン化が可能で、アラビア語では3.02倍、マレーシア語では3.90倍に効率が向上しています。
![](https://image.news.livedoor.com/newsimage/stf/1/3/13489_88_bce81d39424aebed3155367beaff484c.png)
Mistral NeMoはNVIDIAのAIプラットフォームDGX Cloudで学習処理を実行しており、学習の際にはAI開発フレームワーク「NVIDIA NeMo」に含まれるGPU最適化技術「Megatron-LM」を活用したとのこと。
Mistral NeMoはすでにNVIDIA NIMで使えるサービスとしてパッケージ化されています。実際にNVIDIA NIM上で「istral-nemo-12b-instruct」を使ってみた結果、日本語で高精度な回答を返してくれました。
![](https://image.news.livedoor.com/newsimage/stf/1/2/12d5f_88_1f8820dd7b9f65addda4003dc54490ca.png)
なお、Mistral NeMoはベースモデルの「Mistral-Nemo-Base-2407」と微調整版の「Mistral-Nemo-Instruct-2407」がHugging Faceで公開されています。ライセンスはApache License 2.0で、商用アプリにも使用可能です。
mistralai/Mistral-Nemo-Base-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Base-2407
mistralai/Mistral-Nemo-Instruct-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407