MetaとGoogle DeepMindの元従業員が立ち上げたAI開発企業のMistral AIが、コーディング用AIモデル「Codestral Mamba」を発表しました。オープンソースライセンスでのリリースであり、商用利用が可能となっています。

Codestral Mamba | Mistral AI | Frontier AI in your hands

https://mistral.ai/news/codestral-mamba/

Mistral AIは2024年5月に初のコーディング用生成AIモデルとして「Codestral」をリリースしていましたが、Codestralは商用利用が禁止されていました。

Mistral AIが初のコーディング用生成AIモデル「Codestral」をリリース、80以上のプログラミング言語でトレーニング済み - GIGAZINE



今回リリースされたCodestral Mambaは従来のモデルで広く使用されているTransformerアーキテクチャではなく「Mambaアーキテクチャ」が採用されており、シーケンス長に対して処理時間が線形で、長いシーケンスに対しても高速に処理することができたり、シーケンス長に制限がなかったりするなどの特徴があるとのこと。

ベンチマークの結果は下図の通り。Codestral Mambaはパラメーター数が70億(7B)で、同等サイズのモデルの中では最上位クラスの性能を発揮していることが分かります。220億(22B)パラメーターのCodestralモデルには全体的に性能で負けているものの、一部の指標では上回るなどMambaアーキテクチャのポテンシャルの高さを見せつけました。



Mistral AIのチームはCodestral Mambaのコンテキスト内検索機能を25万6000トークンまでテストしており、ローカルで動作するコードアシスタントとして優れた性能を発揮できることを期待しているとのこと。

Codestral MambaモデルはHugging Faceからダウンロードできるほか、Mistralの公式ライブラリであるMistral Inferenceから利用可能となっています。