AMDが自社製GPUや自社製ソフトウェアを用いて開発したAIモデル「Instella-MoE」を公開しました。Instella-MoEは事前学習済みモデルや中間学習済みモデルなど多様なバリエーションが無料公開されているほか、学習に使用したコードやフレームワークも公開されています。

Introducing Instella-MoE: A State-of-the-Art Fully Open Mixture-of-Experts Language Model - ROCm Blogs

https://rocm.blogs.amd.com/artificial-intelligence/instella-moe/README.html

Instella-MoEはAMDのAI開発向けGPU「Instinct MI300X」「Instinct MI325X」を用いて開発されたAIモデルです。推論時に一部のパラメーターのみを活性化させるMoEモデルとして開発されており、総パラメーター数は160億、アクティブパラメーター数は28億です。

Instella-MoEは以下の6種類のモデルが公開されています。

Instella-MoE-16B-A3B-Pretrain：7兆1000億トークンのデータセットで学習した事前学習済みモデル

Instella-MoE-16B-A3B-Midtrain：数学・コーディング・思考の能力を強化した中間学習済みモデル

Instella-MoE-16B-A3B-Base：コンテキストウィンドウを64kトークンに拡張したベースモデル

Instella-MoE-16B-A3B-SFT：ベースモデルに教師ありファインチューニングを施したモデル

Instella-MoE-16B-A3B-DPO：SFTモデルに直接優先最適化を施したモデル

Instella-MoE-16B-A3B-Think：DPOモデルに強化学習を施したモデル

Instella-MoE-16B-A3B-Baseと各種AIモデルの性能を比較する図が以下。横軸がアクティブパラメーター数、縦軸がベンチマークテストの平均スコアを示しています。Instella-MoE-16B-A3B-BaseはQwen3.5-4B-Baseより低いスコアですが、同等規模のモデルよりは高いスコアを記録しています。



Instella-MoE-16B-A3B-Thinkと競合モデルの性能比較が以下。Gemma-4-E4B-itより少ないアクティブパラメーター数で高いスコアを達成しています。



Instella-MoEの各モデルは以下のリンク先で配布されています。

Instella-MoE ✨ - a amd Collection

https://huggingface.co/collections/amd/instella-moe



Instella-MoEはAMDが開発したトレーニングフレームワーク「Primus」やMoEアーキテクチャ「FarSkip-Collective」を用いて学習されています。また、Instella-MoEの学習に使われたコードベースが以下のリンク先で公開されています。

GitHub - AMD-AGI/Instella-MoE: Instella MoE is a fully open state-of-the-art Mixture-of-Experts language model, trained end-to-end on AMD Instinct™ GPUs. · GitHub

https://github.com/AMD-AGI/Instella-MoE