1.6兆パラメータ・100万トークンのコンテキスト長を持つAIモデル「LongCat-2.0」が中国企業の美団(Meituan)から公開されました。事前学習から推論までの全プロセスを、国内の5万基以上のチップで実行したモデルとのことです。

Introducing LongCat-2.0

https://longcat.chat/blog/longcat-2.0/



训练全程由国产芯片完成，万亿级参数大模型 LongCat-2.0 发布

https://www.meituan.com/news/NN260630164005904

China claims biggest AI model trained on local chips, as Meituan releases LongCat-2.0 | South China Morning Post

https://www.scmp.com/tech/tech-trends/article/3358854/china-debuts-biggest-ai-model-trained-local-chips-meituan-releases-longcat-20

LongCat-2.0は総パラメータ数1.6兆、トークンごとに約480億パラメータが活性化される大規模MoE言語モデルです。最大コンテキスト長は100万トークンで、これらのスペックはDeepSeekの最先端モデル「DeepSeek-V4-Pro」とほぼ同程度です。

基盤となるモデルは総パラメーター数5600億の「LongCat-Flash」で、パラメーター効率の向上と長文コンテキストにおける学習および推論速度の改善が図られました。

Meituanによると、AIエージェントアプリの普及により、大規模言語モデルには長い入力を効率的に処理する能力が求められているものの、入力のどこに重みを置くかを決定する技術「アテンション」にボトルネックがあったとのこと。そこで、Meituanは既存のDeepSeek Sparse Attentionを発展させたLongCat Sparse Attention(LSA)を開発・導入しました。これにより、モデルの品質を損なうことなく長大なコンテキスト処理を高速化したとのことです。



LongCat-2.0は学習からデプロイメントまで全て国産のASIC(特定用途向け集積回路)スーパーポッド上で実行されているのが特徴です。既存の最先端AIモデルのほとんどはNVIDIAのチップで学習・推論されていますが、中国はアメリカの規制により最高性能のNVIDIAチップが手に入らず、AI開発においてアメリカに後れを取っています。DeepSeekやZ.AIといった企業はHuaweiをはじめとする中国メーカー製のチップ上で推論タスクを実行していますが、大規模なモデル学習においては依然として課題を抱えているのが現状です。

Meituanはどのチップを使ったのかをリリースでは明言しませんでしたが、後にWeChatで「Huawei Collective Communication Library(HCCL)」を使用したことを明らかにしました。これは「NVIDIA Collective Communication Library」と同様のチップ間通信システムです。

Meituanが使用したアクセラレータは中国向けのNVIDIAチップ「H800(80GB)」よりもデバイス当たりのメモリ容量が大幅に少ないため、並列化戦略とメモリ管理の2つの観点から対処したとのこと。

コードエージェント(CODE AGENT)、汎用エージェント(GENERAL AGENT)、基盤機能(FOUNDATIONAL)の3項目でLongCat-2.0を他社モデルと比較した表も公開されています。性能はGemini 3.1 Proに匹敵します。



LongCat-2.0は近日中にオープンモデルとして公開される予定で、すでにHugging Face上にモデルのページが用意されています。また、関連コードがGitHubで公開されています。

meituan-longcat/LongCat-2.0 · Hugging Face

https://huggingface.co/meituan-longcat/LongCat-2.0

GitHub - meituan-longcat/LongCat-2.0 · GitHub

https://github.com/meituan-longcat/LongCat-2.0