中国の大手テクノロジー企業であるアリババが開発するAIモデル・Qwenシリーズに、次世代ネイティブオムニモーダルモデルの「Qwen3.8-Omni-Flash」が追加されました。動画編集・ミュージックビデオ制作・映画制作・オーディオビジュアル要約・リアルタイム会話などのワークフロー全体で優れた成果を実現しています。

Qwen3.8-Omni-Flash: Omni Senses. Agentic Delivery.

https://qwen.ai/blog?id=qwen3.8-omni-flash

Qwen3.8-Omni-Flashは100万トークンのコンテキストウィンドウをサポートし、同じサイズのテキストのみのモデルと同等のテキストパフォーマンスを維持しながら、オムニモーダル機能を大幅に改善したAIモデルです。

29種類のベンチマークで、平均スコアはQwen3.5-Omni-Plusよりも25％以上向上していながら、音声入力1時間当たりのAPI価格は98％超、音声と映像の入力1時間当たりの価格は93％超も安くなっています。

さらに、音声および映像のエージェント・コーディング・長期タスクに関するベンチマークでは、WildClawBench-MMでQwen3.5-Omni-Plusから36.5増の「71.0」、UniClawBenchでも「69.6」という高いスコアを記録しています。

長尺音声および音声・映像の理解、音声・映像の推論、音声・映像のキャプション、複数話者認識といったコア機能も大幅に向上しています。例えば、長尺音声の理解能力を評価するためのベンチマークであるLongAudioSpanでは「82.7」、マルチモーダルモデルの音声・映像協調推論能力を評価するベンチマークのOmniVideoBenchでは「63.4」、動画キャプション生成における指示追従能力を評価するベントマークのOmniCap-IFで「28.2」、中国語の複数人・複数チャンネル会議音声の文字起こしベンチマークであるAliMeetingで「89.7」を記録。複数のベンチマークテストでGemini 3.8 Flashを上回りました。



アリババは「Qwen3.8-Omni-Flashはデータ・コンテキスト・エージェント環境をスケーリングすることで、Gemini 3.8 Flashに近い音声・映像性能と、Gemini 3.8 Flashを上回る全体的な音声性能を実現しています。これらの進歩は、音声と映像が知覚入力から、エージェントが環境を理解・推論し、タスクを実行するためのコアメディアへと進化していることを意味します」と説明しました。

音声認識および音声生成における対応言語は以下の通り。

音声認識：74言語(アフリカーンス語、アラビア語、アストゥリアス語、アゼルバイジャン語、バスク語、ベラルーシ語、ベンガル語、ボスニア語、ブルガリア語、広東語、カタルーニャ語、セブアノ語、中国語、クロアチア語、チェコ語、デンマーク語、オランダ語、英語、エスペラント語、エストニア語、フィリピン語、フィンランド語、フランス語、ガリシア語、グルジア語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、ハンガリー語、アイスランド語、インドネシア語、インターリングア、イタリア語、日本語、ジャワ語、カンナダ語、カザフ語、韓国語、キルギス語、リンガラ語、ラトビア語、リトアニア語、マケドニア語、マレー語、マラヤーラム語、マルタ語、マオリ語、マラーティー語、モンゴル語、ノルウェー語ブークモール、ノルウェー語ニーノシュク、オリヤー語、ペルシア語、ポーランド語、ポルトガル語、パンジャブ語、ルーマニア語、ロシア語、セルビア語、スロバキア語、スロベニア語、スペイン語、スワヒリ語、スウェーデン語、タジク語、タミル語、テルグ語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ウイグル語、ベトナム語)

音声生成：29言語(中国語、英語、ドイツ語、イタリア語、ポルトガル語、スペイン語、日本語、韓国語、フランス語、ロシア語、タイ語、インドネシア語、アラビア語、ベトナム語、トルコ語、フィンランド語、ポーランド語、ヒンディー語、オランダ語、チェコ語、ウルドゥー語、タガログ語、スウェーデン語、デンマーク語、ヘブライ語、アイスランド語、マレー語、ノルウェー語、ペルシア語)

なお、Qwen3.8-Omni-FlashはQianwen AIで利用可能です。

企业级 AI 大模型服务平台 - 千问AI平台

https://www.qianwenai.com/

音声と動画はエージェントを現実世界の生産性シナリオに取り込むうえで重要なメディアです。しかし、同時に新しいシステムレベルの課題も生み出すとアリババは説明しています。その課題とは「長尺の音声や動画は、複数回の推論処理において保存・送信・処理にコストがかかる」というもの。既存のエージェントハーネスフレームワークは、これらのモダリティをネイティブにサポートしておらず、オムニモーダルな理解とエンドツーエンドのタスク実行を結びつけるワークフローはまだ初期段階にあるとアリババは指摘しました。

これらの課題に対処するには、モデル・ハーネスツール・ランタイム環境が共に進化していく必要があります。そこで、アリババはQwen-MM-Pluginsをさらに拡張し、長尺の音声・映像に対するオンデマンドの知覚、ツール使用、ワークフロー実行機能を追加。また、Qwen3.8-Omni-Flash-Realtime APIをベースに設計された包括的なオープンソースのハーネス・Qwen-Live Harnessをオープンソース化しました。ただし、記事作成時点ではQwen-Live HarnessのGitHubページは404エラーで表示されません。