カリフォルニア大学サンディエゴ校のAIラボであるHao AI Labが「JetSpec」と呼ばれる投機的デコーディング手法を開発しました。

JetSpec: Parallel Tree Drafting

https://jetspec-project.github.io/jetspec-web/

JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting | Hao AI Lab @ UCSD

https://haoailab.com/blogs/parallel-tree-decoding/

主流の大規模言語モデルは「次のトークンを予測し続ける」という方法で長い文章を出力しています。投機的デコーディングは「小型のドラフト担当AIモデルを用いて次の単語を複数予測し、そのうちの1つを採用する」という仕組みの高速化手法で、AIモデルの品質を保ったまま高速化することができます。

既存の投機的デコーディング手法は大きく分けて「自己回帰型」と「ブロック拡散型」の2種類があります。Hao AI Labによると自己回帰型の手法には「長い予測で無駄が生じる」という問題が存在し、ブロック拡散型には「矛盾する予測ツリーによって無駄が生じる」という問題が存在するとのこと。JetSpecはこれらの問題を解決する手法で、既存の手法と比べてさらなる高速化を可能とします。

Qwen3-8BをNVIDIA H100で実行する場合の投機的デコーディング手法ごとの速度向上率を比べたグラフが以下。JetSpecは数学推論ベンチマークのMATH-500において9.64倍の高速化を実現し、既存手法より高速な処理を実現しています。また、複雑なチャット能力を測定するMT-Benchでも4.58倍の高速化に成功しています。



Hao AI LabはAI推論エンジンのvLLMにJetSpecの実行機能を追加したバージョンを開発し、NVIDIA B200を用いてQwen3-8Bを実行。その結果、毎秒1000トークン以上という非常に高速な出力を実現しました。



以下の画像をクリックすると「通常のQwen3-8B」「DFlashで高速化したQwen3-8B」「JetSpecで高速化したQwen3-8B」の推論速度イメージを確認できます。



Hao AI Labは「Qwen3-8B」「Qwen3 30B A3B」「Qwen3.6 35B A3B」「gpt-oss-20b」「Gemma 4 26B A4B IT」「Step 3.7 Flash」用のJetSpecドラフトモデルを以下のリンク先で公開しています。

JetSpec (JetSpec)

https://huggingface.co/JetSpec



また、JetSpecに関する論文や関連コードも公開されています。

[2606.18394] JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

https://arxiv.org/abs/2606.18394

GitHub - hao-ai-lab/JetSpec: JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Causal Parallel Tree Drafting · GitHub

https://github.com/hao-ai-lab/JetSpec