CloudflareはオープンなAIモデルを用いた推論サービス「Workers AI」を展開しています。このCloudflare Workers AIで活用しているAIの推論効率を向上する手法を解説する記事がCloudflareの公式ブログに掲載されています。

Smaller, faster, safer: running Kimi and GLM at scale | The Cloudflare Blog

https://blog.cloudflare.com/smaller-faster-safer-models/

Cloudflare Workers AIではMoonshot AIのKimiシリーズやZ.aiのGLMシリーズといった大型のAIモデルを展開しています。大型のAIモデルはメモリを大量に消費してしまうため、高速な推論サービスを展開するには消費メモリを削減する対策が不可欠です。

Workers AI Models · Cloudflare Workers AI docs

https://developers.cloudflare.com/workers-ai/models/



Cloudflareが実施している消費メモリ削減手法の1つが「量子化」です。GLM-5.2の場合、INT4に量子化して推論サービスを展開しています。FP8版GLM-5.2のファイルサイズは705GBですが、INT4版では421GBにまで削減されます。

一般的にAIモデルは計算精度を下げるほど性能が下がるとされていますが、CloudflareによるとINT4版GLM-5.2に目立った性能の低下は見られないとのこと。FP8版GLM-5.2とINT4版GLM-5.2のベンチマーク結果は以下の通りで、INT4に量子化してもFP8と比べて性能低下が抑えられていることが分かります。

ベンチマーク指標FP8INT4GSM8KExact match94.39％93.56％GSM8KFlexible94.24％93.48％ARC-EasyAccuracy86.62％86.15％ARC-EasyAcc (norm)84.51％85.19％ARC-ChallengeAccuracy64.93％64.85％ARC-ChallengeAcc (norm)67.24％66.64％MMLUAverage86.60％86.54％MMLU-ProExact80.80％80.47％mcxams (internal benchmark)Passed62/6362/63

デコード時にはモデルの重みをGPUメモリから読み出す必要があるため、モデルのサイズが小さいほど処理速度が向上します。このため、FP8版GLM-5.2よりINT4版GLM-5.2の方が高速な処理が可能です。なお、最初のトークンを出力するまでのプリフィルにおいてはFP8版の方が高速とのこと。

同時リクエスト数FP8(tok/s)INT4(tok/s)差16092+55％8425513+21％16683825+21％329941267+27％6416721933+16％

CloudflareはKVキャッシュの量子化も実施しています。KVキャッシュは計算済みの内容を保存しておくことで同じ内容の再計算をスキップして高速化する技術です。推論エンジン「SGLang」ではKVキャッシュを通常BF16で保存しますが、CloudflareはKVキャッシュをFP8に量子化することでメモリに保存できるKVキャッシュの量を増やしています。Kimi K2.6の場合、メモリに保存できるコンテキストの量が約68万6000トークンから約137万トークンへと増加します。

KVキャッシュを量子化すると読み込みに必要な処理が増えて処理速度がわずかに低下します。リクエスト数ごとの処理速度をまとめた表が以下。KVキャッシュをFP8に量子化すると処理速度がわずかに低下しますが、BF16より多くのリクエストを同時に扱うことができます。

同時リクエスト数BF16 KVキャッシュ(tok/s)FP8 KVキャッシュ(tok/s)113712587316891611061028321558148964メモリ不足2192

Cloudflareは今後もNVFP4での量子化を検討したり、KVキャッシュの量子化を洗練したりすることで、より多くのユーザーを低コストでサポート可能にすることを目指しています。