AMDのAI特化型チップ「MI300X」はChatGPTにも使われるNVIDIA製チップ「H100」を超えられるのか？

2023年12月10日 21時57分

2023年12月6日(水)にAMDがAI特化型チップ「MI300X」および「MI300A」を発表しました。AMDはMI300XがNVIDIA製AI特化型チップ「H100」と比べて優れた性能を発揮するとアピールしていますが、記事作成時点ではAMDが実施したベンチマークの結果しか公開されていません。そんな中、半導体関連コンサルタントのディラン・パテル氏がAMDの公式資料をもとにMI300Xが一体どれほどの性能を備えているのかを分析しています。

AMD Instinct™ MI300 Series Accelerators

https://www.amd.com/ja/products/accelerators/instinct/mi300.html

AMD MI300 Performance - Faster Than H100, But How Much?

https://www.semianalysis.com/p/amd-mi300-performance-faster-than

AMDがアピールする「MI300XとH100のGPUユニットの性能差」は以下の通り。多くの用途でMI300XがH100に勝る性能を発揮することがアピールされています。

指標MI300XH100MI300XとH100の性能差TBP750W700W メモリ容量192GB80GB2.4倍メモリ帯域幅5.3TB/s3.3 TB/s1.6倍FP64 Matrix / DGEMM(TFLOPS)163.466.9(Tensor)2.4倍FP32 Matrix / SGEMM(TFLOPS)163.4非対応 FP64 Vector / FMA64(TFLOPS)81.733.52.4倍FP32 Vector / FMA32(TFLOPS)163.466.92.4倍TF32(Matrix)653.7494.71.3倍TF32 w// Sparsity(Matrix)1307.4989.41.3倍FP16(TFLOPS)1307.4133.8|989.4(Tensor)9.8倍|1.3倍FP16 w/Sparsity(TFLOPS)2614.91978.9(Tensor)1.3倍BFLOAT16(TFLOPS)1307.4133.8|989.4(Tensor)9.8倍|1.3倍BFLOAT16 w/Sparsity(TFLOPS)2614.91978.9(Tensor)1.3倍FP8(TFLOPS)2614.91978.91.3倍FP8 w/Sparwity(TFLOPS)5229.83957.8(Tensor)1.3倍INT8(TOPS)2614.91978.91.3倍INT8 w/Sparsity(TOPS)5229.83957.8(Tensor)1.3倍

AMDはMI300XとH100の性能差を示すためにLlama 2-70BやBloomにおけるパフォーマンスの比較結果を提示しています。このうちBloomではMI300XがH100の1.6倍の性能を示していますが、パテル氏は「Bloomのテスト結果はメモリ容量が大きく影響するが、実際の環境ではメモリ容量の差によって生じるスループットの大きさを重視するシナリオは限定的」と指摘しています。

Llama2-13BにおいてMI300XはH100の1.2倍の性能を示すとされています。パテル氏は「MI300Xの方がH100より安価」という事実をもとにMI300Xの性能の高さを認めています。また、既存のAI関連ソフトウェアの多くがNVIDIA製チップでの動作に最適化されている点を踏まえて「ソフトウェアの最適化が進めばMI300Xはさらなる性能を発揮する可能性がある」との指摘しています。