NVIDIAが次世代「Ampere」アーキテクチャのデータセンター向けGPU「NVIDIA A100」を発表
NVIDIAのジェンスン・ファンCEOが、オンラインで開催されたカンファレンス「GTC 2020」の基調講演で、次世代「Ampere」アーキテクチャの概要を公式に発表。さらに、そのAmpereアーキテクチャを初採用したデータセンター向けGPU「NVIDIA A100」を発表しました
DRIVE Platform Moves to NVIDIA Ampere Architecture | NVIDIA Blog
NVIDIA Ampere Architecture In-Depth | NVIDIA Developer Blog
https://devblogs.nvidia.com/nvidia-ampere-architecture-in-depth/
ファンCEOは「クラウドコンピューティングとAIの強力なトレンドにより、データセンター設計の構造的変化が進んでいます。Ampereマイクロアーキテクチャを採用したNVIDIA A100は、データ分析からトレーニング、推論まで、前モデルであるTesla V100の最大20倍にまでAIパフォーマンスを飛躍させる、エンドツーエンドの機械学習アクセラレータです」とアピールしています。
また、A100 GPUに実装された第3世代のNVLink相互接続では、GPUとスイッチ当たりのリンク数が増えるため、第3世代NVLinkはGPUとGPUの通信帯域幅が大幅に拡大し、信号ペアあたり50Gbpsの伝送が可能となり、エラー検出と回復機能が改善されるとのこと。
NVIDIA A100の具体的なスペックは以下。TSMCが7nmプロセスで製造しており、ダイサイズは826mm2で、トランジスタ数は542億と、Tesla V100のほぼ倍です。また、GPUメモリは40GBで、メモリ帯域はは1.555TB/s。熱設計電力は最大400Wです。
A100 GPUの特に大きな特徴が、マルチインスタンスGPU(MIG)機能、いわゆるGPUパーティショニング機能が含まれていること。GPUのリソースを分割し、異なるインスタンスを並列で処理することが可能。1つのチップで最大7インスタンスまで処理できます。
また、AmpereアーキテクチャとA100 GPUの発表と同時に、NVIDIAの並列コンピューティングプラットフォームであるCUDA 11が発表されています。CUDA 11によって、高性能計算や遺伝子解析、5G通信、ムービーレンダリング、ディープラーニング、データ解析などさまざまなワークロードが高速化されるとNVIDIAは述べています。
さらに、NVIDIAは「第3世代統合AIシステム」として、GPUにA100を8基、CPUにAMD EPYC Romaを2基、ストレージに15TBのSSD、スイッチチップにNVSwitchを6基、ネットワークインターフェースにMellanoxのConnectX-6 200Gbpsを9基搭載したユニット「DGX A100」も発表。NVIDIAによれば、DGX A100は1ユニットで5ペタFLOPSという演算能力を見せるそうで、価格は1ユニット19万9000ドル(約2100万円)になるとのこと。
A100 GPUはすでにさまざまな企業や研究所で使われていると、NVIDIAは述べています。Microsoftのコーポレート部門ヴァイス・プレジデントのミハイル・パラキン氏によれば、MicrosoftはAmpereアーキテクチャのNVIDIA GPUを使って、170億ものパラメータを持つ世界最大の言語モデル「Turing NLG」をトレーニングしたとのこと。「NVIDIAの新世代A100 GPUを何千台も使って劇的に大きなAIモデルをAzure上で訓練し、言語、音声、ビジョン、マルチモダリティの最先端を押し進めます」とパラキン氏はコメントしています。
ファンCEOによる基調講演は以下のムービーで見ることができます。なお、ファンCEOが基調講演を行っているのは、カリフォルニアにある自宅の台所だそうです。
NVIDIA GTC 2020 Keynote Part 6: NVIDIA A100 Data Center GPU Based on NVIDIA Ampere Architecture - YouTube
