Googleのクラウドコンピューティングサービス「Google Cloud」において、機械学習特化型プロセッサ「TPU v5e」を用いた処理が可能になりました。GoogleはTPU v5eについて前世代の「TPU v4」と比較してコストパフォーマンスが2.3倍に向上しているとアピールしています。

Cloud TPU v5e is generally available | Google Cloud Blog

https://cloud.google.com/blog/products/compute/announcing-cloud-tpu-v5e-in-ga/?hl=en

TPU v5eはGoogleが独自に開発している機械学習特化プロセッサ「Tensor Processing Unit(TPU)」の第5世代モデルで、発表時には前世代モデルのTPU v4と比較して1ドル当たりのパフォーマンスが2.5倍高いことや推論のレイテンシが1.7倍低いことがアピールされていました。

GoogleがAI特化プロセッサTPUの第5世代モデル「TPU v5e」を発表、前モデル比で1ドル当たりのトレーニングパフォーマンス最大2倍・推論パフォーマンス最大2.5倍 - GIGAZINE



Googleは2023年11月9日にTPU v5eをGoogle Cloud上で利用可能にしたことを発表。同時に、TPU v5eのパフォーマンス測定結果も公開しました。

以下のグラフはTPUを用いた機械学習のコストパフォーマンスを示したものです。TPU v5eはbfloat16(bf16)においてTPU v4の1.5倍を超えるコストパフォーマンスを発揮し、int8量子化を行った場合はコストパフォーマンスが2.3倍に向上します。



また、GoogleはChatAIのライバル「Claude」を開発するAI企業Anthropicとの連携強化も発表しています。AnthropicはすでにTPU v5eを導入しており、Claudeの基盤となる言語モデルの研究開発を進めているとのことです。

Google Announces Expansion of AI Partnership with Anthropic

https://www.prnewswire.com/news-releases/google-announces-expansion-of-ai-partnership-with-anthropic-301981815.html