NVIDIAが開発者向けの小型AIボードキット「Jetson Orin Nano Super」開発者キットを発表しました。従来モデルと比較してAI性能が最大で70％向上しており、価格も従来モデルの499ドル(約7万6000円)から249ドル(約3万8000円)とほぼ半額に抑えられています。

Jetson Orin Nano Super Developer Kit | NVIDIA

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/nano-super-developer-kit/

NVIDIA Unveils Its Most Affordable Generative AI Supercomputer | NVIDIA Blog

https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/

以下のムービーで、NVIDIAのジェンスン・フアンCEOがJetson Orin Nano Superを紹介しています。

Introducing NVIDIA Jetson Orin™ Nano Super: The World’s Most Affordable Generative AI Computer - YouTube

撮影場所は、これまでグラフィックボードやチップの発表が行われてきたフアンCEOの別邸にあるキッチン。クリスマスの飾り付けが行われています。



フアンCEOがオーブンからトレイを取り出します。



トレイに乗っていたのは、Jetson Orin Nano Superのボードでした。



Jetson Orin Nano Superは生成AI、ロボット工学、画像・映像認識のスキル開発に関心のある開発者向けのボード。前世代製品の生成AI推論パフォーマンスが40TOPS(INT8)だったのに対し、今回発表されたJetson Orin Nano Superは67TOPS(INT8)と、70％向上しているとNVIDIAはアピールしています。



また、「生成AIモデルのパフォーマンス向上はTOPS性能だけでは不十分」とのことで、Jetson Orin Nano Superはメモリ帯域幅が102GB/sとなり、従来の68GB/sからおよそ1.5倍に拡張されました。さらにCPU周波数も1.7GHzと、前世代の1.5GHzから向上しています。Jetson Orin Nano Superの主要なスペックは以下の通り。

Jetson Orin Nano SuperCPUArm Cortex-A78AE (Armv8.2 64-bit)×6コア
キャッシュ：L2・1.5MB　L3・4MBGPUNVIDIA Ampereアーキテクチャ
(CUDAコア×1024＋Tensorコア×32)メモリ8GB 128-bit LPDDR5ストレージSDカード・NVMe対応I/OMIPI CSI-2 22ピンカメラコネクタ×2
USB 3.2 Gen2 Type-Aポート×2
USB Type-C (UFP)
ギガビットイーサネット
DisplayPort 1.2
40ピン拡張ヘッダビデオエンコード1080p30fps (CPU1〜2コアによるサポート)ビデオデコード4K60fps(H.265) ×1
4K30fps(H.265) ×2
1080p60fps(H.265) ×5
108030fps(H.265) ×11サイズ103mm×90.5mm×34.77mm消費電力7〜25W

NVIDIAは、Jetson Orin Nano Superが最大8Bパラメータを持つ大規模言語モデルや視覚言語モデルなどのTransformerベースのモデルを実行できるようになったとアピール。また、HuggingFace Transformers、Ollama、llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLMなどの主要なMLフレームワークとの互換性も維持されています。加えて、Jetson Orin Nano Super開発者キットの価格は249ドルで、前世代の499ドルからほぼ半額になっています。

なお、NVIDIAによるとパフォーマンス向上はGPUやメモリ、CPUクロックを上げる新しい電力モードによって実現されており、既存のJetson Orin Nano開発者キットユーザーも最新のJetPackにアップグレードすることで同様の性能向上を得ることができるとのことです。