NVIDIAが日本と台湾で生成AI構築を支援する4つのNIMマイクロサービスを投入 文化的理解と言語能力を持つソブリンAI展開を加速
このような取り組みを支援するため、NVIDIAは2024年8月27日、開発者が高性能な生成AIアプリケーションの構築と展開を簡単に行えるようにする、4つの新しいNVIDIA NIMマイクロサービスを投入すると発表した。NIMマイクロサービスとは、生成AI推論に必要なソフトウエアやツール類がインストール済みのコンテナ。
新たに投入されるマイクロサービスは、地域のニーズを具体的に想定して作られており、主要なコミュニティモデルに対応している。これらのモデルは、現地の言語と文化遺産についての正確な理解と改善された対応力によって、ユーザーとの対話を向上させている。
●開発者は高度なコパイロット、チャットボットおよびAIアシスタントを構築可能
ABI Researchによれば、アジア太平洋地域だけでも生成AIソフトウェアの売上は、今年の50億ドルから増加し、2030年までには480 億ドルに達するものと予想されている。
日本語データを基にしてトレーニングされたLlama-3-Swallow-70Bと標準中国語（マンダリン）を基にしてトレーニングされたLlama-3-Taiwan-70Bは、現地の法律、規制および他の習慣を深く理解しており地域の言語モデルとなっている。
「Rakuten AI 7B」は「Mistral-7B」を基に、英語と日本語のデータセットにより学習を行った一連のモデルだ。同大規模言語モデルのチャットモデルとインストラクションチューニング済みモデルが、それぞれのNIMマイクロサービスとして利用可能になっている。なお、「Rakuten AI 7B」の基盤モデルとインストラクションチューニング済みモデルは、「LM Evaluation Harness」の基準で2024年1月〜3月に楽天内で評価を実施し、オープンな日本語大規模言語モデルにおいてトップの平均スコアを獲得した。地域の言語で大規模言語モデル（LLM）のトレーニングを行うことによって、文化的および言語的に微妙な違いがよりよく理解され、それらが反映されるため、より正確でニュアンスのあるコミュニケーションが可能になり、アウトプットの効果が高まる。
これらのモデルは、Llama 3のような基本的なLLMと比較した場合、日本語と中国語の言語理解、地域の法的課題への対応、質疑応答、ならびに言語翻訳や要約において優れた性能を発揮する。
シンガポール、アラブ首長国連邦、韓国、スウェーデンから、フランス、イタリア、インドにいたる、世界中の国々が、ソブリンAIへの投資を行っている。
新しいNIMマイクロサービスにより、企業、政府機関および大学では、それぞれの環境でネイティブの LLM をホストできるようになり、開発者は高度なコパイロット、チャットボットおよび AI アシスタントを構築することができる。
●ソブリンAI NIMマイクロサービスを使ったアプリケーション開発
開発者は、パフォーマンスを向上させながら、NIMマイクロサービスとしてパッケージ化されたソブリンAIモデルを本番環境に展開できる。
NVIDIA AI Enterpriseで利用可能なマイクロサービスは、NVIDIA TensorRT-LLMオープンソースライブラリによって推論に最適化されている。
新しいLlama-3-Swallow-70BとLlama-3-Taiwan-70B NIMのベースモデルとして使用されたLlama 3 70B向けのNIMマイクロサービスは、最大5倍のスループットを提供する。これにより、本番環境でモデルを実行する際の総費用が削減され、レイテンシの低下によってユーザー体験が向上する。
