NVIDIAは8月27日、開発者が生成AIアプリケーションの構築と展開を簡単に行えるようにする4つの新しいNIMマイクロサービスを、日本と台湾で開始することを発表した。

文化的理解力と言語能力を備えたソブリン AI アプリケーションの展開を加速

○現地の言語と文化に基づく高い対話力を持つLLM

今回発表されたマイクロサービスは、地域のニーズを具体的に想定して作られた主要なコミュニティモデルに対応し、現地の言語と文化に基づく高い対話力を持つもの。

日本語データを基にしてトレーニングされた「Llama-3-Swallow-70B」と標準中国語データを基にトレーニングされた「Llama-3-Taiwan-70B」は、現地の法律や規制、習慣を深く理解している地域特化の言語モデル。

「Rakuten AI 7B」は、「Mistral-7B」を基に英語と日本語のデータで学習されたモデルで、NIMマイクロサービスとして提供されている。

地域の言語で大規模言語モデル(LLM)をトレーニングすることで、文化や言語の微妙な違いをよく理解してそれらが反映されるため、より正確でニュアンスのあるコミュニケーションが可能となる。これらのモデルは、Llama 3などの基本的なモデルよりも、日本語や中国語の理解、法的対応、質疑応答、翻訳、要約において優れた性能を発揮するとしている。

○新しいNIMマイクロサービスの概要

新しいNIMマイクロサービスにより、企業、政府機関、大学はそれぞれの環境でネイティブな大規模言語モデルをホストでき、開発者は高度なAIコパイロット、チャットボット、AIアシスタントを構築できる。

開発者は、NIMマイクロサービスとしてパッケージ化されたソブリンAIモデルを使い、パフォーマンスを向上させながら本番環境に展開できる。これらのマイクロサービスはNVIDIA AI Enterpriseで利用可能で、NVIDIA TensorRT-LLMオープン ソース ライブラリにより推論が最適化されている。

Llama 3 70BとLlama-3-Taiwan-70B NIMのベースモデルとして使用されたLlama 3 70B向けの NIMマイクロサービスは最大5倍のスループットを提供し、コスト削減と低レイテンシを実現。新しいNIMマイクロサービスはAPIとして同日から利用可能。

NVIDIA AI Foundryは、よく使われている基盤モデルやファインチューニング用ツールを提供し、カスタマイズ可能なAIモデルの作成と展開を支援する。さらに、NVIDIA AI Foundry を使用している開発者はNVIDIA AI Enterpriseを活用してセキュリティと安定性を確保しつつ迅速にAIアプリケーションを構築し、文化的に適切な成果をユーザーに届けることができるとしている。