オルツが数兆パラメータ規模の大規模言語モデル(LLM)構築に着手 ユースケースから逆算、世界最高峰の速度とコスパを追求
オルツは約10年間、自然言語処理を含む領域で研究開発を行ってきた。また、早い段階からLLMの研究・開発・運用を手掛けてきており、実際のビジネスシーンや実生活におけるユースケースから逆算したLLM設計・構築が肝要であると考えているとのこと。
今回の数兆パラメータ超規模のLLM開発は、単にパラメータ数を膨大にするだけではなく、生成AIのエンドユースケースから逆算した目標であり、パラメータ数に加えて、スピードと計算効率、コストパフォーマンスという実運用時に重要となる指標でも世界最高峰レベルを目指す。
また、オルツは本開発を通して、すでに展開している生成AIプロダクト群をより費用対効果の高いサービスとしてエンドユーザーに提供すること、ならびに、グローバルに先駆けた日本発の生成AIのエンドユースケースの確立を目指すとしている。
オルツは、LLM開発において、より複雑な表現力と高度なカスタマイズ性の両面を追求している。
デベロッパー及びエンドユーザー両方の観点から、GPTなどの既存モデルを超える使いやすさを実現するため、数兆パラメータ規模を持ち、日本語に優位なモデルの構築を構想してきた。LLMでは、スケーリング則の元となる「パラメータ数」「データ量」「計算量」に加えて、スピードとコストのバランスを取ることが重要であり、オルツは、これらを適切に管理しながら、ユーザーにとって実用的なサービスを提供していく考えだ。
●1：パラメータ数
より高度で複雑な表現力を目指すために多パラメータ（数兆規模）のモデル開発と、実用性を兼ね備えた軽量・高速モデルの開発の両面が鍵となる。
●2：データ量
ノイズ混じりのデータではスケーリング則が効かなくなってきて、同じような種類のデータを増やしていても飽和状態となる。よってより質の高いデータをいかに投入するかが鍵となり、高品質な事前学習データ及びバリエーションに富んだインストラクションデータの投入による精度向上の実績とノウハウ、またデータ作成人員の教育で競争力を持つ必要がある。
●3：計算量
計算資源の枯渇と高コストという大きな課題に直面している。
特にエンタープライズ向けGPUの不足とクラウドリソースの価格高騰が課題で、これらの問題を解決するために、オルツは分散コンピューティング基盤を活用し、世界中のGPU資源を効率的に利用することを目指している（EMETHプロジェクト）。この取り組みは、計算資源の流動性を改善し、誰もが簡単に高度なAI技術を利用できる世界を実現することを目標としている。
●オルツの目指すLLMの方向性 〜意外と見過ごされるスピードとコストの重要性〜
LLMの開発では、モデルのパラメータ数を増やすことで精度や表現力が向上することは確かだが、それだけでは実用性に欠ける場合がある。
例えば、1プロンプトに対して30分もの時間がかかるようなモデルでは、ユーザー体験が損なわれ、実際には誰も利用しないので、リアルタイムでの反応速度が求められている。また、1プロンプトあたり1万円もかかるようなモデルでは誰も利用しない。
サービスとしての反応速度を実用的なレベルに保つには、単にLLMの処理能力を高めるだけでは不十分であり、ハードウェアレベルでの最適化、例えばLLM特化チップの採用などが必要となる。さらに、APIとしての高速化アーキテクチャの構築、通信技術基盤、分散化技術を用いた可用性の向上など、ソフトウェア面での工夫も欠かせない。また、ネットワークレイテンシーの問題を克服するためには、クラウドだけでなく、エッジ側（端末側）での処理を活用した高速化も重要です。これにより、ユーザーの要求に即時に応答できるシステムを構築することが可能となる。
