NTT版生成AI大規模言語モデル(LLM)「tsuzumi」驚異の性能を披露 NTT R&Dフォーラム2023開幕 NTT島田社長の基調講演と見どころ
開催前日となる2023年11月13日、NTTは関係者と報道関係者向けの内覧会を開催した。会場は関係者でかなり賑わっていたが、報道関係者向けには基調講演とメディア向けツアーも開催された。中でも初めて披露されたNTT版大規模言語モデル「tsuzumi」は多くの来場者や報道陣に強いインパクトを与えた(商用サービスを2024年3月提供開始)。
特長ある研究成果、約100の展示を紹介する「NTT R&D FORUM 2023 - IOWN ACCELERATION」を11月14日(火)〜11月17日(金)まで開催
注目の技術はNTT版大規模言語モデル「tsuzumi」と、今年3月にサービスを開始した「IOWN」(アイオン)
大規模言語モデル「tsuzumi」は自然対話だけでなく、画像や表を読んで理解し、感情や気分を感じ取り、状況に応じた最適な回答を提示する。写真は「ユーザーの状況を理解する「tsuzumi」ブース」
「tsuzumi」は条件を指定すると、それに合わせて旅程表を組んでくれる。観光地のほか、昼食に「うどん」「パスタ」「パエリア」などを指定するとそれを考慮したお店と観光ルート、時間割りを提案してくれる。インタフェースにロボットを使い、音声会話でやりとりしている例
人型ロボットと「tsuzumi」の連携活用例。「健康的なランチのテーブルを準備してください」と頼むと、ロボットが料理を選択してテーブルに並べてくれる。それぞれの料理を選択した理由も後ろのディスプレイに可視化される
■NTTの想い篇：
●最大のテーマは超高速通信基盤「IOWN」とNTT版大規模言語モデル「tsuzumi」
島田社長による基調講演と、今回の展示の目玉となるNTT版大規模言語モデル「tsuzumi」の詳細説明を木下部長がおこなった。
報道関係者向け基調講演では主に、IOWN構想とLLM「tsuzumi」技術を中心に社会課題の解決に挑むことが発表された
電話や通信で培った日本語大規模言語モデル(LLM)はNTTが長年培ってきた技術と知見を最も発揮できる分野。登壇で「LLMでは絶対に他社には負けられない」という意気込みが感じられたし、既に稼働している「tsuzumi」や将来に向けてのコンセプト展示は、非常に素晴らしいものばかりだった。
「tsuzumi」のベンチマーク結果(Rakuda)。日本語性能で規模の巨大なGPT-3.5を上回り、他社の日本語LLMをも上回ったという
日本語だけでなく英語でも他社LLMと同等の性能をマーク
もちろん多くのブースで「tsuzumi」のデモを見ることができる。スタッフがいれば詳しく解説をしてくれる
また、もうひとつの注目ポイントは、今年3月にサービスを開始した「IOWN」(アイオン)。今までロボスタでも多くの記事を掲載してきたが、R&Dフォーラムではその研究成果が一堂に揃って展示され、IOWNの具体的なサービス、実践的システム、ユースケース、更に発展する要素技術、生成AIのNTT版AI技術等を中心に、NTTグループ、R&Dの約100の最新成果が分かりやすく紹介されている。
「IOWN」と「tsuzumi」の連携のコンセプトもいくつか紹介された
●NTT版 大規模言語モデル(LLM)「tsuzumi」は驚きの連続
今回のR&Dフォーラムの最大の注目はやはり、NTT版 大規模言語モデル(LLM)「tsuzumi」の機能とその可能性。1フロアのほとんどを数々の「tsuzumi」デモコーナーで構成している。
日本電信電話株式会社 執行役員研究企画部門長 木下真吾氏
「tsuzumi」は話題のChatGPT3と比較して同等の性能を持ちながら、コンパクト性に優れる。数値で表すと、「tsuzumi」は軽量版の「tsuzumi-7B」(7billionプロンプト)と、ライト版「tsuzumi-0.6B」(0.6billionプロンプト)が準備されている。GPT-3は175B(Billion)なので、軽量版「tsuzumi-7B」はGPT-3の1/25、ライト版「tsuzumi-0.6B」はGPT-3の1/300というコンパクトさだ。
コンパクトだということは、それだけパワーの少ないコンピュータで動作することを表していて、型落ちしたゲーミングPCでも動作し、将来的にはGPUなしで、タブレットやスマートフォンなどでも動作することを示唆している。
また、コンパクトなほど電力消費量も抑えることができる。175BのGPT-3は1回の学習で原発1基1時間分以上、約1300MWhのエネルギーが必要だと紹介した。それに対してコンパクトな「tsuzumi-7B」は地球に優しいということになる。
これは企業にとってはコストに関わる問題とも言え、学習コスト、推論コストともにGPTと比較して大幅に削減できるとした。
●パラメータ数の少なさを連携構成でリカバー
「GPT-3の175B(Billion)のパラメータに対して、tsuzumi-7B(Billion)やtsuzumi-0.6Bのパラメータ数では、性能的に劣るのではないか」という疑問を感じるだろう。一般的にはパラメータ数が少なければそれだけ絶対的な知識量は少ないと見られている。
そこをリカバーするため、「tsuzumi」はある程度専門分野に特化した複数の大規模言語モデルを繋いで、それぞれの分野をカバーするという機能を持っている。これは上手く連携できれば、とても合理的だと言えるだろう。(例:経営計画を議論する際、総務/法務に特化したtsuzumi AI、営業/マーケに特化したtsuzumi AI、製造/物流に特化したtsuzumi AIを連携する等)
会場では実に多くのパターンでデモブースが設置されているので「tsuzumi」に興味がある人はぜひ体験をお勧めする。
●島田社長による基調講演
島田社長による基調講演は「挑む 人と地球のために NTT R&Dの取組み」と題しておこなわれた。
日本電信電話株式会社 代表取締役社長 島田 明氏
島田社長は社会が抱える3つの課題「労働力不足」「環境・エネルギー問題」「高齢化 医療費増大 Well beingの追求」に焦点をあて、今回は「大容量・低遅延・低消費電力を実現する次世代コミュニケーション基盤 IOWN」と「世界トップクラスの言語処理能力を持つ小型/省電力の大規模言語モデル tsuzumi」を中心に据えて、NTTの新技術でこれらの課題を解決していく、と決意を述べた。
(再掲)
IOWNの特徴はいくつもあるが、その代表が「大容量・高品質」「超低遅延」を「低消費電力」で実現していく基盤であること。島田氏は「増大するデータ量や電力消費量の課題に対し、IOWN構想により、電力効率100倍、伝送容量125倍、遅延は1/200の目標を達成していく」とした。
●「ボード接続光化」構想、やがてはチップ内も光化へ
そしてIOWNのロードマップとして、2025年度「IOWN2.0」ではボード接続用デバイスを開発、「ボード接続光化」を実現し、2028年度「IOWN3.0」ではチップ間向けデバイスへ、そしてその先はチップ内を光化する考えを示した。
既に光エンジン/スイッチングボードを開発中であり、コンピューティング領域を切り開く大容量・低電力・小型の光エンジンのリリースを目指すと語った。
●基調講演/セミナーも開催
R&Dフォーラムでは展示のほか、基調講演や社内外有識者がホットな話題をテーマら具体的な取組・展望などを語る特別セッション(セミナー)も用意されている。詳細はこちら
●基調講演
基調講演1：
講演タイトル NTT版LLM「tsuzumi」とIOWNの進捗
登壇者名 NTT 代表取締役社長 社長執行役員 島田 明氏
基調講演2：
講演タイトル IOWN ACCELERATION 〜想像と創造〜
登壇者名 NTT 常務執行役員 研究開発マーケティング本部長 大西 佐知子氏
基調講演3：
講演タイトル LLM＋×IOWN 〜IOWNの進展、NTT版LLMの誕生、そして２つの相互作用〜
登壇者名 NTT 執行役員 研究企画部門長 木下真吾氏
●特別セッション・未来セミナー
特別セッション1：
講演タイトル Data Drivenな社会を切り開くIOWN
登壇者名 日本オラクル株式会社 常務執行役員 ストラテジック・クライアント統括 永椎 裕章氏
特別セッション2：
講演タイトル 汎用AIはヒトと暮らす夢を見るか？〜NTTにおけるLLMの研究開発〜
登壇者名 NTT人間情報研究所 上席特別研究員 西田 京介氏
講演タイトル 自然界に着想を得た新しい言語モデルの開発
登壇者名 Sakana AI,Co-Founder CEO David Ha Sakana AI,Co-Founder CTO Llion Jones氏
特別セッション3：
講演タイトル AI時代におけるニオブ酸リチウムフォトニクス
登壇者名 NTT Research Bob Byer NTT Research Timothy McKenna氏
●未来セミナー
未来セミナー1：
講演タイトル 技術革新による宇宙活用の未来
登壇者名 株式会社アクセルスペース 代表取締役CEO 中村友哉氏
未来セミナー2：
講演タイトル ヒトの成長はどこまで続くのか？
登壇者名 順天堂大学大学院医学研究科・医学部教授 小林弘幸氏
未来セミナー3：
講演タイトル これが未来の都市生活！？
登壇者名 慶応義塾大学 医学部教授 宮田裕章氏
※講演タイトル名が変更になる可能性がある。
