NTTの生成AI大規模言語モデル(LLM)「tsuzumi」驚きのデモ徹底公開！パワポの図表や写真、人物像まで理解するマルチモーダルLLMの実際

2023年11月14日 16時58分

NTTは、自社で開発した生成AI大規模言語モデル(LLM)「tsuzumi」現在開催中の「NTT R&D FORUM 2023 - IOWN ACCELERATION」(R&Dフォーラム)で公開した。多くのデモでマルチモーダルや追加学習を含めた、「tsuzumi」の多彩な機能を紹介している。R&Dフォーラムは2023年11月14日(火)～11月17日(金)まで開催されている。

「tsuzumi」ファインチューニングのデモ。GPT-3との比較等

パワーポイントで作成したロードマップの図表を「tsuzumi」が理解して要約をテキストで表示するデモ
「tsuzumi」は2023年11月1日に発表され、「軽量でありながら世界トップレベルの日本語処理性能を持つ」として、商用サービスは2024年3月提供開始を予定している。

●tsuzumiの特長

tsuzumiの特長のポイントをあげると
・軽量なLLM
・日本語と英語に対応(多国語にも対応していく) ～特に日本語が得意なLLM～
・柔軟なチューニング～基盤モデル＋アダプタ～
・マルチモーダル～言語＋視覚・聴覚・ユーザ状況理解～
となっている。

■生成AI大規模言語モデル(LLM)「tsuzumi」概要：

「軽量なLLM」「日本語と英語については世界トップクラスと同程度の性能を記録」については別記事「NTT版生成AI大規模言語モデル(LLM)「tsuzumi」驚異の性能を披露 NTT R&Dフォーラム2023開幕 NTT島田社長の基調講演と見どころ」で解説したのでそちらを参照していただきたい。

●柔軟なチューニング

「柔軟なチューニング」とは、効率的に知識を学習させることのできる「アダプタ」という考えを取り入れていること。アダプタとは事前学習済みモデルの外部に追加されるサブモジュール。「tsuzumi」はベースとなる基盤モデルに、業務や分野、企業に合わせた情報を追加学習をおこなうために3つのチューニング方法が用意されている。

基盤モデルに、最新情報、業務に特化した情報、企業や組織に特有の情報などを追加学習させるだけで、カスタムチューニングが容易にできるしくみを採用している。

例えば特定の業界に特有の言語表現や知識に対応してチューニングされたアダプタを付加することで、少ない「追加学習」で「tsuzumi」の知識量をアップすることができる。

■「tsuzumi」のファインチューニングの解説：

●LLMの可能性を広げる「マルチモーダル」

マルチモーダルは、対話が中心だった大規模言語モデル(LLM)に、生成AIとして応用の可能性を広げる要素となっている。例えば、写真、Excelなどで作成した表、ロードマップの図などを解析して理解することができる。また、顔の表情や声のトーンから人の感情を解析することができる。言語化されていないグラフィカルな表示や音声のニュアンス、感情などを理解し、現実世界での人との協調作業を可能とする。

視覚的読解技術の実施例。「A」が「tsuzumi」の回答(正解)。図を解析して正確に理解していないと正解は出せない。

●パワーポイントで作成した図表を理解して要約する等のデモ

下の動画では、パワーポイントで作成した(基調講演で使われていた)ロードマップの図表を「tsuzumi」が読み解き、理解し、テキストとして要約(図を解説)する様子が確認できる。

また、猫がキーボードに手を乗せている写真を解析し、「tsuzumi」が写真を説明するキャプションを生成する。

最後に、手書きの回答用紙を解析して、どこにどんな情報が記入されているかを理解し、質問に対して記入されている内容をテキストで回答する様子が見られる。

どれも必見のデモ内容となっている。

■「tsuzumi」マルチモーダル機能のデモ 1：

●マルチモーダル機能を活用、人物像からニックネームを生成

マルチモーダル機能では、スタッフにAIが簡単な質問をして回答を理解し、その人の容姿や態度、感情を解析してニックネームを付ける、という少し変わった趣向のデモが行われていた。

女性の話や趣味趣向、感情、動きを解析してニックネームを生成する
■「tsuzumi」マルチモーダル機能のデモ 2 ニックネーム：

●映像から異常を検知、対処方法をAIが提案

下の動画は、セキュリティカメラの映像に写っている人物の属性や感情、行動を解析。異常が発生するとそれを検知し、異常の内容を理解し、対処方法をAIが提案するデモとなっている。

危険な人物が侵入してきたことを検知し、対処方法をAIが提案しているところ
また、ここまで見てきたマルチモーダル機能は、NTTの「MediaGnosis
：
」(メディアグノシス)と基盤連携し、実現しているそのしくみは動画内で解説されている。
ちなみに「MediaGnosis」は、音声音響処理・画像映像処理・自然言語処理・クロスモーダル処理などマルチメディアの情報処理を統合的にオールインワンで扱うことができ、これまでよりも効率的な「学習」を実現、高精度かつ総合的な「推論」をおこなう次世代メディア処理AIのこと。「tsuzumi」もこのひとつのモジュールとして連係動作することで、可能なことが格段に増えている。