近年では、人間のように未知の状況でも新たなスキルを効率的に取得して適応することが可能な「汎用(はんよう)人工知能(AGI)」の構築がさまざまなAI研究機関によって進められており、OpenAIはAGIの構築に向けてアメリカの国立研究機関と提携したことを発表しています。Googleのチーフサイエンティストであるジェフ・ディーン氏やTransformerなどの開発に携わるノーム・シャーザー氏が、自身の経験やAIの進化、そして将来の可能性についてポッドキャスターであるドワルケシュ・パテル氏との対談で語っています。

Jeff Dean & Noam Shazeer - 25 years at Google: from PageRank to AGI - YouTube

Jeff Dean & Noam Shazeer - 25 years at Google: from PageRank to AGI

https://www.dwarkeshpatel.com/p/jeff-dean-and-noam-shazeer

1999年にGoogleに入社したディーン氏はこれまで、プログラミングモデルのMapReduceやBigtable、TensorFlow、Geminiなど、現代のコンピューティングにおける重要なシステムの開発に取り組んでいます。また、同じく1999年に入社したシャーザー氏はTransformerだけでなくMixture of expertsやMesh TensorFlowなど、現代の大規模言語モデルなどに使用されるさまざまなアーキテクチャと手法を開発しました。

2007年にディーン氏らは、言語モデリングのための「(PDFファイル)N-gramモデル」のトレーニングを行いました。N-gramのトークン数は2兆で、大規模言語モデルの先駆けとも呼ばれています。また、近年では両氏はGeminiのトレーニングに携わっており、記事作成時点でデプロイされているコードの約25％はコーディングAIによって生成されたものとのこと。

Googleでは、「世界中の情報を整理し、誰でも利用可能にすること」を目標に掲げており、高度なAIや大規模言語モデルはこの目標を達成するための重要なツールと見なされています。高度なAIには、単なる検索エンジンでの情報検索だけでなく、ユーザーの代わりにAIがコードを書いたり、人間が解決できない問題をAIが解決したりする能力が含まれており、シャーザー氏は「こうした高度なAIは世界に大きな価値を生み出す可能性があります」と述べています。実際にGoogleは、大規模言語モデルをテキストや画像、ビデオ、オーディオなどさまざまなモダリティに拡張し、人間だけでなく、自動運転車やゲノム情報などの非人間的な情報源からのデータも理解できるようにすることを目指しているそうです。



ディーン氏は将来的に、AIモデルがより複雑な問題を解決できるようになると予測しています。具体的には、現代のAIがタスクを10個のサブタスクに分割して80％の精度で実行できるとすると、将来のAIは1つのタスクを100〜1000個のサブタスクに分割して90％の精度で実行できるようになるとディーン氏は推測しました。

将来の展望として両氏は、「モデルが数兆のトークンにアクセスできるようになり、インターネット全体や個人の情報に基づいて、より高度なタスクを実行できるようになる」「AIがコード生成やテストの実行を支援することでソフトウェア開発が劇的に効率化される」「モデルが継続的に学習し、改善していく」「検索などの手法を取り入れるなど推論の際に多くのステップを踏むことでモデルの性能が向上する」といった点を掲げています。

そのためにGoogleは、TPUなどのハードウェア開発を通じて、大規模言語モデルのトレーニングと推論を加速させることに注力しています。また、「1ビット」といった低精度の数値表現を使用することで、計算効率を高めることにも取り組んでいます。



一方、GoogleはAI研究開発の進歩と倫理的配慮のバランスを取るために「責任あるAIへの取り組み」のポリシーを掲げているほか、誤った情報やコンピューターシステムのハッキングなど、AIが悪用される可能性を考慮し、複数の安全対策と緩和策を講じています。さらに、航空機向けソフトウェア開発を参考に、リスクの高いタスクを行うための安全でセキュアなシステムを開発するためのエンジニアリングを行っています。加えて、「テキストを分析する方が、テキストを生成するよりも簡単」という考えに基づき、AIシステムが自分自身または他のシステムをチェックするために使用されています。

ディーン氏とシェイザー氏は、「現代のAIモデルは依然としてハルシネーションなどの問題を抱えており、改善の余地があります。こうした安全対策などを講じることで、将来的にAIが教育や医療などの分野で社会に大きな利益をもたらすことを期待しています」と語りました。