OpenAIはコレで揉めた。「AIアライメント」ってそんなに大事なの？

2024年6月5日 8時0分

ChatGPTで生成AIブームの火付け役となった、米スタートアップ企業のオープンAI（OpenAI）。ところが今、オープンAIのリスクに対する考え方を懸念する声が広がっています。

というのも、オープンAIが同社の安全対策を担う「スーパーアライメントチーム」を解消したことを、2024年5月17日付で複数の米メディアが報じたからです。

この報道に先立ち、米GizmodoはオープンAIの社員10名が続々と辞めていったことを突き止めていました。その中にはスーパーアライメントチームの双璧をなしたイリヤ・サツキバー氏とヤン・ライク氏も含まれており、いずれもオープンAIの最新AIモデル「GPT-4o」を発表した翌日に退社を表明しています。

オープンAIがスーパーアライメントチームを立ち上げたのは2023年7月。わずか10ヶ月ほどで解消せざるをえなかったほど、機能不全に陥っていた内情が伺えます。

ところで、そもそもスーパーアライメントチームの果たすべき役割とはなんだったのでしょうか？

AIアライメントって？

AI業界でいう「アライメント」とは、「AIモデルに人間の価値観や目標を埋めこんで、可能なかぎり有用で安全かつ信頼できるものにするプロセスのこと」（IBM Watson Blogより抜粋）です。

あえて別の言い方をすれば、AIモデルを制御し、人間の意図に反して暴走しないように食い止める方法を見つけることがスーパーアライメントチームの役割だったのです。

人知を超えた「超知能」を制御できるか

オープンAIが掲げている目標、それは人間の知能をはるかに凌駕する汎用人工知能（Artificial General Intelligence: AGI）を開発すること。

しかしながら、このようなAGIを制御できる技術を人類はまだ手にしていないとも自社ブログで説明しています。だからこそ、スーパーアライメントチームを設立し、技術的・科学的な革新を目指したのです。

OpenAIいわく、

人間の知性をしのぐ「スーパーインテリジェンス」は、人類が発明したテクノロジーの中で最もインパクトの大きいものとなり、社会の最重要課題を解決していくうえで役立ってくれるでしょう。しかし、スーパーインテリジェンスの強大な力は同時にとても危険かもしれませんし、人類の無力化、果ては人類の滅亡にもつながりかねません。
このような汎用性人工知能の到来は、まだまだ先のことと思われるかもしれません。けれども、私たちは今後10年以内には実現すると考えています。
これらのリスクを踏まえ、私たちはスーパーインテリジェンスのアライメントという課題──どうやったら人間よりもはるかに賢いAIシステムが人間の意図に従うことを保証できるか？──を解くために、新しい機関を設立する必要があります。

舵取りに内外から批判

I joined because I thought OpenAI would be the best place in the world to do this research.

However, I have been disagreeing with OpenAI leadership about the company's core priorities for quite some time, until we finally reached a breaking point.
- Jan Leike (@janleike) May 17, 2024