｢生成AI｣今から活用したい人が知るべき驚く盲点
山本龍彦・慶應義塾大学法務研究科教授（左、撮影：尾形文繁）と栗原聡・慶應義塾大学理工学部教授（写真：本人提供）
インターネットの普及によって社会が情報過多になる中、人々の関心や注目の度合いが経済的価値を持つ「アテンション・エコノミー（関心経済）」をめぐる議論が活発化しています。
アルゴリズムがネット利用者個人の検索履歴やクリック履歴を分析し学習することで、個々のユーザーにとっては望むと望まざるとにかかわらず見たい情報が優先的に表示されれる「フィルターバブル」、SNSを利用する際、自分と似た興味関心をもつユーザーをフォローする結果、意見をSNSで発信すると自分と似た意見が返ってくる「エコーチェンバー」現象などが問題視されることも少なくありません。
さらに対話型AI「ChatGPT」をはじめとした「生成AI」の発展により、アテンション・エコノミーはどうなっていくのでしょうか。憲法・情報法を専門とする山本龍彦・慶應義塾大学法務研究科教授と、人工知能を専門すると栗原聡・慶應義塾大学理工学部教授が解説します。
従来のAIと今回の生成AIとの違い
山本龍彦（以下、山本）：今日は生成AIの発展が「アテンション・エコノミー」に及ぼす影響について主に議論したいと思っています。まず、そもそも生成AIとは何なのか、どういう特徴を持っているか、お話しいただけますか。
栗原聡（以下、栗原）：人工知能（AI）と一口に言っても、研究自体は60年くらい行われている大きな領域で、生成AIが出てくる前から多くの重要な技術が生み出されてきています。
生成AIの土台であるDeep Learning（ディープラーニング）以前での文章を生成するAIは、少々乱暴なまとめ方をすると、あらかじめ文章を構成するパーツを多数用意し、研究者がそのつながり方のルールを決めておき、入力に対する適切なパーツをルールに基づき組み合わせて文章を生成させていたのです。
今回登場した生成AIが従来のAIと何が一番違うかというと、AI開発者が前もって「こういう入力に対してはこのように回答する」と決め打ちするのではなく、AIが自分でパーツを組み立てながら結果を作っていく、つまり生成するということです。
山本：なるほど。その生成AIが出てくるまでにはどんな背景があったのでしょうか。
栗原：生成AIが出てくる前の人工知能には「こういうことを聞いたら、こう答えなさい」とあらかじめ仕組んでおきましたが、その場合、研究者のほうが「あらかじめどういうことが起きるか」を予測できていないといけません。しかし、世の中では複雑で想定外のことが起こるので、あらかじめ用意した反応の仕方では対応することはできず、結果的に人工知能はなかなか臨機応変に動かなかったわけです。
一方で、人間がどうしてこんなに自由にものをしゃべれたり、適応的に動けたりするのかというと、必ずしも頭の中に蓄えた知識をいちいち参照しながらしゃべる内容を組み立てているわけではないからです。どちらかといえば、相手の発話に対してもっともらしい反応をその場その場で瞬間的に考えずに話しますよね。言葉が自然と湧き出るように。人工知能もそのようにしたほうがいいのではないか、ということで生成AIの開発につながるわけです。
栗原 聡（くりはら さとし）／慶應義塾大学大学院理工学研究科修了。NTT基礎研究所、大阪大学産業科学研究所、電気通信大学大学院情報理工学研究科などを経て、2018年から現職。博士（工学）。電気通信大学人工知能先端研究センター特任教授、大阪大学産業科学研究所招聘教授、人工知能学会倫理委員会アドバイザーなどを兼任（写真：本人提供）
生成AIはTransformer（トランスフォーマー）というグーグルの研究者らが2017年に発表した手法が土台であり、画像を生成するタイプなども含め、これら生成AIの基本的な仕組みは2017年から変わっていないのです。
にもかかわらず、ChatGPTのような高い能力を持つAIの開発に成功した要因はどこにあるのでしょうか？
それは「AIの大きさ（量）」だったのです。AIを構成するニューラルネットワークのサイズを極端に大きくしたら、突如AIの能力が急激に上昇し、流暢にしゃべりだしたというイメージです。
誰も想定してなかった能力の上昇
山本：もともとのAIは「あらかじめ人間が仕組んでおいたものの枠内」で考えていたのに対し、生成AIはその枠を超え始めているようなイメージを持ちました。人工知能の専門家の間では、大きなパラダイムシフトが起きたと認識されているのでしょうか。
山本 龍彦（やまもと たつひこ）／1976年生まれ。2005年、慶應義塾大学法学研究科博士課程単位取得退学。博士（法学）。桐蔭横浜大学法学部専任講師、同准教授を経て現職。2017年、ワシントン大学ロースクール客員教授、司法試験考査委員（2014年・2015年）（撮影：尾形文繁）
栗原：パラダイムシフトだと思っています。複雑系という学問では「スケールすることによって、性質が大きく変わる」ことは当たり前の考え方なのですが、人工知能の分野でデータを学習するというとき、普通だったら、「データ量を2倍、3倍にすれば、性能も2倍、3倍分よくなる」と想像すると思います。
ところが今回起きたことは、学習データの量やAIの大きさを2倍、200倍、2万倍というふうに“べき乗則的”に大きくしていったのです。それでもずっとらちが明かなかったのが、200万倍ぐらいにしたら、急にストーンと突き抜けるように能力が上がったのです。これは誰も想定していませんでした。
その「突き抜ける」ことを初めて目の前で経験したのがグーグル（Google DeepMind）のエンジニアでした。何しろAIが急に流暢にしゃべりだして驚いたわけです（編集部註：その後、「AIが人類を滅ぼす可能性が高まっている」として、開発の中止を訴えるなどした）。
山本：例えばEUで議会の承認を通過したAI規則（レギュレーション）は、生成AI以前のAIを前提として議論をしてきたところがあります。「透明性」や、「説明責任」の重要性を強調して、なるべくそれを実装しようという流れになっているところに、急に生成AIが出てきた。
以前、栗原先生も、「透明性や説明責任という概念は、これまでのAIを前提としたものとまったく違うものになってきている」とおっしゃっていたのですが、やはり生成AIの登場によって、こうした概念は、もう意味のないものになっているのでしょうか。それとも何か別の形で透明性や説明責任が求められるのでしょうか。
栗原：一言で言うと、無理ですよね。つまり「原理がわかっている」ことと、「中で起きていることを説明できる」こととは、別の話です。
脳において神経細胞同士が何をやっているかは理論的にもかなり解析されているのと同じように、そもそもAIは人が設計しプログラムして作っているわけですから、構造自体は100％明確なものです。
ところが、そのあとに学習させることによって、重み（入力値の重要性、貢献度を数値化して表したもの）がどんどん変わっていきます。そうなったとき、例えば「1000億個のパラメーターの重みが調整された」ときに、その中をどのように情報が流れ、「どこで、何が、どうして、こうなった」という説明はもはやできません。言ってみれば、起きることはもはや結果論なのです。
どんな学習データを使っているかの説明は可能
山本：なるほど。「中で起きていることの説明」はできないのですね。ただ、どのようなものを学習データとして使っているのかという説明はできると思うのですが。
栗原：はい、それはできます。
山本：生成AIを人間が「しつける」こともできますよね。例えば中国では今、「共産党的な価値観（愛国であるとか、富強）を反映したものでなければいけない」といったAIのルールを作ろうとしています。
ChatGPTでも、例えばヘイトスピーチなどが出てこないように調整していると思いますが、そうした人間による「しつけ」すら生成AIが跳び越えてしまう可能性はあるのでしょうか。
栗原：この「しつけ」がとても重要なんです。そもそもChatGPTと同じぐらいの大きさの大規模言語モデルは、グーグルもフェイスブックも開発していて、OpenAIよりも1年早く公開したのですが、反社会的なことを言ったり、間違いだらけだったりしたため、公開をすぐに止める事態となったのです。
それから1年ほど経ってOpenAIが公開したのがChatGPTなのですが、では、1年間、彼らが何をやっていたかというと、開発ではなくChatGPTのトレーニングです。1年間かけてひたすら、反社会的なことや倫理に反することを言わないようにトレーニングをした。
具体的には、パラメーターの学習が終わったあとに、「こういう質問をしたら、こう答えます」「こうやったら、こうする」といった重みの調整を、人間が1つひとつ“手ほどき”で延々と行ったのです。こうして、無難といえるものに仕上げて出したのがChatGPTなのです。
山本：そこは非常におもしろいなと思います。そうした人間の“手ほどき”や“しつけ”は、実装にあたってどの生成AIもやるのだと思うのですが、「どういう手ほどきをしたのか」が今のところ見えてこない。“手ほどき”の部分はやはり透明化すべきだと思います。
生成AIがブラックボックス化するという点はおっしゃるとおりだと思います。しかし「透明性」という概念を完全にあきらめてしまうのではなく、どのようなデータを学習に使ったかや、どういう価値観に基づいてどのように“手ほどき”したのかは、しっかり説明責任の対象としていくべきではないかと。それぞれのAIがもつ癖は透明化しておかないと、人間の認知がゆがんでしまうと思うんです。
アライメントが施されていないAIが登場する怖さ
栗原：それは同意ですし、そこは「できること」ですよね。「どういうデータを使って学習した」「アライメント（調整）はどのようにやった」は、説明できなければおかしい。
逆に危険なのは、アライメントが施されていないAIがどんどん開発され、野に解き放たれ始めているということです。
山本：なるほど。
栗原：また、OpenAIに対して、イタリアの個人データ保護当局（GPDP）が学習データに含まれる数百万人分の個人情報の使用を停止するよう求めたことがあります（2023年3月）。「あなたたちが学習させたCLIP（Contrastive Language-Image Pre-training）には個人情報が入っているが、欧州の一般データ保護規則（GDPR）に照らしても個人情報を収集する法的根拠がない」というわけです。
OpenAI側としては、それぞれ個人から承諾を得れば使えることにはなりますが……そんなことできるわけがないでしょう、という話です。
山本：「情報自己決定権」を基本権として認めるEUらしい考えです。EUの立場から言うと、「自分の個人データをSNSで公開しても、権利を放棄しているわけではない。公開したデータをAIの学習データに使うのであれば、本人の同意をとるか、正統な利益（レジティメイト・インタレスト）によって法的に正当化されなければならない」ということにもなる。
正統な利益は、基本的に「公共的な利益」ということになるので、民間企業が営利を目的に生成AIを開発する場合にはそれに当たらない可能性が高いですよね。そうなると、同意を取らざるをえないという話になります。
ただ、それは先生がおっしゃるように現実的に厳しいでしょうし、すでに個人データを学習データとして開発されたAIが存在する場合には運用を止めるのか、という話になる。今までのEUの個人データ保護の考え方では、生成AIと正面からぶつかってしまう可能性があります。EUは、AIの加速度的発展のために個人データ保護の概念を変えるのか、従来の個人データ保護を貫くためにAIの加速度的発展をあきらめるのか、という結構シビアな決断を迫られるのだろうと思います。
AIを使いこなせる人と使えない人の差
山本：生成AIの現状をざっとうかがったところで、アテンション・エコノミーへの影響についてうかがいたいと思います。
アテンション・エコノミーの課題として、例えば「フィルターバブル」ですとか「エコーチェンバー」、さらにこれらとも関連しますが、「フェイクニュース」の増幅・拡散といった問題が挙げられます。こうした課題の先には、社会的・政治的分断や民主主義の衰退がある。
以前、栗原先生と雑談していた際に、生成AIはアテンション・エコノミーの課題を悪化させることもあれば、それを克服する“救世主”になることもある、というご指摘をされていました。
栗原：まずアテンション・エコノミーは過度な格差を生み出すわけですが、これまでもデジタル機器を使える人・使えない人の格差の話があったと思います。そして、今後は人工知能を使える人・使えない人、人工知能で利益をもらえる人・もらえない人との格差が残念ですが、確実に出てくると思います。
ただ、使える人・使えない人の差がどこで出てくるのかというのは面白い点で、それは「自分の考えを文章として書くというアナログな能力」の有無なのです。
生成AIを使いこなすためには、人工知能にどう入力するか（プロンプトという言い方をします）が重要です。普通の人は大体ひと言・ふた言ぐらいしか書き込みませんが、それでは実は生成AIのよさをほとんど引き出せないのです。
入力するところには数千字、GPT-4に至っては数万字、書けます。より適切に細かく書けば、その分だけ巧妙に答えてくれるわけです。
つまり生成AIを使うためには、ちゃんとした文章を書かないといけない。「アナログは古い、これからはデジタルだ」という時代が久しく続いていましたが、生成AIが登場してきたいま、なんと蓋を開けたら、「最新型の人工知能を使うには超アナログな能力が必要だった」ということです。
山本：なるほど。おもしろいですね。
栗原：僕も先日印象的な話を目にしました。ツイッターで、プロンプトエンジニアリング（注：言語生成AIを効率的に使用するためのプロンプトを開発する）をしているエンジニアが、「必要なのは、テクニカルな能力ではなくて、いかにして自分が伝えたいことを文章としてきれいに的確に書けるかだ」といったことを言っていたのです。
昔ながらの「状況を察知して、書く」能力が必要だと、若い人が言うわけです。これはなかなか示唆的だなと思いました。
山本：もしかすると若い世代で分断が広がっていくかもしれませんね。若い人のなかにはグーグル検索も使わない人たちがいる。彼らは、知りたいことがあってもツイッター、TikTok、インスタグラムなどで、ハッシュタグを使って検索するわけです。
要するに、グーグルの検索すら得意ではない人たちが出てきている。そこにきて、より高度な検索技術が必要な対話型AIが登場すると、そうした人たちは「自分たちとは関係ない技術だ」となっていく可能性があります。
文章が書ける人、自分の考えていることを文章として表現できる人はAIをうまく使いこなしていく。一方でそうでない人は1日中、ショート動画を見続け、アテンション・エコノミーにどっぷり浸かってしまう。そんな分断のある世界が生じうるということでしょうか。
AIを使いこなせない人々の思考力は低下する
栗原：そうですね。そして、生成AIが出てくるタイミングでよくいわれる負の面が、「思考力が低下する」ということです。僕としても、AIを使いこなせない側・AIに使われる側の人々の思考力は低下するとは思います。
ただ、その原因を100％生成AIのせいにしてはいけないと思うのです。それ以前に、インターネットが登場し、皆が当たり前のようにSNSを利用する状況がそもそも思考力の低下の主たる原因です。そしてSNSの台頭がアテンション・エコノミーを顕著にしたわけです。
その延長線上に対話型AIが出てきたら、さらに人は考えなくなってしまう。だからその意味においては、生成AIが今の状況をさらにひどくする効果というのは、やはり一面としては持っているわけですよね。
山本：なるほど。考える人は考えるけど、考えない人はアテンション・エコノミーの世界に没入し続けて、さらに熟慮しないような感じになるということですね……。
僕も大規模言語モデルが出てきたときに、同じような印象をもちました。これを使いこなすには、プロンプトでそれなりの文章を作らなければならないし、ChatGPTの回答もそれなりに長い。ショート動画15秒の世界にいる人、タイムパフォーマンス至上主義的な価値観にはまっている人が、そのような時間的コストや思考のコストに耐えられるのだろうか。
すごく単純化して言えば、TikTokのヘビー・ユーザーとChatGPTのヘビー・ユーザーは属性が違うように思うのですね。もちろん、もっと実証的に見ていかなければいけませんが。
栗原：事実、ChatGPTが生成する文章は、ChatGPTが学習に利用しているデータがそれなりの知識層からのデータに偏っていることから、当然そのような層でのやりとりを反映したものになっているという指摘があります。
山本：そうなると、反射的でファストなアテンション・エコノミーの世界は、「思考する世界」からますます切り離されていく可能性があります。その分断が問題だ、とまずは言えるのかもしれません。
（後編＜8月4日公開予定＞に続く）
（山本 龍彦 ： 慶應義塾大学大学院法務研究科教授）
（栗原 聡 ： 慶應義塾大学理工学部教授）
