毎日AI使う人へ、｢認知的降伏｣にご注意
たしかにAIを外部メモリみたいに使っちゃうと、考える力が落ちそうよね。
ArsTechnicaのカイル・オーランド氏が4月3日に｢認知的降伏（cognitive surrender）｣という用語についてのブログ記事を書きました。
1,372人をテストしてわかった「新しい認知」
この言葉は、少なくとも1月頃から出回っていたようで、ペンシルベニア大学ウォートン・スクールのマーケティング准教授であるギデオン・ナヴ氏と博士研究員のスティーブン・ショー氏による造語とされています。
彼らの論文は極めて憂慮すべき内容で、この調査結果について読み終える頃には、｢認知的降伏｣という言葉が頭にこびりついて離れなくなるはず。
論文の著者が研究結果について話している動画があるので、興味がある方はご覧下さい。日本語字幕（自動翻訳）をオンにすれば、ある程度内容を把握できると思います。
ナヴ氏とショー氏は、1,372人を対象に、AIチャットボットを使ってもいい前提のテストを実施しました。ただし、そこにはAIがときどき間違った回答をするという仕掛けがされていました。
このテストは｢認知反射テスト（直感に頼らすに熟考できるかを測る心理テスト）｣と呼ばれるものをアレンジしたバージョン。どの問題も、誰もが一度は見たことがあるような、ひねりの効いたものでした。たとえば、こんな感じです。
5台の機械が5個のウィジェットをつくるのに5分かかるとします。100台の機械で100個のウィジェットをつくるには何分かかりますか？
正解は｢5分｣ですよね。この問題を解くには、｢速くて、直感的で、感情的な処理｣ではなく、｢ゆっくりで、熟慮的で、分析的な推論｣を用いる必要があります。直感的に｢100分｣と答えた人もいるかもしれません。これは、故ダニエル・カーネマンによる『ファスト＆スロー』で有名になった概念です。
ゾッとするようなテスト結果
テストの結果は、暗たんたるものでした。AIを使ってもいいとされたパートでは、被験者は半分くらいの頻度でAIに相談しました。
AIが正しい回答をした場合、被験者は93%の確率でそれを受け入れました。残念ながら、AIが間違った場合でも、80%の確率で受け入れてしまいました。
ここで忘れちゃいけないのは、被験者は｢AIを使う必要がまったくなかった｣という点です。被験者は、自分の判断よりも誤ったアドバイスを優先させてしまったんです。
さらによくないのは、AIを使った人たちは、たとえ不正解だったとしても、AIを使わなかった人たちと比べて自信の度合いを11.7%高く評価していたそうです。
AI依存が生む「3つめの認知システム」
研究者は、カーネマンの｢速いシステム（システム1）｣と｢ゆっくりとしたシステム（システム2）｣という従来の2つある認知の枠組みに加えて、AIに依存するこの新しい人工的な｢支援｣が、｢システム3｣と呼べる3つめの認知システム、すなわち認知的降伏を生み出しているとのこと。
研究論文の著者は次のように記しています。
私たちの研究結果は、AIが生成した出力を、人々が抵抗や懐疑心を抱くことなく、たやすく自らの意思決定プロセスに取り入れていることを示しています。この｢システム3｣とのシームレスな関わりは、認知的な努力を軽減し、意思決定を加速させ、内部の認知を外部処理された膨大なリソースを持つAI駆動の洞察で補完または代替することで、日常的な認知機能を強化する可能性を浮き彫りにしています。
著者は、認知の降伏を軽く見ていません。彼らは論文で｢システム3の価値と統合性を示す一方で、システム3の利用に伴う脆弱（ぜいじゃく）性を浮き彫りにしている｣と書いています。
つまり、AIに頼る思考は、もはや私たちの認知に組み込まれてしまっていて、無視できない存在になっています。それはもう否定できない事実です。でも、だからこそその弱点が怖いんです。
著者はまた、｢システム1の直感的な判断が体系的な思い込みや偏見を引き起こすのと同様に、システム3にも特有の認知的欠陥があり、それは意思決定者や社会全体にとっての課題となるでしょう｣とも述べています。
AIに依存するシステム3の怖さを認識できたことは、暗闇の中の光みたいなものとポジティブに捉えてもいいのかもしれませんが、カーネマンが切り開いた｢人間の思考のクセ｣の研究と同じくらい、本気で｢AI時代の思考のクセ｣を研究しないとマズいことになると言えるのではないでしょうか。
いつも心に疑問符を
身近な話に置き換えるとわかりやすいかもしれません。教養があって、本をたくさん読んでいる、知識の宝庫のような、信頼できる友人がいるとします。何かわからないことがあると質問して、答えをもらう。｢この人に聞けば間違いない｣と心のどこかで思っている、そんな相手です。
こういう存在はとてもありがたいですよね。でも、よくよく考えると、ちょっと危ういところもあると思いませんか？ だって、その友人だって万能じゃないし、知らないこともあるはずですし、機嫌の悪い日にはいい加減なことを言うかもしれません。
それでもこっちとしては、｢あの人が言ってたから｣というだけで、その答えが正しいかどうかを自分で確かめずに受け入れてしまう。信頼が深ければ深いほど、検証する気持ちが薄れてしまいがち。
AIに関する認知の降伏も、この延長線上にある気がします。違うのは、AIは友人よりずっと物知りで、ずっと自信満々で、いつでもそばにいるところ。つまり、信頼の罠にハマる条件が完璧にそろっているんです。
だからこそ、AIを便利に使いながらも、｢この答えは本当に合ってるのかな？」と問い続けるクセをつけることが、認知を降伏することなく、AIと長く健全に付き合っていくコツなのかもしれません。
GIZMODO テック秘伝の書
