専門家の予測をうのみにする人が知らない真実
高精度の予測は「幅（レンジ）」から生まれる（写真：Graphs／PIXTA）
現代はますます複雑さを増している。それを反映するように、ビジネスでも、研究開発でも、スポーツでも、分野を狭い範囲に絞って深掘りする「超専門化」がもてはやされている。
こうした風潮に警鐘を鳴らすのが『RANGE（レンジ）知識の「幅」が最強の武器になる』の著者、デイビット・エスプタイン氏。「幼児からの超英才教育『意外な落とし穴』の正体」（2020年4月7日配信）、「職場がどうも合わないなら辞めても問題ない訳」（同4月14日配信）に続いて本書を一部抜粋のうえ、再編集してお届けする。
「あり得ない」と断言した予測が15％の確率で起きた
識者の中には、世界の動きについて、たとえ反証があっても1つの見方にとらわれる人たちがいる。自分の見方に合った情報ばかりを収集するので、予測は改善どころかどんどん悪化する。そうした人たちが毎日のようにテレビやニュースに登場し、ひどくなる一方の予測を発表して、自分が正しかったと主張する。そんな識者たちを綿密に観察し続けた人物がいた。
始まりは1984年、米国学術研究会議の米ソ関係に関する委員会だった。心理学者で政治学者のフィリップ・テトロックは当時30歳で、委員会では飛び抜けて若いメンバーだった。他のメンバーがソ連の意図やアメリカの政策について議論するのを集中して聞いていた。
有名な専門家たちが自信を持ってきっぱりと予測していたが、テトロックにとって衝撃的だったのは、それぞれの意見がまったく異なっていて、反論があっても誰も自分の意見を変えないことだった。テトロックは専門家たちの意見をテストしてみることにした。
東西冷戦が続く中、284人の専門家による短期と長期の予測を集めた。彼らは高い教育を受け（大半が博士号を持つ）、専門分野に関して平均で12年以上の経験があった。予測は国際政治と経済に関するもので、確実な予測であることを示すために、専門家たちにそれが実現する確率も算出してもらった。運や不運による当たり外れと真のスキルとを区別するために、テトロックは多数の予測を、長期間にわたって集める必要があった。
プロジェクトは20年間続き、8万2361件の予測が集まった。その結果見えてきたのは、「専門家の予測能力はひどい」ということだった。
専門分野であることや、経験年数、学位、そして（一部の人は）極秘情報にアクセスできることすら、予測の能力には何の関係もなかった。短期予測も長期予測も間違っており、どんな領域でも間違っていた。専門家たちが、その出来事が起こることは決してあり得ない、あるいはほぼあり得ないと断言したことが、15パーセントの確率で起きていた。専門家たちが、間違いなく起こると言ったことは、4回に1回以上は起こらなかった。
多くの専門家は、たとえ間違った結果を前にしても、自分の判断に本質的な欠陥があるとは決して認めない。一方で、予測が当たったら、それは完全に自分の実力であり、専門的な能力によって世界を解明できたと言う。
ひどく間違えたときには、もちろん状況は理解していたので、ある1つの事柄が違っていたら、自分が正しかったはずだと言い張る。あるいは、考えは正しかったが、時間が少しずれただけだと言う。勝利は完全な勝利で、負けはちょっと運が悪かっただけ。専門家はしょっちゅう間違えるのに、負け知らずだ。
テトロックは言う。「予測をする人が考える自分の予測能力と、実際の予測の成果の関係は、たいてい反比例になっていて興味深い」。
「テレビによく出る専門家ほど予測が外れる」
知名度と正確さの間にも「強い反比例の関係」があった。論説ページに予測が載ったり、テレビで取り上げられたりする確率が高い専門家ほど、予測が間違いである確率も高かった。
テトロックの初期の調査に、ソ連の未来に関するものがあった。専門家の中には、ミカエル・ゴルバチョフは真面目な改革主義者で、ソ連を改革し、連邦共和国の体制をしばらくは維持できると考える人たち（たいていはリベラル派）がいた。一方で、ソ連が改革されることはなく、そもそも非常に荒廃していて、連邦共和国としての体制が崩れつつあると考える人たち（たいていは保守派）もいた。
両陣営とも部分的に正しく、部分的に間違っていた。ゴルバチョフは実際に改革を実行し、世界に扉を開き、市民に力を与えた。しかし、その改革によって、ロシアの外側の共和国で積もりに積もっていた力が吐き出された。エストニアが主権を宣言したのに始まり、他の国々の力も強まってソ連は崩壊した。
どちらの陣営の専門家にとっても、ソ連の突然の崩壊は完全に予想外の出来事で、その点に関する彼らの予測は悲惨なものだった。しかし、専門家の中のある小さなグループが、何が起こるかをより正確に予測していた。
彼らは1つのアプローチだけに限定せず、両陣営の議論を吟味し、一見矛盾する世界観を統合していった。そして、ゴルバチョフが真の改革主義者であり、ソ連はロシア以外では正当性を失いつつあるという見解を持った。そうした統合的な見方をする人たちの中には、実際にソ連の終わりが間近だと予見し、真の改革がその触媒になると予測した人たちもいた。
統合的な人たちの予測は、ほぼすべてでほかの人たちの予測より優れていたが、特に優れていたのが長期の予測だった。
テトロックは予測者のタイプごとにニックネームをつけた（哲学者のアザイア・バーリンの著作からアイデアを借りた）。
「1つの分野について詳しく知っている」視野の狭いハリネズミと、「たくさんの分野のことを少しずつ知っている」統合的なキツネだ。
そのニックネームは、心理学と機密情報収集の世界で有名になった。ハリネズミ型の専門家の視野は深いが狭い。中には、1つの問題だけにキャリアのすべてを費やしてきた人もいた。ハリネズミは、世界の動きについての理論を、自分の専門分野という1つのレンズだけを通して作り上げ、どんな出来事もその理論に合うように曲げてしまう。
「ハリネズミ型」の予測精度は得意分野でも悲惨
テトロックによると、ハリネズミは自らが専門とする1つの流派の中で「一心に働き、曖昧な問題に対して、型にはまった解決策を導き出す」。結果はどうでも構わない。成功しても失敗しても常に自分は正しく、自分の考えをさらに深く掘り進める。そうすることでハリネズミたちは、過去については見事な見解を述べるが、未来の予測ではチンパンジーのダーツ投げ並みだ。
一方のキツネは、テトロックによると、「さまざまな流派から意見を取り入れ、曖昧さや矛盾を受け入れる」。ハリネズミが狭さを代表する一方で、キツネは一つの領域・理論の外側に生息し、広がりを実現する。
ハリネズミたちは自分の専門分野の長期的な予測に関して、特にひどい結果を出した。しかも、その分野で経験や実績を積むと、予測の結果はさらに悪化した。多くの情報を扱うようになればなるほど、どんなストーリーも自分の世界観に当てはめられるようになったからだ。
ハリネズミは、すべての世界の出来事を自分好みの鍵穴から見て、何事に関しても説得力のあるストーリーを作り、しかも威厳を持ってそのストーリーを語る。これはテレビで映える強みである。
テトロックは明らかにキツネだ。2005年に、テトロックは専門家による判断についての長年の研究成果を発表した。それに注目したのが、IARPA（米国情報高等研究開発活動）だ。IARPAは政府組織で、アメリカの機密情報関連の最も難しい課題についての研究をサポートしている。2011年に、IARPAは4年間に及ぶ予測トーナメントを立ち上げ、研究者が率いる5つのチームが予測を競い合った。
参加チームは、誰を採用しても、訓練しても、何を試しても構わない。4年の間、期限の日まで毎日、予測を朝9時までに提出することが求められた。
問題は簡単ではなかった。「EU加盟国のうちの1カ国が、この日までにEUを脱退する可能性はどのくらいか」「日経平均の終値は9500円を上回るか」「東シナ海での銃撃戦で、10人以上の命が失われる確率は」。予測は何度でも変更できたが、全体を通じての正確さで点数が決まる仕組みだったので、締め切り直前に優れた予測をしても、得られる点数は低かった。
テトロックとメラーズが率いたチームは「優れた判断力プロジェクト（GJP）」と名づけられた。2人は博士号を持った専門家を採用したりせず、1年目にボランティアを公募した。簡単なスクリーニングのあと、3200人のボランティアをチームに招いて予測を始めた。
メンバーの中からキツネ的な人たち、つまり幅広い興味と読書習慣があり、予測に関連するバックグラウンドが特にない人たちを選びだし、その人たちの予測を重みづけしてチームの予測を決めると、GJPチームはトーナメントで圧勝した。
2年目には、GJPはトップの「超予測者」たち12人から成るオンライン・チームをいくつか組み、互いに情報やアイデアを共有できるようにした。すると、GJPは他の大学主催のチームをはるかに上回る成績を上げるようになり、IARPAは成績の低いチームをトーナメントから外した。
一般から集めたボランティアが、機密データにアクセスできる経験豊かな機密情報アナリストに勝った。テトロックによると、「その差は極秘だ」（しかし、テトロックは、ワシントンポスト紙が「GJPは機密情報アナリストのチームの成績を30パーセント上回った」と報じたと教えてくれた）。
最も優秀な予測者たちは、キツネ的であるだけでなく、コラボレーション能力も高く、情報を共有し、予測について議論した。チームのメンバーは個人で予測を出さなければならなかったが、チームは全体のパフォーマンスで評価された。平均すると、超予測者のチームでは、個人の予測の精度が50パーセント高かった。
超予測者のチームは、はるかに多くの人たちの予測の平均を上回り、さらには「予測市場」も破った。予測市場とは、市場参加者が未来の出来事の予測を株式のように「取引」する市場で、人々の予測の変化によって市場価格が変動する。
各メンバーの幅（レンジ）の広さが不可欠だった
地政学的な出来事や経済的な事象の予測は複雑なので、スペシャリストのグループが必要だと普通は思う。各自が1つの領域について、深い知識を持ち寄れるからだ。しかし、実際はその逆だった。コミックの制作者や新技術の特許を取る開発者のように、不確実性を前にした場合には、各メンバーの幅（レンジ）の広さが不可欠だった。
最もキツネ的な予測者たちは、一人ひとりでも見事だったが、チームを組むとさらにパワーアップして、理想的なチームになった。彼らは一人ひとりの力の単純な合計を、はるかに上回る力を見せたのだ。
例えば、メンバーの1人、スコット・イーストマンは「1つの世界にとどまったことがない」と言った。オレゴン州で育ち、数学や科学のコンテストに出場したが、大学では英文学と美術を学んだ。これまで自転車修理、住宅の塗装、塗装会社の創業者、写真家、写真教師、ルーマニアの大学の講師などの仕事を経験し、最も変わったところでは、ルーマニア中央部の小さな町、アブリグで、市長のチーフアドバイザーを務めた。
「塗装の仕事はかなり役に立ったと思う」とイーストマンは言った。その仕事では、亡命を求めている難民や、シリコンバレーの億万長者など多彩な同僚や顧客に出会い、長期間仕事をしたときには、その億万長者とも会話を交わした。イーストマンは塗装の仕事を、「さまざまな視点を集められる肥沃な土地」と表現した。イーストマンは優れた予測者の核となる特徴は、「ありとあらゆることに関しての純粋な好奇心」だと言う。
エレン・カズンズは、法廷弁護士に協力して詐欺行為を研究している。そのため、カズンズの調査は自然に、医学からビジネスまで広範囲に及ぶ。仕事以外でも興味は幅広く、古い工芸品の収集や刺繍、レーザー彫刻、錠前破りなどが趣味だ。
カズンズはイーストマンと同じように、範囲の狭い専門家は情報源としては重要だが、「目隠しをつけているかもしれないと考えておくことが大切。だから、専門家からは事実をもらっても、意見はもらわない」と言う。
イーストマンやカズンズはスペシャリストからどん欲に情報を集め、それを統合する。超予測者のオンラインでのやり取りは、非常に礼儀正しい抗争といった感じで、不快な態度を示さずに異議を唱え合う。稀に誰かが「でたらめを言うな。俺は納得がいかない。説明してくれ」と言ったとしても、「メンバーは気にしない」とカズンズは言う。
彼らは合意しようとしているのではなく、多くの見解を統合しようとしている。テトロックは最も優れた予測者を、「トンボの目を持ったキツネ」と表現する。トンボの目は何万ものレンズで構成されていて、レンズはそれぞれに見え方が異なり、脳でそれを統合する。
「幅（レンジ）」がなければ深さは役に立たない
優れたチームのやり取りの特徴は、心理学者のジョナサン・バロンが「積極的なオープンマインド（active open-mindedness）」と呼ぶものだ。優秀な予測者は自分のアイデアを「テストする必要がある仮説」として見る。彼らはチームメイトを納得させようとするのではなく、チームメイトが自分の考えの誤りを指摘してくれるように促す。
人間にとって、これは普通のことではない。難しい質問をされたとき、例えば「公立校にもっと資金を提供したら、指導と学習の質は大幅に改善されるだろうか」と問われたら、人は自然に「自分の側」に合う理屈をたくさん思いつく。自分の考えが間違っている理由をネットで探そうとはしない。それは、自分と反対の考えを思いつけないからではなく、本能的にそうしないのだ。
重要なのは、何を考えるか（What）ではなく、どのように考えるか（How）だ。優れた予測者は積極的なオープンマインドを持ち、非常に好奇心が強く、自分と反対の見方を検討するだけでなく、積極的に反対の見方を求めて領域を超えていく。積極的なオープンマインドを研究したバロンは、「幅がなければ、深さは不適切になるかもしれない」と書いた。
チャールズ・ダーウィンは、人類史上、最も好奇心が強く、積極的なオープンマインドを持った人物の1人だろう。ダーウィンは自分が取り組んでいる説と正反対の事実や現象に出会うと、それをノートに書き写していた。そして、自分の説を容赦なく攻撃し、自分の考えたモデルを次々に捨て去り、すべての科学的証拠にフィットする理論にたどり着くまでそれを続けた。
ハリネズミは複雑さの背後に、自分の専門分野の枠組みに基づいた、シンプルかつ決定論的な因果関係のルールを見いだす。キツネは他の人々が因果関係だと誤解するものの中に、複雑さを見る。
そして、因果関係のほとんどは、決定論的ではなく確率的だと理解している。未知のものがあり、運も作用する。明らかに過去と同じことが起きているように見えても、正確には同じではない。キツネは、「意地悪な学習環境」の中にいることを認識する。
「意地悪な学習環境」の中では、成功からも、失敗からも学ぶのは難しい。自動的なフィードバックがない意地悪な環境では、経験だけではパフォーマンスを上げられない。より重要になるのは思考習慣であり、それは学んで身につけることができる。予測トーナメントの4年間で、キツネ的な思考習慣の基本トレーニングを1時間することで、予測の正確さを上げられることを、テトロックとメラーズの調査グループは示した。
そうした思考習慣の1つはアナロジー思考によく似ている。簡単に言うと、予測者は、問われている出来事の中身にだけフォーカスするのではなく、根底にある構造が似ている出来事のリストを作り、それによって予測の精度を高める。
100パーセント新しい出来事はめったにない。テトロックに言わせると、1つの出来事の独自性は程度の問題だ。だから、リストを作ることで、予測者は知らず知らずのうちに統計学者のように考えられるようになる。
共通性のある無関係な出来事について考えると？
腕の立つ予測者は目の前にある問題から離れ、構造的に共通性があるまったく無関係な出来事について考える。経験から得られる直感に頼ったり、専門とする1分野に頼ったりはしない。
予測者のもう1つのトレーニングに、予測の欠点を猛烈に分析して、厳しい教訓を得ようとするやり方がある。特に、予測の結果が思わしくなかったときに実施すると効果的だ。
あらゆる機会を生かして厳しいフィードバックを得ることで、自動的なフィードバックがない「意地悪な学習環境」を、少しでも親切にすることができる。テトロックの20年間の研究では、キツネもハリネズミも、予測に成功すると自分の信念をアップデートして、さらに強化する。
しかし、予測が外れた場合、キツネは自分の考えを修正する可能性が高いが、ハリネズミはまず見方を変えない。ハリネズミの中には、自信満々の予測がひどく外れると、自分の信念を間違った方向に強化する人もいる。その人たちは、自分のそもそもの信念にさらに自信を持ち、やがて道に迷う。
テトロックによると、「自分の信念をうまくアップデートできる人は、よい判断ができる」。その人たちは、賭けをして負けたら、勝ったときに信念を強化するのと同じように、負けたロジックを受け入れ修正する。そうしたオープンマインドが、「意地悪な学習環境」の中でも正しい判断に導いてくれる。
