学生がAIを使うと論理が明確で専門家に近い回答になることがOpenAIの実験で判明
学生に生成AIを使わせるべきなのか、一律で禁止すべきなのかという議論は世界中で絶えず行われています。OpenAIが大学と共同で行った新たな実験では、AIを使う場合でも一定のメリットがあることが明らかになりました。
Training novices to think, or giving them LLMs? Evidence from an RCT
(PDFファイル)https://cdn.openai.com/pdf/novices-and-llm-august-2026.pdf
https://openai.com/index/what-students-gain-from-chatgpt-critical-thinking-training/
イタリアにあるボッコーニ大学の研究者らは、1000人以上の大学1年生に対し、大学のグッズを販売する店にマーケティング施策を提案するという課題を出しました。学生はクラス単位で無作為に4つのグループに分けられ、それぞれ「ChatGPT(GPT-4o)へのアクセス」「因果推論のトレーニング」「左記の両方」「左記のいずれもない」が提供されました。
「因果推論のトレーニング」とは、原因と結果を結び付け、ある解決策がなぜ機能するのか、あるいはなぜ機能しない可能性があるのかを説明できるようにするためのトレーニングです。このトレーニングにAIは使われず、ゲームやフィードバックを通じて因果推論の概念が教えられました。
学生の提出物は人間が5段階で評価しました。これとは別に研究者が自動テキスト分析を行い、アイデアの数と多様性、因果推論の有効性、3人の専門家による模範解答との類似性を測定しました。
その結果、ChatGPTを使用したグループは他のグループに比べて評価がほぼ1段階高くなったことが判明しました。このグループの提出物には他グループより多くのアイデアがあり、論理が明確で、模範解答との類似性も高くなっていました。なお、学生らは課題をChatGPTに丸投げしていたわけではなく、学生自身が何を尋ねるかを決め、回答を評価し、最終的に何を提出物に盛り込むかを自分で決定していました。
一方で因果推論のトレーニングを受けたグループは、自分たちのアイデアがなぜうまくいくのか、そしていつ失敗する可能性があるのかを明確に説明していました。ただ、こうした回答の巧みさは今回の課題の評価基準とは合致しなかったため、5段階評価ではChatGPTグループほど高くなりませんでした。
自動テキスト分析の結果を見ると、因果推論のトレーニングを受けたグループはアイデアの独創性という面で優れた結果を出していることも分かりました。
OpenAIは「今回の実験で使用された従来型の評価基準では明確で論理の整った回答が評価されますが、誰も思いつかなかったアイデアを生み出したかどうかは見落とされます。教育とAIをめぐる議論では、学生が自分自身で考えることを学ぶべきか、それともAIの使い方を学ぶべきかという二者択一の問題として捉えたくなるかもしれません。しかし、この実験では、AIを使う場合と使わない場合で異なるメリットがあることを示しています」と述べました。
上記2つのグループよりも全体的にいい傾向が見られたのが、ChatGPTと因果推論のトレーニングの両方を与えられたグループでした。このグループは5段階評価とアイデアの数でChatGPTグループとほぼ同程度になり、アイデアの独創性では因果推論のトレーニングのみのグループと同程度でした。
OpenAIは「AIを使うだけで専門家と同じ成果物を作れるのであれば、従来型の評価では学生が実際に何を理解しているのかが分かりにくくなります。今回の結果は、型にはまった回答や論理的な回答だけでなく、独創性、推論、異なるアプローチを評価することの重要性を示しています」と指摘しました。
