ChatGPTはアンケート調査の代替となり得るか?「ChatGPTとアンケートの回答比較調査」を実施 回答に大きな違いが現れた設問は
●比較調査を行った経緯
対話型AIの進化により、ChatGPTやBardなどが登場し、様々な業界で大きな変革が起こっていて、近い将来、これらのAIが既存のビジネスモデルを根本から変える可能性が指摘されている。
一部の企業では、すでにビジネスにこれらのAIを応用し、新たなサービスを生み出す動きもある。そのため、どのように対話型AIを活用するかが、多くのビジネスパーソンが直面する重要な課題となっている。
対話型AIの利用を始める際、多くの人が「検索」のような基本的な使い方から試みるが、対話型AIの回答がどの程度適切なのかについては疑問が残る。
例えば、アンケート調査の結果と対話型AIが回答した結果を比較した場合、どの程度の差異が生じ、対話型AIがアンケート調査の代替となり得るかを検証するため、アンケート調査とChatGPTの回答を比較することにしたとアスマークは説明をしている。
●AIの回答について
今回使用したAIはChatGPT（GPT4）。特別なプロンプトは使用せず、レポートに記載された指示と選択肢だけを提示し、回答を出力させた。また、Q2（自由記述回答）については、ChatGPTが生成した文章（568文字）をテキストマイニングにかけている。
●回答比較ピックアップ
●ECサイトで最も購入したことがあるもの（最もよく購入されるもの）
・アンケート設問：：
あなたが、ECサイトで最も多く購入したことがあるものを、1つだけお知らせください。（単一回答）・ChatGPT設問：：
以下の中から一般的にECサイトで最も多く購入されているものを、お知らせください。ECサイトで購入したことがあるもののランキングで、アンケートとChatGPTで最も順位に差があったのは「キッズ・ベビー・玩具」で、アンケートでは15位、ChatGPTでは3位とかけ離れている。次いで「コスメ・健康・医薬品」「スポーツ・アウトドア」と続いている。
●ECサイトで買い物をする理由
・アンケート設問：：
あなたが、ECサイトで買い物をする理由をお答えください。（自由記述）・ChatGPT設問：：
ECサイトで買い物をする理由をお答えください（できるだけ具体的に。）ECサイトで買い物をする理由はアンケートとChatGPT共に、「ポイント還元」「実店舗(販売店)」「商品」などのワードが多く挙げられており、「お得であること」「利便性」「使い勝手の良さ」などを重視されていることがわかる。一方で、アンケートでは「コロナ」などの時事ネタに関するワードがあげられているが、ChatGPTの回答では挙げられていない。
●「配送」に関する満足度
・アンケート設問：：
あなたが最も多く利用するECサイトの「配送」に関する満足度を、項目別にお知らせください。（MTSA）・ChatGPT設問：：
一般的に最も多く利用するECサイトの「配送」に関する満足度を、以下の項目別に順位付けしてお知らせください。「配送」に関する項目別満足度ランキングでは、アンケートは、1位が「配送の正確さ」、2位が「配送スピード」、3位が「商品の到着状態の良さ」となっている。ChatGPTの回答では、1位が「商品の到着状態の良さ」2位が「配送料金の妥当性」3位が「追跡サービスの有無」となっているが、2位の「配送料金の妥当性」は、アンケートでは9位となっており、大きな順位の違いが見られた。
●「送料」に関する満足度
・アンケート設問：：
あなたが最も多く利用するECサイトの「送料」に関する満足度を、項目別にお知らせください。（MTSA）・ChatGPT設問：：
一般的に最も多く利用するECサイトの「送料」に関する満足度を、以下の項目別に順位付けしてお知らせください。
●調査内容・調査概要
調査名ChatGPTとアンケートの回答比較調査調査対象者1ヵ月に1回以上ECサイトで買い物をする20〜50代男女有効回答数800サンプル割付性年代均等回収調査期間2022年4月11日〜4月13日調査方法Webアンケート調査機関株式会社アスマーク調査内容・ECサイトで購入したことがあるもの（よく購入されるもの）・ECサイトで最も購入したことがあるもの（最もよく購入されるもの）・ECサイトで買い物をする理由・「配送」に関する満足度・「サポート対応」に関する満足度・「送料」に関する満足度・「商品」に関する満足度・「使用感」に関する満足度・「信頼性」に関する満足度全ての調査結果https://www.asmarq.co.jp/data/chatgpt-enquete/
