OpenAIがChatGPTによる検索エンジンとして「ChatGPT search」をリリースしたことを受け、検索エンジン最適化(SEO)の専門家であるエリック・エンゲ氏が62件のクエリを使用してChatGPT searchとGoogle検索の違いを分析し、結果を公開しました。

ChatGPT search vs. Google: A deep dive analysis of 62 queries

https://searchengineland.com/chatgpt-search-vs-google-analysis-449676



ChatGPT searchはAIがウェブ上の情報を検索して内容をまとめてくれるというもの。実際の使い方については下記の記事で確認できます。

ついにAI検索機能「ChatGPT search」が一般公開される、マップ機能も追加 - GIGAZINE



市場調査を行う企業「SparkToro」の調査によると、人々がGoogle検索を使用する時の「意図」は以下の通り。



・ナビゲーション検索(32.15％)

ナビゲーション検索は、例えばGIGAZINEにアクセスする際に「GIGAZINE」でGoogle検索して検索結果からアクセスする場合のように、訪問したいサイトが決まっているユーザーがウェブサイトのアドレスを入力する代わりにGoogle検索を使用する場合の分類です。

・情報提供(52.65％)

興味のあるトピックに関する情報を探す場合の分類です。

・商業目的(14.51％)

何かの製品の情報を検索したり、複数の製品を比較したりするためにGoogle検索を行うと「商業目的」として分類されます。

・執行(0.69％)

SparkToroは「マーケティングを行う上で価値のある検索」として、ユーザーがすでに何かの購入やサービスへの登録を決意した状態であることを示唆する検索を「執行」と別の分類に切り分けています。

エンゲ氏はSparkToroの調査結果を踏まえた上で、「情報提供」および「商業目的」に分類されるようなクエリに加え「ローカル検索」「コンテンツギャップ分析」「曖昧クエリ」という分類のクエリを合計62個用意。ローカル検索は「最寄りのピザ屋さんはどこ？」のようにユーザーの現在地が関係するクエリで、コンテンツギャップ分析は類似サイトの内容を比較するクエリ、曖昧クエリは「ジョーカーとは何ですか？」のように複数の意味が考えられるクエリです。



エンゲ氏はChatGPT searchとGoogle検索のそれぞれが返した結果に対し、下記の6つの基準で採点を行いました。

1：正確な情報を返したか？

2：重要な情報が欠落せずに含まれていたか？

3：回答に弱い部分は無かったか？

4：ユーザーのクエリの目的は解決されたか？

5：適切なフォローアップ情報を提供したか？

6：回答の全体的な品質はどうだったか？

分類ごとの結果は以下の通り。なお、クエリの中には複数の分類に重複して数えられているものがあるためクエリ数の合計が62個を超えています。

・情報提供

クエリ数42勝者GoogleChatGPT searchの平均スコア5.19Googleの平均スコア5.83

情報提供分野ではGoogleがわずかに優れているという結果になり、これまでGoogleが築き上げてきた情報検索における実績を改めて確かめることになりました。ただし、ChatGPT searchも多少の問題はありつつも良好なパフォーマンスを示したとのこと。

・商業目的

クエリ数16勝者GoogleChatGPT searchの平均スコア3.81Googleの平均スコア6.44

エンゲ氏は「Googleの方が製品やサービス関連の検索結果を表示する機能が優れている」と述べています。

・ローカル検索

クエリ数4勝者GoogleChatGPT searchの平均スコア2.00Googleの平均スコア6.25

Googleが多数のローカルビジネスのデータを確保していることが優位性へとつながっています。

・コンテンツギャップ分析

クエリ数4勝者ChatGPT searchChatGPT searchの平均スコア3.25Googleの平均スコア1

類似サイトとのコンテンツの差を調べたり、検索結果ページの競合と比較したり、記事の内容を提案したりするクエリではChatGPT searchの方が優れているという結果になりました。ただし、全体的なスコアが低く、さらなる改善が必要とのこと。

・曖昧クエリ

クエリ数7勝者ChatGPT searchChatGPT searchの平均スコア6.00Googleの平均スコア5.29

ChatGPT searchは曖昧な言葉に対して複数の定義や解釈をより効果的に提示し、ユーザーに明確な情報を提供することができました。

今回の結果を踏まえ、エンゲ氏は「62個というクエリの数は極めて少ないサンプルであることに注意して欲しい」と述べた上で、「ChatGPT searchは情報提供クエリに関して良い回答をするものの、それでもGoogle検索の方が優れていた。結局、ほとんどの検索ではGoogleの方が優秀だと考えている」と結論付けています。