<?php the_title_rss(); ?>

写真拡大 (全8枚)

2018年12月20日、Loup Venturesが発表したAI音声アシスタントの評価テスト結果のレポートを紹介する。
原文ではIQテストとなっているが、実際には質問への回答テスト。Apple Siri、Google Assistant、Amazon Alexa、Microsoft Cortanaに対して、約800の質問を行い、その結果を2017年2月から2018年12月まで継続調査されたものとなっている。テストに使われたデバイスはAmazon Echo (第2世代)、Google Home Mini、Apple HomePod、Harman Kardon Invokeだ。

今回は「質問を理解できたか？」「正しく返答できたか？」の2つの指標で評価。また質問は以下5つのカテゴリで行われた。

質問のカテゴリ：
・ローカル - 最も近いコーヒーショップはどこ？
・コマース - ペーパータオルを注文して
・ナビゲーション - バスでアップタウンへ行く方法は？
・インフォメーション - 今夜は誰がツインズをプレイする？
・コマンド - 今日の午後2時にスティーブに電話するのをリマインドして



●正解率

Image: Loup Ventures
正しく返答できた率はGoogle Assistantがトップ。次いでApple Siri、Amazon Alexa、Microsoft Cortanaと続いた。
質問の理解力についてはGoogle Assistantが100%とトップだが、他社も99.0～99.6%と高いレベルにある。


Data:Loup Ventures　/ Image: robot start inc.
発表されたデータをグラフにしたもの。正解率ではGoogleが依然として突出している。

●カテゴリ別の正解率

Image: Loup Ventures
Google Assistantは、コマンドを除くすべてのカテゴリで優秀だった。コマンドのみApple Siriがトップ。コマースでAmazon Alexaがトップではない。

●カテゴリ別の正解率の改善傾向
以下のグラフはアシスタントごとの改善傾向を示したもの。

Image: Loup Ventures
Googleは調査開始以来、順調に各カテゴリで精度をあげてきているのがわかる。


Image: Loup Ventures
Appleはこの1年でナビゲーション、インフォメーション、コマンドが大きく伸びた。


Image: Loup Ventures
Amazonはここ1年でインフォメーションが大きく伸びている。


Image: Loup Ventures
Microsoftは全体としては伸びているものの、相対的には伸びが少ない状況だ。
なお、本調査はあくまで英語版の調査であり、日本語版では別の結果になる可能性もあるだろう。

Source：Loup Ventures

（中橋 義博）