th21amazonfireflyhistory_0

Fireflyには便利な機能がたくさん詰まっている。それらを写真で見てみよう。

「Firefly」はアマゾンのFire Phoneの中核を担う機能だ。Fire Phone上で、Fireflyはアプリのように動作するが、実際にはOSに深く連携して動作するアップルのSiriの音声認識機能やGoogle Nowの予測データシステムに近いかもしれない。

これら３つのシステムは全て、３社それぞれの同じ問題へのアプローチの方法を反映している。そしてFireflyはどうやら、アマゾンが2009年に買収した画像を用いた商品検索を手掛けるベンチャー、SnapTellの技術を部分的に利用して構築されているようだ。この機能は、アマゾンによるデジタルの世界と現実の世界を繋ぐ試みだといえる。

私は実際にアマゾンのFire PhoneでFireflyをじっくり試すことができた。ここでその目立った機能や特徴を紹介しよう。

1. テレビや映画のシーン認識

アマゾンは自社の「X-Ray」テクノロジーとグループ企業IMDBのデータベース、自社のビデオ・コレクションの組み合わせによって、Fireflyはユーザーが現在視聴している動画の音声を認識し、そのタイトルやエピソード、そして特定のシーンに登場する俳優まで特定することができる（これはフェイスブックのモバイルアプリに登場した新機能に似ている）。我々がこの機能を実際にFire phoneで試したところ、認識対象はアマゾンが取り扱っているテレビ番組や映画に限られているものの、動作は速く認識も非常に正確だった。

2. 本、DVD、アート…その他なんでも

当然、Fireflyはアマゾンで販売されているほとんど全ての商品を認識して対象とすることができる。これは何か必要なものを買うとき、あるいは後で購入するためのブックマークとしても使えるが、理論上は必要なときに特定の商品についてもっと詳しく知りたいときにも利用できる。

3. MyFitnessPalの栄養情報

もちろん、Fireflyを使ってレーズン・シリアルの箱をスキャンして発注し、この商品を翌日受け取ることができる。しかしアマゾンは、ユーザーが欲しがるであろう他の種類のデータもこの機能から提供しようとしている。健康管理アプリ「MyFitnessPal」との連携によって、ユーザーはFireflyを使って、自分が食べている食品のカロリー値やその他の栄養情報を確認することができる。

4. 電話番号とURL、メール・アドレス

Fireflyをあらゆるテキストに向ければ、非常に迅速で強化されたOCR機能として利用できる。電話番号や電子メールアドレス、URLなど我々がよくデジタル化する必要のある各種の手書きデータを抽出し、それをすぐにクリックしたり送信したりしてデジタルの世界で利用することができる（下の画像にある黄色く光る部分が読み取り中の画面になる）。

5. 音楽と歌詞

動画認識機能と同様に、Fireflyは音楽を認識してその歌詞をアマゾンのデータベースからリアルタイムに表示してくれる。曲の再生中、Fire phoneの右側のパネルを（デバイスを右方向に傾けて）表示させると、まるでミニ・カラオケマシンのような画面が表示される。歌詞を選択して曲を前後にスキップすることも可能だ。

6. Fireflyの履歴

Fireflyにはユーザーがこれまで調べたすべての商品の履歴が保存されている。明らかに、ユーザーが過去に調べた商品を後で半ば強引に思い出させるようなことは、アマゾンにとって朝飯前だ。しかし、すべての種類のメディアやデータの履歴を後から追跡できることはショッピング以外でも便利に使えるかもしれない。

7. Firefly SDK

FireflyはFire phoneにおける華やかな新機能だ。しかしアマゾンはサードパーティーが同じくこれを使ってクールなものを開発することを望んでいる。例えば、サードパーティーのワイン愛好家アプリ「Vivino」は、すでにFireflyの画像認識エンジンと自社のデータベースを連携させている。興味のあるデベロッパーはその詳細をここで見ることが可能だ。

アマゾンによると、Fireflyは実世界で遭遇する人、物、場所を対象に「即座に認識しアクションを起こせる」機能だという。確かに、何か物を見つけてそれを購入するには最短のルートだろう。しかしFireflyはその対象に関連する豊富なデータも提供することができる。そしてアマゾンは偶然、それらもまた全て取り扱っているかもしれないのだ。

画像提供：Taylor Hatmaker

Taylor Hatmaker
[原文]