Google翻訳アプリの新機能「リアルタイム カメラ翻訳」を使いまくってみた
1
Google 翻訳のiOS/Androidアプリのソフトウェアアップデートが公開され、スマートフォンのカメラで映したテキストを瞬時に翻訳し、元の映像の上にリアルタイムでのせる「リアルタイム カメラ翻訳」が日本語に対応しました。まるでSF映画のような機能ですが、GIGAZINE編集部に転がっていたいろいろな英語のパッケージなどを使って、どれくらいの精度で翻訳できるのか確かめてみました。
Google 翻訳を App Store で
https://itunes.apple.com/jp/app/google-fan-yi/id414706506
Google 翻訳 - Google Play の Android アプリ
https://play.google.com/store/apps/details?id=com.google.android.apps.translate&hl=ja
実際にカメラをかざしてリアルタイムで英語のテキストが日本語に変換されている様子は以下のムービーから見ることができます。
Google翻訳のカメラを使ったリアルタイム翻訳はこんな感じ - YouTube
まずは最新版のGoogle翻訳アプリを起動し、テキスト入力欄の左下にあるカメラアイコンをタップ。
初回のみカメラへのアクセスが求められ……
さらにリアルタイム翻訳用の翻訳ファイルのダウンロードを行う必要があります。
カメラが起動すると画面上部には「日本語←→英語」と書かれており、日本語を英語に変換するモードになっています。ここをタップすると……
表示が「英語←→日本語」に切り替わり、英語を日本語に変換するモードになりました。ドローンのパッケージを撮影していたのですが、「Parrot BEBOP DRONE 2」という英語の商品名が「オウム 唸る 2 ビバップ」という日本語に変換されています。「SKYCONTROLLER」という文字は変換されていませんが、カメラをかざしたままゆらゆらしていると、たまに「スカイコントローラー」になることもあり、テキストの読み取り精度が不安定な模様。
VRヘッドセット「Oculus Rift」のパッケージにカメラをかざしたところ……
「オクルス 切れ間」というとんでもない商品名になってしまいました。テキストが変換されては元に戻ったり、テキストの大きさがバラバラだったりする様子は、アニメなどで見たことがあるようなシーンを味わえます。
「FLIR ONE」のパッケージに書かれていた英語の説明書きを翻訳するとこんな感じ。そのまま理解できる部分もありますが、長文の翻訳はまだ得意ではないことがわかります。
スマートフォンを粉々に粉砕することで有名な「Blendtec」のパッケージの側面には、英語でさまざまなレシピが書かれています。これを翻訳すると、テキストの変換カ所が多いものの、おおむね問題なく翻訳できているのが分かります。それにしても、元となった英文文字のスタイルが、載せ替えられた日本語のフォントやレイアウトにも自動的に反映されているところにも驚き。
「(herb) butter making kit」を翻訳すると、「(ハーブ)バターを作るキット」となり、問題なく翻訳に成功。
クレイジーソルトは「JANE'S」というテキストが、何をどう読み取ったのか「私はデンマーク人」になりました。
英語がびっしり書かれたナプキンなどを翻訳すると、英字新聞風の雰囲気が台無しになります。
「日本語を英語に翻訳するとどうなのか？」ということで、「りんごのバームクーヘン」を英語に翻訳すると、「AppleのBaum」となりました。
英語と日本語が混在するウェットティッシュを翻訳してみたところ、海外でありそうな日本製品のニセモノらしくなってしまいました。
一度に3つの調味料もやってみましたが、フォントによってはまったく翻訳してくれないことも。
GIGAZINE編集部には「『さいごのかぎ』がひつようです」という注意書きが掛かった扉があるのですが、英語に翻訳すると「『of the key』 Is Hina off seems」というわけのわからない内容になってしまいました。残念ながら、日本語を読めない人がこのアプリを使って謎を解こうと思っても、「さいごのかぎ」を使う必要があることを理解するのは難しいと思われます。
扉に書かれた「避難器具設置場所」は意味が通る程度には翻訳に成功。全体的に翻訳精度はウェブ翻訳より低いのですが、海外で困った時でもカメラを地図にかざせば、非常口の場所などは探せるかもしれません。
なお、トップページから翻訳する言語を変更してからカメラアイコンをタップすると、英語以外の言語でもカメラを使った翻訳が可能ですが、英語以外の言語は撮影した画像内にあるテキストを指でなぞって日本語に翻訳するため、リアルタイム翻訳には未対応のようです。
Google 翻訳のiOS/Androidアプリのソフトウェアアップデートが公開され、スマートフォンのカメラで映したテキストを瞬時に翻訳し、元の映像の上にリアルタイムでのせる「リアルタイム カメラ翻訳」が日本語に対応しました。まるでSF映画のような機能ですが、GIGAZINE編集部に転がっていたいろいろな英語のパッケージなどを使って、どれくらいの精度で翻訳できるのか確かめてみました。
https://itunes.apple.com/jp/app/google-fan-yi/id414706506
Google 翻訳 - Google Play の Android アプリ
https://play.google.com/store/apps/details?id=com.google.android.apps.translate&hl=ja
実際にカメラをかざしてリアルタイムで英語のテキストが日本語に変換されている様子は以下のムービーから見ることができます。
Google翻訳のカメラを使ったリアルタイム翻訳はこんな感じ - YouTube
まずは最新版のGoogle翻訳アプリを起動し、テキスト入力欄の左下にあるカメラアイコンをタップ。
初回のみカメラへのアクセスが求められ……
さらにリアルタイム翻訳用の翻訳ファイルのダウンロードを行う必要があります。
カメラが起動すると画面上部には「日本語←→英語」と書かれており、日本語を英語に変換するモードになっています。ここをタップすると……
表示が「英語←→日本語」に切り替わり、英語を日本語に変換するモードになりました。ドローンのパッケージを撮影していたのですが、「Parrot BEBOP DRONE 2」という英語の商品名が「オウム 唸る 2 ビバップ」という日本語に変換されています。「SKYCONTROLLER」という文字は変換されていませんが、カメラをかざしたままゆらゆらしていると、たまに「スカイコントローラー」になることもあり、テキストの読み取り精度が不安定な模様。
VRヘッドセット「Oculus Rift」のパッケージにカメラをかざしたところ……
「オクルス 切れ間」というとんでもない商品名になってしまいました。テキストが変換されては元に戻ったり、テキストの大きさがバラバラだったりする様子は、アニメなどで見たことがあるようなシーンを味わえます。
「FLIR ONE」のパッケージに書かれていた英語の説明書きを翻訳するとこんな感じ。そのまま理解できる部分もありますが、長文の翻訳はまだ得意ではないことがわかります。
スマートフォンを粉々に粉砕することで有名な「Blendtec」のパッケージの側面には、英語でさまざまなレシピが書かれています。これを翻訳すると、テキストの変換カ所が多いものの、おおむね問題なく翻訳できているのが分かります。それにしても、元となった英文文字のスタイルが、載せ替えられた日本語のフォントやレイアウトにも自動的に反映されているところにも驚き。
「(herb) butter making kit」を翻訳すると、「(ハーブ)バターを作るキット」となり、問題なく翻訳に成功。
クレイジーソルトは「JANE'S」というテキストが、何をどう読み取ったのか「私はデンマーク人」になりました。
英語がびっしり書かれたナプキンなどを翻訳すると、英字新聞風の雰囲気が台無しになります。
「日本語を英語に翻訳するとどうなのか？」ということで、「りんごのバームクーヘン」を英語に翻訳すると、「AppleのBaum」となりました。
英語と日本語が混在するウェットティッシュを翻訳してみたところ、海外でありそうな日本製品のニセモノらしくなってしまいました。
一度に3つの調味料もやってみましたが、フォントによってはまったく翻訳してくれないことも。
GIGAZINE編集部には「『さいごのかぎ』がひつようです」という注意書きが掛かった扉があるのですが、英語に翻訳すると「『of the key』 Is Hina off seems」というわけのわからない内容になってしまいました。残念ながら、日本語を読めない人がこのアプリを使って謎を解こうと思っても、「さいごのかぎ」を使う必要があることを理解するのは難しいと思われます。
扉に書かれた「避難器具設置場所」は意味が通る程度には翻訳に成功。全体的に翻訳精度はウェブ翻訳より低いのですが、海外で困った時でもカメラを地図にかざせば、非常口の場所などは探せるかもしれません。
なお、トップページから翻訳する言語を変更してからカメラアイコンをタップすると、英語以外の言語でもカメラを使った翻訳が可能ですが、英語以外の言語は撮影した画像内にあるテキストを指でなぞって日本語に翻訳するため、リアルタイム翻訳には未対応のようです。
