カメラに映し出した文字や、撮った写真の中に写されている文字を認識する「テキスト認識表示」機能、使いこなしていますか？（筆者撮影）

新モデルが登場するたびにAIの処理能力を大きく向上させているiPhoneだが、iOS 15にはそんなパワーを生かす機能が多数搭載されている。カメラに映し出した文字や、撮った写真の中に写されている文字を認識する「テキスト認識表示」機能は、その1つだ。AIの処理を司るニューラルエンジンの性能に左右されるため、利用にはiPhone XS以降の端末が必要になるが、iPhone XSが登場したのは3年以上前のこと。対象になるユーザーは多そうだ。


この連載の一覧はこちら

ただし、残念ながら、テキスト認識表示機能で認識できる言語に日本語は含まれていない。現時点では、英語、中国語、フランス語、イタリア語、ドイツ語、ポルトガル語、スペイン語のみの対応でアルファベットが中心。漢字圏の中国語も認識可能なことから、今後のアップデートで日本語にも対応しそうだが、いつごろになるのかのメドはまだ案内されていない。

とは言え、数字は万国共通でどの言語に設定していても認識することは可能。英語などの外国語を認識して、翻訳機能で日本語にするといった使い方もできる。ここでは、そんな新機能のテキスト認識表示機能の使いどころを解説するとともに、どうしても日本語を読み取りたい場合の手段も紹介していきたい。

日本語未対応だが「数字」を活用できる

日本語には非対応のテキスト認識表示機能だが、アラビア数字の表記は世界共通。いずれの言語でも、数字を読み取ることは可能だ。数字を読み取れるだけでも、iPhoneの活躍の幅が広がるため、ぜひこの機能をオンにしてみてほしい。標準では機能が有効になっていないため、まずは「設定」アプリを開き、「一般」を選択する。

次に、「言語と地域」を選択して、画面に表示されている「テキスト認識表示」のスイッチをオンにする。これで準備は完了だ。この状態でカメラを起動し、文字や数字が認識されると、画面右下にテキストを認識したことを示す、文書のような形のアイコンが表示される。このアイコンをタップすると、認識しようとしている範囲がカメラの画像から切り取られて、iPhoneで入力したテキストなどと同じように範囲を選択できるようになる。

現時点で活用できそうなのは、電話番号の読み取りだ。利用シーンとして考えられるのは、パソコンで検索したお店に電話で問い合わせるような場面だ。電話番号はそれほど長い文字列ではないため、iPhoneで直接入力してもいいが、入力をミスして間違い電話をかけてしまうおそれもある。カメラで読み取らせて直接タップしたほうが、速くて正確になるというわけだ。


電話番号を認識させ、そのままiPhoneで発信することが可能だ（筆者撮影）

文字列の中に電話番号らしいものがあると、iPhone側がそれを認識する。電話番号には下線が引かれるため、ここをタップしてみよう。表示されたメニューの一番上に、電話の発信があるはずだ。あとはここをタップするだけで電話をかけることができる。細かな文字を読み取るよりも、スムーズに電話をかけられるだろう。テキスト認識表示機能は、フォントとして表示される文字や数字だけでなく、手書きにも対応している。メモや名刺などに書かれた電話番号に電話をかける際にも役に立つはずだ。

同様に、数字であればかなり正確にテキストを認識するため、電話の発信以外でもさまざまな用途に活用できる。例えば、企業の決算情報の数字をコピーして、メールなどに張り付けたいときにもこの機能は役に立つはずだ。ほかにも、メールアドレスを名刺から読み取ってメールを送ったり、紙に書かれたURLからサイトにアクセスしたりといった用途にも使える。日本語未対応だからといって、使わないのはもったいない。

外国語から日本語への翻訳は可能

英語やフランス語、中国語などの言語であれば、数字だけでなく、文字の中身まできっちり認識することができる。先に挙げた数字と同様、パソコンなどの画面上に映し出されたフォントだけでなく、紙や看板などに書かれた手書きの文字まで認識するため、活用の幅は広い。外国語が認識できても使う機会が少ないと思われるかもしれないが、むしろ、自分の知らない言語ほどテキスト認識表示機能の出番は多くなる。翻訳機能に対応しているからだ。


日本語には未対応だが、読み取った外国語を日本語に翻訳することはできる（筆者撮影）

パソコンなどで外国語を読んでいるときには、ブラウザの翻訳機能や翻訳サイトにコピペするだけである程度までは日本語化できるが、紙に書かれた文書の場合は当然ならコピペができない。そんな時に活躍するのがiPhoneだ。Google翻訳などのアプリを使えば同じようなことはできるが、iPhoneのテキスト認識表示機能はカメラアプリからダイレクトに呼び出すことが可能。そのまま2タップで翻訳できるため、使い勝手がいい。

手順は数字を認識する場合とほぼ同じ。英語で書かれた文章にカメラをかざし、画面右下に表示されたアイコンをタップすると、文字として認識された部分が浮かび上がる。ここで、翻訳したい文章の範囲を選択して、メニューから「翻訳」をタップすればいい。この翻訳は、iPhoneに標準搭載された翻訳アプリの機能を使っているため、アプリが切り替わることなく、カメラアプリ上にそのまま翻訳結果が表示される。

翻訳結果は、テキストとしてコピー&ペーストが可能だ。日本語への翻訳は精度がイマイチで、必ずしも自然な文章に訳されるわけではないが、何が書いてあるかの概要はつかむことができる。まったく知らない言語で書かれている文章の大まかな中身を知るには、便利な機能と言えるだろう。

また、テキスト認識表示機能は、カメラアプリで写したものだけでなく、ブラウザ上に表示されている画像や、撮った写真にも適用される。例えば、サイト上に掲載されていた外国語のメニューを読みたいときにも、その文字を認識させ、翻訳にかけることができる。テキストだけでなく、画像の中身まで翻訳できれば、理解がさらに深まる。その意味で、テキスト認識表示は外国語を表示するときにこそ役に立つ機能と言えそうだ。

日本語の認識が必要なときはGoogle Lensを活用

将来的には日本語に対応すると思われるiPhoneのテキスト認識表示機能だが、それまで待てないというときにはほかの方法を模索したほうがいいだろう。どうしても日本語で書かれた文章をテキスト化したいときには、アプリを活用するのが手っ取り早い。精度の高さでお勧めなのが、Google Lensだ。といっても、Google LensというアプリはApp Storeにあるわけではなく、iPhoneの場合は、Googleアプリから呼び出す形になる。


日本語の文字認識に便利なアプリが、Google Lens。Googleアプリ内から利用できる（筆者撮影）

インストール後にGoogleアプリを起動したら、検索ウィンドウの横にあるカメラのマークをタップしてみよう。するとGoogle Lensが立ち上がり、カメラで文字などを読み取れるようになる。ただし、そのままだと「検索」になっているため、画面下をスワイプして「テキスト」を選択する。これで、文字を読み取れる状態になる。

あとは、日本語で書かれた文章に向かってカメラをかざし、シャッターボタンをタップすればいい。文字を認識したら、画像を直接タップして範囲を選択することができる。範囲選択後に「コピー」を選ぶと、文字列がiPhoneのクリップボードに格納されるので、ペーストしたいアプリを開いて文字を張り付ければいい。紙に書かれた文字を読み込んで自分の書いている文章に引用したいときなどに、使える機能と言えるだろう。

また、複雑な漢字の読みを調べたり、外国語に翻訳したりといったこともできる。文字認識や機械翻訳にはアップルよりもGoogleのほうが長く取り組んできたため、精度の高さにも定評がある。ただし、Google Lensは文字認識などの処理をサーバー側で行っているため、iPhoneがネットワークに接続しているときしか、この機能を利用できない点には注意が必要だ。iPhoneが何らかの事情で圏外になっていたり、通信状況が悪いと使えなかったり、レスポンスに時間がかかったりする。

対するiPhoneのテキスト認識表示機能は、処理をすべてデバイス上で行っているため、通信状況に関係なく利用できる。アップルがiPhoneに搭載するチップのAI処理の性能を高めているのも、こうした機能を実現するためだ。カメラアプリや写真アプリなどに直接機能が組み込まれているのも、OSを開発しているからこその使い勝手と言えるだろう。日本語には未対応だが、用途に応じて使い分けるようにしたい。