Image: shutterstock

Lifehacker 2024年6月15日掲載の記事より転載

ChatGPTの画像解析の性能がいまいちだったのはもう過去の話。

GPT-4oへのアップデートにより、画像を読み込ませて回答を生成する活用の幅が大きく広がりました。この記事では、主にスマホで写真をとって活用できる方法を紹介します。

「これ何？ どうやって使うの？」を写真を送るだけで解決する

キーワード検索では、そもそも入力する言葉がわからないと調べられませんよね。現在は画像検索もできるようになりましたが、答えが1つ出たらさらに検索をかけたり、関連サイトをチェックしたりする必要があります。

ChatGPTなら、追加の質問を投げかけることで、分析や問題の解決方法まで得ることができます。

以前筆者は、昔使っていたPCに内蔵されていたSSDからデータを取り出すため、現在使っているPCへの接続を試みたことがあります。

そのSSDは以前使っていたPCが故障したため取り出したままだったのですが、改めて見ると見たことのない端子がついていました。そこで、これを写真に撮ってChatGPTに調べてもらいました。

メッセージアプリに写真とテキストを送るのと同じように、ChatGPTに読み込ませます。

ChatGPTの回答から、この端子の名前と変換できるアダプターがあることがわかりました。

実際にその機器を購入し試してみましたが、残念ながらSSDの中身が壊れていたためデータは確認できませんでした。ですが、物の名前がわからない場合でも写真を撮って送ることで解決策が見つかることがわかったのは大きな収穫です。

ChatGPTなしでは、おそらく1人でここまで対応するのは難しかったかもしれません。

写真からテキスト化も◎。翻訳だってしてくれる！

次に、OCR（光学文字認識）としての活用です。

以前は、文字が書かれているスクリーンショットを読み込ませても、正しくテキストに表せませんでした。ところが、最新バージョンではスキャンの性能が格段にアップしています。

試しに、製品の取扱説明書を読み込ませてみました。

記載されている通りに読み取ってくれます。

また、英語の説明書も読み取り、直接翻訳してもらうことができます。

海外旅行に行った際、空港の表示やレストランのメニューを読み取って使えそうですね。オンでもオフでも幅広く活用できるでしょう。

紙ベースの資料もパシャッと撮れば即要約

さらに、紙ベースの資料を読み取り、要約してもらうことも可能です。

試しに、以前筆者が執筆した記事の下書きを印刷し、写真に撮って要約をお願いしてみました。

ちなみに、本記事で紹介した方法はChatGPT無料版でも同様に行なえます。その場合、GPT-4レベルの回答の生成は、一定の時間で10回までとなるのでご注意を。

スマホを使って、誰でもすぐに写真を撮れるようになって久しいですが、近い将来生成AIに写真を送ってタスクをこなすことも身近になるのではないでしょうか。

メッセージツールを使うように、ChatGPTを活用してみてください。

Photo: 重田信