OpenAIの発表イベント「12 Days of OpenAI」の6日目である2024年12月13日に、ChatGPTの「Advanced Voice Mode」にリアルタイムビデオ機能が追加されたことをOpenAIが発表しました。この機能では、AIとリアルタイムに会話しながら「周囲の映像から状況を判断」などのタスクを実行可能です。









ChatGPT now understands real-time video, seven months after OpenAI first demoed it | TechCrunch

https://techcrunch.com/2024/12/12/chatgpt-now-understands-real-time-video-seven-months-after-openai-first-demoed-it/

You can make ChatGPT sound like Santa Claus for the holidays | TechCrunch

https://techcrunch.com/2024/12/12/you-can-make-chatgpt-sound-like-santa-claus-for-the-holidays/

以下はChatGPTでのリアルタイムビデオ機能のデモ映像です。

Santa Mode & Video in Advanced Voice-12 Days of OpenAI: Day 6 - YouTube

リアルタイムビデオ機能を開始するには、チャットバーの横にある音声アイコンをタップしてAdvanced Voice Modeを起動。



ChatGPTに対して「目の前に何があるか分かる？」と質問すると、ChatGPTは「ケトルやドリッパーなどのコーヒーを入れるためのセットが見えます。コーヒーを入れようとしているのですか？」と即座に返答。



続いて「コーヒーを入れる手順を教えて」と尋ねたところ、ChatGPTは「もちろん！まずはフィルターをドリッパーにセットします。続いて熱湯を注いでドリッパーとマグカップを暖めてください」と回答しました。



その後もChatGPTは「熱湯はそっと注ぐ」など、的確なアドバイスをユーザーに提供してくれました。



また、リアルタイムビデオ機能ではChatGPTと画面共有してアドバイスを受けることも可能。まずはAdvanced Voice Modeを起動し、三点リーダー「…」ボタンをタップ。その後、「Share Screen」をタップします。



「Screem Broadcast」画面が表示されるので「Start Broadcast」をタップ。



以下の画面が表示されれば、ChatGPTとの画面共有は完了です。



画面共有を実行した状態で、メッセージアプリを開きます。「この写真について相手に何と伝えたらいい？」とユーザーが尋ねると、ChatGPTは「こう伝えてはどうでしょう。『君のサンタの格好はクリスマスにピッタリだね！ホーホーホー！というサンタの掛け声の練習を続ければ、すぐにショッピングモールでのサンタの仕事が舞い込んでくるよ！』」と伝えました。



OpenAIによると、記事作成時点でリアルタイムビデオ機能はChatGPTの有料サブスクリプションプラン「ChatGPT Plus」「ChatGPT Team」「ChatGPT Pro」ユーザーにのみ提供されており、「ChatGPT Enterprise」「ChatGPT Edu」の加入者が利用できるようになるのは2025年1月以降とのことです。

また、OpenAIはAdvanced Voice Modeの音声プリセットに「サンタモード」を追加したことを発表しました。

OpenAIによるデモでは「クリスマスでお気に入りの伝統行事は？」とユーザーが尋ねると、「サンタモード」のChatGPTは「すてきな質問だね！最もお気に入りの行事は、子どもたちが暖炉のそばに靴下を吊るすことだよ！」とまるでサンタクロースのように回答しています。



「この人についてどう思う？」と尋ねられたChatGPTは「とても素晴らしい口ひげだね！」と語りました。



OpenAIによると、サンタモードは2024年12月13日以降、Advanced Voice Modeが利用できるすべてのユーザーに展開されるとのこと。また、サンタとのチャットはチャット履歴に保存されないそうです。