OpenAIが画像の読み取りに対応したマルチモーダルAI「GPT-4 Turbo with Vision」の一般公開を開始しました。





ドキュメントのモデルのページを確認すると、「gpt-4-turbo-2024-04-09」の導入と同時に「gpt-4-turbo」の参照先が「gpt-4-turbo-2024-04-09」に変わっている事が分かります。



今回一般公開されたGPT-4 Turbo with Visionはこれまでプレビュー版として使用することが可能でした。そうしたプレビュー版のGPT-4 Turbo with Visionを活用して作成されたアプリをOpenAIのデベロッパーXアカウントが紹介しています。

AIスタートアップのCognitionはAIエンジニアの「Devin」を開発しており、GPT-4 Turbo with Visionを使用してさまざまなコーディングタスクをこなせるようになりました。「この問題を修正して」とお願いするだけでドキュメントやコードを確認し、必要な依存関係を処理しつつコードを仕上げるというデモムービーが公開されています。





AIヘルス＆フィットネスアプリを展開するHealthifyはGPT-4 Turbo with Visionを使用し、世界中の食品の写真認識を通じてユーザーに栄養に関する情報を提供する「Snap」というサービスを構築しました。





tldrawは無限に広がるキャンバス上にUIなどを描けるサービスで、GPT-4 Turbo with Visionを使用することで描いたUIを自動でコード化できるようになりました。





なお、OpenAIでプロジェクトマネージャーを務めているオーウェン・キャンベル＝ムーア氏によると新しいバージョンは画像を処理できるようになっただけでなく、数学など従来の機能面でも大幅に改善されているとのことです。