OpenAIの最上位言語モデル「GPT-4」で構築されたChatGPTが怠惰になったという報告が相次いだことを受け、開発元のOpenAIが調査を開始しました。

OpenAI says it is investigating reports ChatGPT has become ‘lazy’ | The Independent

https://www.independent.co.uk/tech/openai-chatgpt-lazy-performance-slow-b2461071.html



OpenAI looks into complaints about "lazy" ChatGPT with GPT-4

https://the-decoder.com/openai-looks-into-complaints-about-lazy-chatgpt-with-gpt-4/

ここ数日、OpenAIのGPT-4モデルで構築されたChatGPTの最新バージョンのユーザーから、ChatGPTが質問に答えようとしない、あるいは興味がないような反応を示すという苦情が増えているそうです。

例えば、人間がコードについて尋ねた場合、ChatGPTは少し情報を与えるだけで後はユーザー任せにしたり、やや生意気に「タスクは自分たちで完璧にできますよね？」などと伝えてきたりする模様。場合によっては返答を拒否したり、質問を続けると会話が中断されてしまったりすることもあるようです。



GPT-4は2023年3月14日に登場したモデルで、ChatGPTの有料版などで利用することが可能です。登場からしばらく時間がたっていますが、GPT-4は2023年11月11日以来アップデートが行われていないため、この日以降に発生した「怠惰」の報告はOpenAIも想定していない事態だといいます。

不満を受け、OpenAIは調査開始および修正の検討を告知。「GPT-4の遅延に関する皆さんのフィードバックはすべて聞いています」「モデルの動作は予測できない場合があるため、修正を検討しています」とコメントしました。





ChatGPTのようなAIシステムは運営する企業にとってコストがかかることで知られており、質問に詳細な回答をするにはかなりの処理能力と計算時間が必要になります。改善作業にもそれなりの労力がかかり、企画、構築、評価には多くの人が関与する必要があるとのこと。

OpenAIは「モデルのトレーニングが異なれば、同じデータセットを使用したとしても、性格や書き方、評価パフォーマンス、さらには政治的バイアスが明らかに異なるモデルが生成される可能性があります」「修正のプロセスは単なるウェブサイトの更新ではありません」「新モデルをリリースする際には、オフラインの評価指標とオンラインのA/Bテストの両方で徹底的なテストを行います。これらの結果をすべて受け取った後、新モデルが実際のユーザーにとって以前のモデルよりも改善されているかどうか、データに基づいて判断するようにしています」と述べ、修正の難しさについて説明しました。