進化したAIモデルはユーザーからの複雑な指示で膨大なデータを探索し、長期にわたるタスクを実行しようとします。こうした長期間の処理はAIに悪影響をもたらすため、一時的に情報の入力をシャットアウトして整理する「睡眠」のような時間が必要だという研究が公表されました。

[2605.26099] Language Models Need Sleep

https://arxiv.org/abs/2605.26099



一般的なAIモデル「大規模言語モデル」は基本的にユーザーとの会話内容を見返しながら処理を行っています。そのため、会話が長くなるほど計算量が増加するという問題があります。

これを克服するため、近年のモデルは直近の記録を掘り返す記憶領域と大きなデータを圧縮して保持する記憶領域の2つを組み合わせてコストを軽減しています。これは人間でいうと作業記憶と長期記憶のようなものです。ところが、カーネギーメロン大学のサンユン・リー氏らが調査したところ、AIの長期記憶に保存されている情報の精度が十分ではないため、推論が繰り返されるにつれて出力性能が低下するという現象が見られたそうです。



リー氏らは、動物が睡眠によって長期記憶へ情報を保持しているという仮説を引用し、睡眠のプロセスに着想を得た「コンテキストウィンドウのメモリを永続的な重みに転送する手法」を提案しました。

リー氏らの手法は、推論中にモデルのコンテキストウィンドウが満杯になるとモデルは「睡眠」に入り、外部入力トークンを受け取らない状態になり、過去情報を何度も再処理してAIの長期記憶である「重みメモリ」に統合するというものです。統合後、コンテキストウィンドウはクリアされ、モデルは更新された重みを用いて動作を再開します。



実際に「睡眠」の処理を実行したところ、複雑な課題であるほど睡眠が効果的に働き、さらに睡眠を何度も行うことで精度が向上したとのことです。

「既存の大規模言語モデルが過去の情報をすぐにメモリから削除する一方で、睡眠処理は一度重みに変換してから削除するため、既存のモデルだともはや注意を向けられない過去の文脈について深く推論することを可能にする」とリー氏らは考察しています。