Память Claude устроена иерархически и состоит из нескольких уровней. В ее основе лежат стенограммы предыдущих взаимодействий — подробная история действий и событий, к которой модель может обращаться при необходимости. Опираясь на них, Claude формирует заметки с важными наблюдениями, а затем объединяет их в более сложные структуры знаний, например, вики со связанными страницами. Самые важные сведения попадают в отдельный слой контекста, который загружается в каждую новую сессию и сразу становится доступен модели.
Механизм назвали «сновидениями» из-за аналогии с тем, как человеческий мозг во время сна обрабатывает и упорядочивает накопленные за день воспоминания. Похожим образом Claude в перерывах между сессиями пересматривает накопленную информацию — сверяет заметки с исходными стенограммами, находит противоречия и исправляет ошибки, создает новые заметки и обновляет вики.
Таким образом, модель не просто сохраняет историю взаимодействий, а постепенно систематизирует знания и отбирает сведения, которые могут пригодиться в дальнейшей работе.
Чтобы проверить, насколько эффективно модели Claude сохраняют и используют информацию в ходе длительных задач, Anthropic предложила им пройти Pokémon Red. После 10 тыс. игровых шагов Sonnet 3.7 создала 413 файлов памяти общим объемом 978 тыс. символов, но получила всего один значок-награду. Claude Fable 5 с новым механизмом памяти обошлась всего 10 файлами общим объемом 43,4 тыс. символов. Вместо подробной записи игровых событий она сохраняла преимущественно стратегии, планы и правила, которые могли пригодиться в дальнейшем. За то же время модель получила четыре значка.
Другой эксперимент в Pokémon Red показал, как «сновидения» помогают исправлять ошибки. Во время игры Claude неверно записала, с какой стороны горы Мун находится Центр покемонов. Из-за этой ошибки модель неправильно определяла свое положение и несколько раз попадала на прежний маршрут, не в силах пройти дальше. Во время автономной обработки она сравнила заметки с исходной стенограммой, обнаружила неточность и исправила ее. После этого Claude смогла повторно пройти через гору.
Исследователи также проверили, может ли Claude превращать большие массивы документов в структурированные базы знаний. Для эксперимента использовали 350 тыс. внутренних документов компании Stainless общим объемом 420 млн токенов. За 128 последовательных сессий модель создавала и обновляла вики со связанными страницами. Результат на наборе из 25 вопросов по этим материалам вырос с 13% до 48% оцененных критериев. В другом тесте, посвященном сделке по слиянию компаний, Claude ответила на вопросы, требовавшие объединять сведения из нескольких документов, с результатом 87% против 73% при обычном поиске по файлам.
Механизм также позволяет перераспределять информацию между уровнями памяти. Часто используемые сведения можно загружать в контекст будущих сессий заранее, а менее важные оставлять в заметках и связанных документах, доступных для поиска. Это помогает не перегружать модель лишними данными и экономить контекст. Впрочем, создание и поддержание таких структур требует дополнительных вычислительных ресурсов. Разработчики отмечают, что управление памятью особенно важно для ИИ-агентов, которым нужно выполнять сложные задачи на протяжении многих сессий.
