MIT представил DAAAM — систему пространственно-временной памяти для роботов

Исследователи Массачусетского технологического института разработали DAAAM — фреймворк, который связывает 3D-карты с подробными текстовыми описаниями увиденных объектов. Такая память позволяет роботу отвечать на вопросы на естественном языке о том, где и когда он видел нужный предмет, и работать в реальном времени на мобильной платформе.

Изображение: Courtesy of the researchers / MIT News

Исследователи Массачусетского технологического института (MIT) разработали DAAAM (Describe Anything, Anywhere, at Any Moment) — систему долговременной пространственно-временной памяти для роботов. Она объединяет робототехническое 3D-картирование и модели компьютерного зрения: во время движения робот добавляет к объектам подробные текстовые описания и сохраняет их в 4D-представлении сцены.

Идея в том, чтобы робот мог не только строить карту помещения или кампуса, но и отвечать на вопросы вроде «где я оставил кошелёк?» или «где находится красный велосипед со спущенным колесом». Для ускорения DAAAM группирует близкие объекты, выбирает ключевые кадры с хорошим обзором и обрабатывает описания пакетно; по словам авторов, это даёт десятикратное ускорение аннотирования и позволяет системе работать в больших средах в реальном времени.

При ответах DAAAM использует LLM-агента с вызовом специализированных инструментов поиска по памяти, что должно снижать риск галлюцинаций. В сравнительных испытаниях система отвечала точнее существующих методов на 21–53% в зависимости от типа вопроса. Работа представлена на Conference on Computer Vision and Pattern Recognition (CVPR) 2026; код DAAAM опубликован на GitHub под лицензией BSD-3-Clause.

Пока это исследовательская разработка. Авторы планируют добавить оценку уверенности в ответах и расширить память так, чтобы робот запоминал не только объекты, но и значимые события в окружающей среде.