Яндекс научил умную IP-камеру понимать происходящее в кадре с помощью ИИ

Яндекс внедрил искусственный интеллект в умную IP-камеру. Встроенный ИИ анализирует видеопоток и сообщает о конкретных событиях в кадре — например, «в кадре появился кот» — вместо общего уведомления «зафиксировано движение».

Пользователь также может своими словами формулировать условия для сценария умного дома — достаточно в свободной форме описать ситуацию, например «собака грызёт диван», и выбрать, что должно происходить в ответ. Кроме того, раз в сутки ИИ суммаризирует всё случившееся за день и отправляет пользователю сводку событий. Так ИИ в камере помогает в подробностях узнавать, что происходит дома, и настраивать сценарии под конкретные жизненные ситуации.

Новые возможности доступны в рамках подписок на умную IP-камеру «Стандарт» и «Экстра». Это тарифы, которые дают дополнительные преимущества: облачное хранение, запись в архив при обнаружении движения и другие.

Детализированные уведомления

Теперь, если в кадре что-нибудь происходит, пользователь получит уведомление с конкретным описанием от ИИ — камера сообщит, что именно она зафиксировала. Если камера стоит в коридоре и дети вернулись из школы, пользователь получит уведомление не о «человеке в кадре», а о том, что дети пришли домой. Это помогает быстрее понимать, что происходит дома, не открывая приложение.

ИИ-описания также стали доступны в архиве записей. Теперь каждое событие сопровождается текстовыми описаниями того, что фиксировала камера. Благодаря этому пользователь сможет быстрее находить интересующие фрагменты.

Индивидуальные сценарии умного дома

Раньше сценарии умного дома были привязаны к ограниченному набору сигналов с камеры: шум, движение и человек в кадре. Теперь камера интерпретирует происходящее с помощью ИИ и реагирует на конкретные события. Пользователь может описать условие своими словами — например, «кот запрыгнул на стол», «собака появилась в комнате», «ребёнок сел на кровать» — и привязать к нему сценарий в приложении «Дом с Алисой».

Можно включать ночник в детской, если ребёнок проснётся ночью, активировать умную поилку, когда в кадре появится собака, или отправлять себе фото каждый раз, когда питомец прыгает на диван. Камера реагирует не на абстрактное «движение в кадре», а на конкретное событие, которое пользователь описал словами. Это значительно расширяет возможности пользователей по настройке автоматической работы устройств для разных жизненных ситуаций.

Суммаризация дня

Суммаризация дня включена по умолчанию: в выбранное пользователем время нейросеть генерирует краткий отчёт о событиях, которые зафиксировала камера. Когда суммаризация готова, приложение «Дом с Алисой» отправляет уведомление. Пользователь получает короткое описание того, что происходило дома в течение дня — кто и что появлялось в кадре, как менялось поведение людей и питомцев или положение объектов. Посмотреть суммаризацию можно в карточке устройства.

ИИ в умной камере — Alice AI VLM

Чтобы понять, что происходит в кадре, камера использует Alice AI VLM — визуально-языковую модель Яндекса, которая анализирует изображение. Она входит в семейство моделей Alice AI вместе с языковой и генеративной моделями. Alice AI VLM обучена на большом количестве визуальных и текстовых данных, что позволяет ей интерпретировать происходящее в кадре. Эта же технология уже работает в live-режиме в чате с Алисой в рамках опции «Алиса Плюс», а теперь появилась и в умной IP-камере.

Доступ к новым технологиям

Все новые технологии уже доступны по подписке на дополнительные функции умной IP-камеры «Экстра». Воспользоваться ИИ-описанием уведомлений, архивных записей и суммаризацией дня можно также по подписке «Стандарт». Стоимость тарифов составляет 699 рублей и 299 рублей соответственно. Для тех, кто не использовал платные опции ранее, первый месяц подписки доступен бесплатно.

При этом часть возможностей, которые ранее находились в платной подписке, теперь можно использовать без дополнительной оплаты. Пользователям доступны следование за человеком в кадре, фотоснимок в уведомлении о движении или человеке в кадре и отправка фото по сценарию, например каждый день в 18:00.