Яндекс адаптировал Live-режим «Алисы AI» для незрячих пользователей

Мобильное приложение «Алиса AI» получило обновление: Live-режим теперь помогает незрячим и слабовидящим пользователям получать голосовые ответы о том, что видит камера смартфона. Функция работает на базе визуально-языковой модели Alice AI VLM и доступна бесплатно на Android и iOS.

Мобильное приложение «Алиса AI» получило обновление, рассчитанное на незрячих и слабовидящих пользователей. Яндекс адаптировал Live-режим: пользователь может навести камеру смартфона на объект, задать вопрос голосом и получить ответ нейросети об окружающей обстановке.

Такой сценарий может помочь, например, понять, с какой стороны находится вход в магазин, прочитать надпись на дисплее бытовой техники или определить, какие продукты лежат в холодильнике. За распознавание отвечает Alice AI VLM — визуально-языковая модель Яндекса; диалог ведётся голосом, а история запросов сохраняется в чате.

Live-режим можно включить в меню приложения или голосовой командой. Функция доступна бесплатно на Android и iOS, но запуск голосом пока работает только на Android; поддержку такой активации на iOS в Яндексе обещают добавить позже. Обновление представили на фестивале Young Con в Москве.