Brain2Qwerty v2: неинвазивное декодирование речи из активности мозга приблизилось к уровню имплантов

Команда Meta AI показала вторую версию системы Brain2Qwerty, которая преобразует активность мозга, регистрируемую внешним магнитоэнцефалографом, в текст без хирургического вмешательства. Средняя точность распознавания слов выросла примерно до 61%, а для лучшего участника — до 78%. Авторы заявляют, что качество декодирования растёт по логарифмически-линейному закону при увеличении объёма данных.

Исследователи Meta* представили Brain2Qwerty v2 — новую версию системы, которая декодирует набираемый человеком текст из активности его мозга, используя только внешнюю регистрацию магнитной активности (магнитоэнцефалографию, МЭГ) и модели машинного обучения. Подход не требует хирургического вмешательства и, по утверждению авторов, приближается к уровню точности, который ранее считался достижимым только для инвазивных интерфейсов с электродами, имплантированными в кору мозга. Компания опубликовала описание работы в блоге Meta AI и в сопроводительной научной публикации.

Для обучения модели исследователи собрали один из крупнейших на сегодня наборов данных по неинвазивному декодированию речи: девять добровольцев провели по 10 часов в установке МЭГ, набирая заранее подготовленные предложения. В результате был сформирован корпус из 22 тысяч предложений, синхронизированных с регистрацией мозговой активности.

В отличие от прежних работ с ручной обработкой нейросигналов, Brain2Qwerty v2 построена как сквозная архитектура глубокого обучения: она получает на вход сырые данные МЭГ и работает сразу на нескольких уровнях представления — от отдельных символов до слов и целых предложений. Заявленная средняя точность распознавания слов составила около 61% (средний показатель ошибок на уровне слов — 39%), тогда как для наиболее успешного участника точность достигла 78%, и более половины предложений были декодированы не более чем с одной ошибкой.

Ключевым наблюдением авторы называют логарифмически-линейную зависимость качества декодирования от объёма обучающих данных — тот же характер масштабирования, что ранее отмечался у больших языковых моделей. По их мнению, это может означать, что разрыв между неинвазивными системами и хирургическими имплантами отчасти связан не с физическими ограничениями датчиков, а с количеством накопленных данных.

Meta заявила, что открывает полный обучающий код Brain2Qwerty v1 и v2, а её партнёр — Баскский центр когнитивных исследований, мозга и языка (BCBL) — публикует датасет первой версии. Работа входит в более широкую программу компании по созданию фундаментальных моделей мозга, наряду с проектами TRIBE v2, NeuralSet и инструментом оценки NeuralBench. Одновременно сообщается о фонде в 5 млн долларов в рамках инициативы Digital Brain Project, направленном на развитие открытых нейробиологических датасетов.

Практической целью проекта остаётся создание безопасных и доступных нейроинтерфейсов для людей, утративших речь или способность двигаться вследствие травм мозга, инсультов или нейродегенеративных заболеваний.

* Деятельность компании Meta (социальные сети Instagram и Facebook) признана экстремистской и запрещена в РФ.