Разработчики из Калифорнийского университета в Беркли создали систему на базе искусственного интеллекта speech2gesture и обучили её предсказывать жесты человека, основываясь на его голосе.
Нейросеть выдаёт довольно реалистичные результаты, угадывая примерно в половине случаев. Для обучения нейросети использовалась подборка видеозаписей общей продолжительностью 144 часа с десятью разными людьми, которые много жестикулируют, такими как телеведущие, преподаватели и проповедники.
В итоге обучения, алгоритм освоил реалистичную жестикуляцию, но система способна предсказывать жесты не слишком точно. При синхронизации с оригиналом становится заметно, что нейросеть угадывает в 44% случаев и регулярно путает положение рук.
Результат исследований и исходный код разработчики выложили в открытом доступе.
