Инженеры СПбПУ научили нейросеть монтировать видеолекции

Эксперты Лаборатории "Промышленные системы потоковой обработки данных" (ПСПОД) Центра НТИ Санкт-Петербургского политехнического университета Петра Великого (СПбПУ) создали комплекс программных средств, который может самостоятельно монтировать образовательные видеолекции. По словам разработчиков, решение значительно ускорит и упростит процесс записи и монтажа.

"Дистанционное образование развивается экспоненциально во всем мире. Многие коллеги заинтересовались нашей разработкой, потому что сейчас все онлайн-платформы работают над снижением трудоемкости и стоимости производства видеолекций", — рассказал инженер Лаборатории ПСПОД Алексей Гинцяк.

Работа над проектом "Автомонтаж" началась в конце 2017 года при финансовой поддержке Фонда содействия инновациям. Программа состоит из двух подсистем – "Автослайд" и "Автооператор". "Автослайд" совмещает видеолекцию с презентационными материалами, а "Автооператор" самостоятельно монтирует видеолекцию с подходящим планом и ракурсом.

"При просмотре видеолекции, снятой не в студийных условиях, презентацию спикера иногда практически не видно на экране. Идея "Автослайда" в том, чтобы автоматически совмещать видео и презентацию лектора. Оба этих файла загружаются в систему, а нейронная сеть самостоятельно определяет, какой слайд показывается в определенный момент времени, и автоматически заменяет его четкой, яркой, подходящей по размеру картинкой из оригинальной презентации", — пояснили в пресс-службе вуза.

Подсистема "Автооператор" позволяет снимать видеолекции без участия оператора. В аудитории размещаются камеры в сверхвысоком разрешении, которые снимают общий план. Затем запись загружается в программу, которая самостоятельно определяет активную зону отображения и местонахождение лектора, а затем кадрирует картинку.

Проект экономически выгоден благодаря снижению трудоемкости монтажа и, соответственно, росту производительности. Сейчас система проходит тестирование и доработку, необходимую для официального выхода на рынок. Владелец продукта и индустриальный партнер Лаборатории ПСПОД — образовательный проект "Лекториум" уже активно использует программу при обработке снятых видеолекций.