Google DeepMind представила Genie 4 для интерактивной симуляции миров со звуком

Экспериментальная модель генерирует управляемые в реальном времени сцены и сопровождает их звуками, музыкой и диалогами. Genie 4 пока доступна ограниченной группе тестировщиков; позднее Google планирует открыть доступ подписчикам AI Ultra и партнёрам Gemini API.

Google DeepMind представила Genie 4 — экспериментальную «модель мира», создающую интерактивные симуляции в реальном времени. Пользователь может текстовыми командами перемещать камеру, менять погоду и добавлять в сцену персонажей или объекты.

Модель одновременно генерирует изображение и связанный со сценой звук, включая окружающий шум, музыку и интерактивные диалоги. Для поддержания последовательности событий Genie 4 использует возможности моделей семейства Gemini.

Сейчас Genie 4 распространяется как исследовательская предварительная версия среди ограниченной группы тестировщиков. В дальнейшем доступ планируется предоставить подписчикам Google AI Ultra через Project Genie, а также партнёрам раннего доступа к Gemini API и Google AI Studio.

DeepMind предупреждает, что при продолжительных сеансах детали сцены и положение объектов могут меняться. Среди нерешённых задач компания также называет сложные физические взаимодействия, точность звука, генерацию читаемого текста, пространственную согласованность и долговременную стабильность симуляций.