Google DeepMind научила Genie 4 звуку и правкам на лету

Google DeepMind 27 октября показала Genie 4, новую версию своей «модели мира». Она создаёт фотореалистичные интерактивные пространства, по которым можно перемещаться, и впервые сама озвучивает их. Пока модель доступна только узкому кругу доверенных тестировщиков, а в ближайшие недели её получат подписчики Google AI Ultra.

Модель мира — это нейросеть, которая не просто рисует картинку, а в реальном времени достраивает окружение в ответ на действия пользователя. Genie 4 генерирует под происходящее музыку, фоновые шумы и реплики персонажей. Во время симуляции можно ввести новый запрос и поменять погоду, ракурс камеры или добавить людей и предметы.

Чем отличается от Genie 3

Прошлую версию Google показала в виде исследовательского превью чуть больше года назад. Genie 4 заметно реалистичнее, у неё точнее физика и правдоподобнее персонажи. Главное техническое улучшение касается памяти: сцена остаётся согласованной до двух минут, вдвое дольше прежнего предела.

Внутри новая модель работает в связке с Gemini. Языковая модель планирует шаги и проверяет кадры, а Genie строит изображение. Директор по исследованиям Google Теджас Кулкарни назвал такую схему «гибридными моделями мира», где Gemini пишет код и текст.

Отдельно DeepMind показала эксперимент для робототехники. Модель Gemini 4 Argon разбивала задачу робота на шаги, а Genie 4 в реальном времени симулировала их выполнение. Так сценарии можно проверить до того, как робот столкнётся с ними в настоящем мире.

Где модель пока ошибается

Чем дольше идёт симуляция, тем сильнее «плывут» детали и объекты. Команда пока не научила модель точно передавать звук и делать читаемым текст внутри сгенерированного мира. Инженер Google DeepMind Диего Ривас признал, что продукт ещё на ранней стадии и его конечный формат не определён.

Google предлагает использовать Genie 4 в играх, обучении и робототехнике. Тестировщики из киноиндустрии уже применяют её для поиска идей и раскадровки. Превращать такие прототипы в готовые материалы, по словам Риваса, со временем сможет Gemini Omni, но до этого «ещё далеко».

Кроме подписчиков AI Ultra, модель в ближайшие недели получат партнёры с ранним доступом к Gemini API и Google AI Studio. Сработает это через Project Genie, сервис Google для создания интерактивных миров по тексту или картинке. О доступности Genie 4 в Казахстане компания не сообщала. Агентов Gemini DeepMind уже проверяла в играх: недавно они прошли Minecraft без людей.

Источники: TechCrunch — о запуске Genie 4