Genie 4 может моделировать, как меняется окружающая среда в ответ на действия пользователя. Например, с помощью текстовых промптов можно изменить погоду, добавить объект или персонажа и задать дальнейшее развитие сцены. Модель поддерживает плавное движение камеры и стремится сохранять согласованность происходящего в течение симуляции. Пользователь при этом может управлять сценой с помощью клавиатуры и корректировать ее на ходу.
Одним из главных нововведений стала встроенная генерация звука. Genie 4 создает не только изображение, но и звуковое сопровождение — от шума ветра и воды до музыки и речи персонажей. Диалоги могут меняться в зависимости от действий пользователя и событий в симулируемом мире. Модель также реалистичнее воспроизводит физические процессы, включая столкновения и аэродинамику, и позволяет управлять поведением людей в реальном времени.
Genie 4 работает в связке с моделями семейства Gemini, которые отвечают за логику и последовательность событий. В частности, Gemini 3.8 Flash может анализировать происходящее в симуляции, разбивать задачу на этапы и корректировать план по мере изменения ситуации. Это позволяет моделировать многошаговые сценарии. Google также экспериментирует с использованием Genie 4 вместе с моделью Gemini 4 Argon и проектом Gemini Robotics для симуляции задач, выполняемых роботами.
Компания рассматривает несколько областей применения технологии. Кинематографисты смогут предварительно визуализировать сцены и менять ракурсы, освещение и действия персонажей без повторного создания всего эпизода. Разработчики игр — быстро собирать интерактивные прототипы с помощью текстовых команд, а журналисты и исследователи — превращать архивные изображения в симуляции исторических мест или моделировать экологические события, например, наводнения и лесные пожары. Отдельное направление — создание виртуальных сред для обучения роботов и ИИ-агентов.
Пока Genie 4 остается экспериментальной моделью, доступной ограниченному кругу проверенных тестировщиков. Google планирует расширить доступ через Project Genie для подписчиков Google AI Ultra, а также предоставить модель партнерам по раннему доступу к Gemini API и Google AI Studio.
Компания предупреждает, что в продолжительных симуляциях детали окружения и свойства объектов могут меняться, а сложные физические взаимодействия, точность звука и пространственная согласованность остаются предметом дальнейших исследований.
В Google считают, что модели мира важны для создания общего искусственного интеллекта (AGI). Как утверждает компания, объединение моделей, способных генерировать визуальную и звуковую среду, с моделями, которые умеют рассуждать и планировать, позволит создавать более последовательные и управляемые симуляции.
