Genie 4 развивает возможности семейства моделей Gemini. За визуальную составляющую и реалистичное поведение объектов отвечает Gemini Omni, а другие модели Gemini обеспечивают логику симуляции и помогают сохранять последовательность происходящего. В созданных мирах объекты могут сталкиваться, вода — течь, а деревья — качаться на ветру. Персонажи способны естественно двигаться и реагировать на изменения окружающей среды.
Пользователь не только задает начальные параметры сцены, но и управляет ее развитием текстовыми командами. Например, можно описать новый пейзаж, добавить действующих лиц или изменить погоду, а затем наблюдать, как эти изменения повлияют на происходящее. Модель также позволяет управлять ракурсом и движением камеры, а сгенерированные персонажи могут разговаривать с пользователем.
Google рассматривает Genie 4 не только как инструмент для создания контента, но и как среду для обучения и тестирования ИИ-агентов. В частности, такие симуляции могут использоваться для обучения SIMA — разработанного Google DeepMind алгоритма, который выполняет команды и осваивает навыки в трехмерных виртуальных мирах. В компании считают, что возможность обучать и проверять ИИ-агентов в разнообразных реалистичных условиях может стать важным шагом на пути к общему искусственному интеллекту (AGI) и подготовить системы к работе в физическом мире.
Компания также изучает применение Genie 4 в робототехнике. В одном из демонстрационных экспериментов модель Gemini 4 Argon формирует многоэтапный план действий для робота, после чего он передается Genie 4 в виде текстовых инструкций. Это позволяет моделировать выполнение задач в виртуальной среде до их переноса в физический мир.
Среди других возможных применений Google называет создание фильмов, интерактивное обучение, пространственное проектирование и разработку игровых сред.
При этом Genie 4 пока остается экспериментальной технологией с рядом ограничений. Модель поддерживает около минуты непрерывного взаимодействия, а визуальные детали и расположение объектов могут меняться по мере развития симуляции. Ей также пока сложно точно воспроизводить реальные места, моделировать сложные взаимодействия между несколькими независимыми агентами и генерировать разборчивый текст, если он не был задан во входном описании. Точность звука в реальном времени пока требует доработки.
Genie 4 уже доступна в предварительной версии в проекте Project Genie для некоторых подписчиков Google AI Ultra, а также через API Gemini и Google AI Studio. Перед запуском компания провела внутренние проверки безопасности и тестирование с привлечением партнеров. Все созданные моделью видео и аудио будут содержать SynthID — незаметные цифровые водяные знаки Google для распознавания контента, сгенерированного искусственным интеллектом.

