Світи у реальному часі: Google Genie 4 тримає сцену до 2 хвилин і додає звук на льоту

Світова модель Google тепер озвучує власні світи, а сцену можна змінювати текстовою командою просто під час симуляції.

Google DeepMind представила Genie 4, нову світову модель для інтерактивної симуляції в реальному часі. За даними компанії, вона поєднує більшу реалістичність із вбудованим аудіо: світ генерує фонові звуки, музику та інтерактивні діалоги на льоту. Користувач керує сценою словами: рухає камеру, змінює погоду, додає персонажів. Як пише TechCrunch, модель вийшла у вівторок як попередня дослідницька версія.

Як Gemini керує сценою у світовій моделі Google

Модель спирається на можливості Gemini. У блозі Google пояснюють: Gemini Omni прив’язує симуляцію до реального вигляду й поведінки об’єктів, а інші моделі Gemini забезпечують міркування для узгодженості сцени. За даними TechCrunch, Gemini виконує роль режисера: планує кроки та перевіряє кадри, поки Genie створює візуальну частину.

Є й прикладний експеримент, пов’язаний з Gemini Robotics. Модель Gemini розбивала завдання на кроки, а Genie 4 симулювала їх у реальному часі. Так можна обкатувати сценарії для роботів до того, як вони трапляться у фізичному світі. Директор з досліджень Google Теяс Кулкарні сказав на брифінгу, що в майбутньому з’являтиметься дедалі більше гібридних світових моделей: Gemini пише код і текст, а Genie перетворює їх на симуляцію на різних рівнях абстракції.

Порівняння з попередницею показове. За даними TechCrunch, сцена лишається узгодженою до двох хвилин, удвічі довше, ніж у Genie 3, яку Google випустила трохи більше року тому. Видання також відзначає кращу фізику та більш людяних персонажів.

Конкуренти Google: Runway, World Labs, Decart

Кілька місяців раніше стартап Runway випустив другу світову модель GWM Worlds 2 з генерацією аудіо. TechCrunch пише, що галузь починає консолідуватися: World Labs Фей-Фей Лі купує AMD, Amazon веде переговори про купівлю Decart, а Rivian придбала Third Dimension, щоб перенести симуляції для тестування самокерованих авто всередину компанії.

Інженер Google DeepMind Дієго Рівас бачить найбільшу цінність у ранніх творчих етапах, як-от ідеація й розкадровка, де важливо не губити творчий потік. У Google вже є Veo, відеомодель із синхронізованим звуком, яка, за даними TechCrunch, дедалі популярніша серед кінематографістів. Перетворення прототипів на готові матеріали через Gemini Omni, за словами Ріваса, поки віддалена перспектива.

Обмеження команда визнає: деталі й об’єкти можуть “пливти” в довших симуляціях, а точність звуку та читабельність тексту всередині світу ще не відпрацьовані.

Що це означає для України

Для українських ігрових студій, продакшенів і команд з робототехніки модель поки лишається на горизонті: зараз її бачать лише довірені тестувальники. За даними Google, незабаром вона з’явиться у підписників Google AI Ultra в Project Genie та в партнерів раннього доступу через Gemini API і AI Studio. Тоді студії зможуть самі перевірити, чи пришвидшує вона розкадровку, а розробники роботів оцінити симуляцію сценаріїв.

Джерело: Android Authority