Google использовал ИИ для улучшения «Волшебника страны Оз» для giganteScreen в Sphere в Лас-Вегасе

На прошлой неделе стало известно, что Sphere Entertainment создает иммерсионную версию «Волшебника страны Оз» для своего уникального заведения в Лас-Вегасе. Теперь мы знаем больше о том, как компании Google и Magnopus используют ИИ для улучшения 86-летнего фильма и заполнения гигантского полусферического экрана Sphere площадью 160 000 квадратных футов.

Но сотрудничество между подразделениями Google Cloud и DeepMind не ограничилось стандартными техниками увеличения разрешения с помощью ИИ для создания новой версии «Волшебника страны Оз» с достаточным разрешением для экрана Sphere (16 000 пикселей на 16 000 пикселей). Команда Google использовала «точно настроенные модели Gemini, Veo 2 и Imagen 3 для интеллектуального повышения разрешения фильма, расширения фонов и цифровой реконструкции существующих персонажей, которые в противном случае не появились бы на одном экране».

Чтобы зрители чувствовали себя более погруженными, словно они являются частью фильма, сцены, которые изначально переключались между персонажами из-за ограничений кадрирования, теперь показывают всех персонажей на экране одновременно в течение длительного времени.

«...В одной из первых сцен Дороти разговаривает с тетей Эм и мисс Гулч. Зрители знают, что дядя Генри находится в комнате, хотя он вне поля зрения. В версии, которая будет показана в Sphere, дядя Генри виден, вместе с гораздо более широким задним планом, показывающим больше дома», - говорится в отчете Wall Street Journal.

Чтобы улучшить работу моделей ИИ, используемых для повышения и расширения исходного фильма, команда Google использовала не только дополнительную footage. Просматривая архивы Warner Bros., они смогли найти дополнительные материалы, такие как сценарии съемок, фотографии, производственные иллюстрации и планы сцены, которые «были загружены в Veo и Gemini, чтобы модели могли обучаться на специфических деталях оригинальных персонажей, их окружении и даже элементах производства, таких как фокусные расстояния камеры для конкретных сцен». Эти дополнительные материалы также помогли определить поведение цифрово добавленных персонажей, которые не появились в некоторых сценах в оригинальной версии фильма.

«ИИ коснулся более 90% фильма», - сказал Рави Раджамани (Ravi Rajamani), управляющий директор и руководитель глобального отдела генеративного ИИ-инжиниринга в Google Cloud, Wall Street Journal. Но, по словам Джеймса Долана (James Dolan), исполнительного председателя и главного исполнительного директора Sphere Entertainment, потенциально будут и другие сенсорные элементы – такие как тепло, ветер и запахи – которые пока держатся в тайне, и которые зрители смогут испытать, когда «Волшебник страны Оз» дебютирует в Sphere с 28 августа 2025 года.