Sora нужно подтянуть качество, чтобы не отставать от новой видеомодели Runway AI.

Мне всегда нравится экспериментировать с AI-видеогенераторами. Даже когда они работают плохо, они могут быть забавными, а когда у них что-то получается, результат поражает воображение. Поэтому я с удовольствием опробовал новую модель Gen-4 от Runway. Компания заявила, что Gen-4 (и ее более быстрая, компактная версия, Gen-4 Turbo) превосходит предыдущую модель Gen-3 по качеству и стабильности.

Предполагается, что Gen-4 решает проблему сохранения внешности персонажей неизменной между сценами, а также обеспечивает более плавное движение и улучшенную физику окружающей среды. Кроме того, она должна отлично понимать инструкции. Вы предоставляете визуальный образец и текстовое описание, и она генерирует видео, которое соответствует вашим представлениям.

Фактически, это очень похоже на то, как OpenAI продвигает свой AI-видеогенератор Sora. Хотя видео, созданные Sora, обычно великолепны, они не всегда отличаются стабильным качеством. Одна сцена может быть идеальной, а в следующей персонажи могут парить как призраки или двери никуда не вести.

Runway Gen-4 позиционировала себя как волшебство в видео, поэтому я решил проверить это на практике и попробовать создать видео, рассказывающее историю волшебника. Я придумал несколько идей для небольшой фэнтезийной трилогии о странствующем волшебнике. Я хотел, чтобы волшебник встретил эльфийскую принцессу, а затем преследовал ее через магические порталы. Затем, когда он снова встречает ее, она замаскирована под магическое животное, и он возвращает ей прежний облик принцессы.

Цель не состояла в том, чтобы создать блокбастер. Я просто хотел посмотреть, насколько далеко может зайти Gen-4 при минимальном вводе данных. Поскольку у меня не было фотографий настоящих волшебников, я воспользовался недавно обновленным генератором изображений ChatGPT, чтобы создать убедительные статичные изображения. Sora может и не покоряет Голливуд, но я не могу отрицать качество некоторых изображений, созданных ChatGPT.

Я создал первое видео, а затем воспользовался опцией Runway "зафиксировать seed", чтобы персонажи выглядели последовательно во всех видео. Затем я объединил три видео в один фильм с небольшим перерывом между каждой частью.

AI-Кино

Вы можете видеть, что это не идеально. Есть некоторые странные движения объектов, и внешняя последовательность не всегда безупречна. Некоторые фоновые элементы странно мерцали, и я пока не стал бы показывать эти клипы на большом экране. Однако фактическое движение, выражение и эмоции персонажей показались мне удивительно реалистичными. Мне также понравились варианты итераций, которые не перегружали меня слишком большим количеством ручных настроек, но при этом давали мне достаточно контроля, чтобы я чувствовал, что активно участвую в создании, а не просто нажимаю кнопку и молюсь о связности.

Сможет ли это свергнуть Sora и многочисленных профессиональных партнеров OpenAI? Нет, конечно, не сейчас. Но я бы, по крайней мере, поэкспериментировал с этим, если бы был начинающим режиссёром, который хотел бы относительно недорого увидеть, как могут выглядеть некоторые из его идей. По крайней мере, прежде чем тратить кучу денег на людей, необходимых для того, чтобы фильмы выглядели и чувствовались так же мощно, как моё видение фильма. И если бы я достаточно освоился с этим и стал достаточно хорошо использовать и манипулировать AI, чтобы получать желаемый результат каждый раз, я бы, возможно, даже не стал думать об использовании Sora.

Вы не должны быть волшебником, чтобы увидеть, какое заклинание Runway надеется наложить на свою потенциальную пользовательскую базу.