Новая виртуальная камера от Stability AI превращает любое изображение в крутой 3D-ролик, и я в восторге от результата.

Видео Stability AI уже несколько лет оживляют тексты и изображения с помощью движения, но теперь они буквально добавляют новое измерение, превращая двумерные изображения в трехмерные видео.

Новый инструмент Stable Virtual Camera от компании разработан для обработки даже одного изображения в движущее видео с множеством ракурсов, что означает, что вы могли бы вращаться вокруг него и просматривать фильм с любого угла. Это не совсем новая концепция, так как виртуальные камеры давно являются основой кинематографа и анимации, позволяя создателям перемещаться и манипулировать цифровыми сценами.

Но Stability AI взяла эту концепцию и добавила большую дозу генеративного ИИ. Результатом является то, что вместо того, чтобы требовать детальной реконструкции 3D-сцен или тщательной настройки параметров камеры, Stable Virtual Camera позволяет пользователям генерировать плавное, с точной глубиной 3D-движение даже из одного изображения, прикладывая минимальные усилия.

То, что отличает этот инструмент от других инструментов для создания видео с помощью ИИ, заключается в том, что он не просто угадывает анимацию и не полагается на огромные наборы данных или реконструкции кадра за кадром. Stable Virtual Camera использует многоканальный диффузионный процесс для генерации новых углов на основе предоставленного изображения, чтобы результат выглядел как модель, которая могла бы реально существовать в мире.

Инструмент позволяет пользователям управлять траекториями камеры с кинематографической точностью, выбирая из движений, таких как зум, вращающаяся орбита или даже спираль. Результирующее видео может быть в вертикальном формате для мобильных устройств или широкоформатным, если у вас есть кинотеатр.

Виртуальная камера может работать всего с одним изображением, но обрабатывает до 32 изображений. Stability AI сделала модель доступной по некоммерческой лицензии в целях исследования. Это означает, что вы можете поиграть с ней, если у вас есть определенные технические навыки, получив код из GitHub.

Открытость исходного кода, к которой обычно прибегает Stability AI, также означает, что сообщество разработчиков ИИ может улучшать и расширять возможности виртуальной камеры без необходимости оплаты со стороны компании.

Конечно, ни одна модель ИИ не идеальна, и Stability AI честно признает, что над устранением некоторых недостатков еще предстоит работать. Если вы надеялись сгенерировать реалистичных людей, животных или особенно хаотичные текстуры (например, воду), у вас может получиться что-то, что принадлежит к фильмам ужасов с низким бюджетом.

Не удивляйтесь, если увидите видео, созданные с его помощью, с перспективами, которые неловко проходят сквозь объекты, или с переменами перспективы, приводящими к мерцающим призрачным артефактам.

Остается только посмотреть, станет ли этот инструмент широко распространенным или просто еще одним трюком ИИ, игнорируемым профессиональными кинематографистами. Не говоря уже о том, с какой конкуренцией он сталкивается среди инструментов для создания видео с помощью ИИ: Sora от OpenAI, Pika, Runway, Pollo и Dream Machine от Luma Labs.

Stable Virtual Camera придется доказать свою эффективность в реальном мире кинематографии, чтобы стать чем-то большим, чем просто еще одно демонстрационное видео.