Новый ИИ-инструмент от Adobe превращает забавные шумы в реалистичные звуковые эффекты.

Компания Adobe запускает новые инструменты для создания фильмов на основе генеративного искусственного интеллекта (ИИ), предлагающие интересные способы создания звуковых эффектов и управления сгенерированным видео. Наряду со стандартными текстовыми запросами, которые обычно позволяют описывать, что должны создать или отредактировать ИИ-модели Adobe Firefly, пользователи теперь могут использовать звукоподражательные голосовые записи для создания пользовательских звуков и использовать референсное видео для управления движением в видео, сгенерированном Firefly.

Инструмент Generate Sound Effects, который запускается в бета-версии в приложении Firefly, может использоваться с записанными и сгенерированными видеоматериалами, обеспечивая больший контроль над генерацией звука, чем видеоинструмент Google Veo 3. Интерфейс напоминает шкалу времени для видеомонтажа и позволяет пользователям синхронизировать создаваемые эффекты с загруженными видеоматериалами. Например, пользователи могут воспроизвести видео с лошадью, идущей по дороге, и одновременно записать звуки "цок-цок" в такт ее копытам, добавив текстовое описание "копыта по бетону". Инструмент затем сгенерирует четыре варианта звукового эффекта на выбор.

Это развитие эксперимента Project Super Sonic, который Adobe продемонстрировала на мероприятии Max в октябре. Инструмент не поддерживает создание речи, но позволяет создавать звуки ударов, такие как треск веток, шаги, звук застегивающейся молнии и многое другое, а также атмосферные шумы, такие как звуки природы и городской шум.

Новые расширенные элементы управления также появятся в генераторе Firefly Text-to-Video. Функция Composition Reference позволяет пользователям загружать видео вместе со своим текстовым запросом, чтобы отразить композицию этого видео в сгенерированном видео, что должно упростить достижение конкретных результатов по сравнению с многократным вводом только текстовых описаний. Keyframe cropping позволит пользователям обрезать и загружать изображения первого и последнего кадра, которые Firefly сможет использовать для генерации видео между ними, а новые предустановки стиля предоставляют выбор визуальных стилей, которые пользователи могут быстро выбрать, включая аниме, векторную графику, пластилиновую анимацию и многое другое. Эти предустановки стиля доступны только для использования с собственной видео-ИИ-моделью Adobe Firefly.

Результаты оставляют желать лучшего, судя по продемонстрированной мною версии — опция "пластилиновая анимация" выглядела как 3D-анимация начала 2000-х годов. Однако Adobe продолжает добавлять поддержку конкурирующих ИИ-моделей в свои инструменты, и ведущий специалист Adobe по генеративному ИИ Александру Костин (Alexandru Costin) сообщил The Verge, что аналогичные элементы управления и предустановки могут быть доступны для использования с ИИ-моделями сторонних разработчиков в будущем. Это говорит о том, что Adobe стремится сохранить лидирующие позиции в сфере креативного программного обеспечения по мере роста популярности ИИ-инструментов, даже если она отстает от OpenAI и Google в разработке самих генеративных моделей.