Новый инструмент Nvidia преобразует 3D-сцены в изображения, созданные искусственным интеллектом.

Nvidia представила новый инструмент, позволяющий разработчикам генерировать AI-изображения, начиная с создания 3D-модели. Не совсем удачно названный Nvidia AI Blueprint для 3D-управляемой генеративной AI, доступен для загрузки сегодня для компьютеров, оснащенных GPU Nvidia RTX 4080 или выше. Инструмент работает, объединяя программное обеспечение для 3D-моделирования Blender с генератором изображений FLUX.1 от Black Forest Lab. Пользователи могут создавать сцены в Blender, используя 3D-объекты, такие как здания, растения, животные и транспортные средства, которые затем используются в качестве справочных материалов для создания 2D-изображения.

Идея заключается в том, что ручная настройка положения обзора или размещения определенных объектов обеспечит больший контроль над мелкими деталями при генерации 2D-изображений по сравнению с использованием только текстовых описаний. Например, если у вас есть очень конкретное представление о городе – форма и высота зданий, количество деревьев или автомобилей, и даже угол, под которым вы на него смотрите – вы можете использовать рабочий процесс Nvidia, чтобы вручную создать грубую версию этого в Blender. Генератор изображений FLUX.1 затем использует это в качестве основы для создаваемых изображений, что может быть менее утомительно, чем многократная корректировка текстовых описаний, пока не получится что-то отдаленно похожее на желаемое.

3D-объекты, размещенные в Blender, не обязательно должны быть высокодетализированными, поскольку инструмент использует их только в качестве руководства по компоновке. Nvidia описывает свои blueprints как «заранеe определенные, настраиваемые AI-рабочие процессы», предназначенные для помощи разработчикам в создании приложений генеративного AI. В данном случае Nvidia утверждает, что AI Blueprint для 3D-управляемой генеративной AI предоставляет пошаговую документацию, примеры ресурсов и предустановленную среду, чтобы помочь пользователям освоить инструмент.

Этот рабочий процесс не является уникальным – Adobe продемонстрировала аналогичный инструмент во время своего мероприятия MAX в октябре под названием “Project Concept”, который также позволяет пользователям создавать 3D-сцены, используемые для управления генерацией изображений. Однако вариант от Adobe все еще находится на экспериментальной стадии и может никогда не быть выпущен для широкой публики.