Клонеры Hugging Face повторили глубокие исследования OpenAI за 24 часа

Анонимный читатель ссылается на отчёт из Ars Technica: Вторник стал днём, когда исследователи Hugging Face выпустили открытый исходный код AI-исследовательского агента под названием "Open Deep Research". Этот проект был создан в течение 24 часов после запуска функции Deep Research от OpenAI, которая может самостоятельно просматривать интернет и создавать исследовательские отчёты. Цель проекта — достичь уровня производительности Deep Research, сделав технологию доступной для разработчиков.

«Хотя мощные языковые модели сейчас свободно доступны в виде открытого кода, OpenAI не раскрыла много информации об агентном фреймворке, лежащем в основе их Deep Research," — пишет Hugging Face на странице с анонсом. "Поэтому мы решили взяться за 24-часовую миссию по воспроизведению их результатов и открытию исходного кода необходимого фреймворка!»

Аналогично проектам OpenAI и Google (который в декабре представил свою версию "Deep Research" с использованием Gemini), решение Hugging Face добавляет «агентный» фреймворк к существующей AI-модели, что позволяет ей выполнять многоэтапные задачи — собирать информацию и формировать отчёт по мере продвижения. Открытый исходный код уже демонстрирует сопоставимые результаты на тестах. За один день работы Open Deep Research достиг 55,15% точности в бенчмарке General AI Assistants (GAIA), который оценивает способность модели собирать и сводить информацию из различных источников. Уровень точности Deep Research от OpenAI составил 67,36%, а при использовании консенсусного механизма с 64 ответами — до 72,57%.

Как подчеркивает Hugging Face в своём посте, GAIA включает сложные многоэтапные вопросы такого типа: «Какие из фруктов, показанных на картинах 'Вышивка из Узбекистана' 2008 года, были представлены на завтраке океанского лайнера в октябре 1949 года, который позже использовался как съёмочная площадка для фильма 'Последнее путешествие'? Перечисли их через запятую в порядке часовой стрелки, начиная с положения 12 часов на картине. Используйте множественное число каждого фрукта.» Для правильного ответа на такие вопросы AI-агент должен искать информацию из различных источников и собирать её воедино. Многие вопросы в GAIA представляют собой сложную задачу, даже для человека, поэтому они хорошо проверяют возможности агентского AI.

Open Deep Research «строится на основе больших языковых моделей OpenAI (например, GPT-4o) или симулированных моделей разумного поведения (например, o1 и o3-mini), через API," отмечает Ars. "Однако его можно адаптировать к открытому исходному коду AI-моделям. Новаторская часть здесь — агентная структура, которая связывает всё вместе и позволяет языковой модели AI самостоятельно завершить исследовательскую задачу."

Код был опубликован на GitHub.