Исследователи обучили конкурента OpenAI за полчаса и менее чем за 50 долларов.

Исследователи смогли создать дешевую модель ИИ для рационального мышления, способную конкурировать с моделями OpenAI всего за 26 минут, как описано в недавно опубликованной статье. Модель под названием s1 была отточена на основе малого набора данных из 1000 вопросов и за менее чем за $50, согласно TechCrunch.

Для этого исследователи из Стэнфордского университета и Университета Вашингтона использовали метод дистилляции — который позволяет меньшим моделям черпать ответы от более крупных. Они применили этот метод, чтобы улучшить s1 на основе ответов модели ИИ Google Gemini 2.0 Flash Thinking Experimental. Условия использования Google говорят о том, что нельзя использовать API Gemini для “разработки моделей, конкурирующих” с их собственными AI-моделями. The Verge обратились в Google с запросом на комментарий, но пока не получили ответа.

Модель s1 основана на Qwen2.5, открытой модели от Alibaba Cloud. Исследователи начали обучение с набора из 59 000 вопросов, но обнаружили, что большие данные не приносят значительных улучшений по сравнению с меньшим набором из 1000 вопросов.

Модель была обучена на 16 видеокартах Nvidia H100. Модель s1 также использует метод масштабирования времени теста, который позволяет модели “думать” дольше перед тем как выдать ответ. В статье отмечается, что исследователи заставляли модель продолжать рассуждать, добавляя слово “Wait” в её ответы. Это может заставить модель проверить свой ответ заново и часто исправлять ошибки в процессе рационального мышления, — говорится в статье.

Модель o1 от OpenAI использует похожий подход, что DeepSeek стремился воспроизвести с помощью запуска своей модели R1, которую они заявили как обученную за дробную часть стоимости. OpenAI обвинила DeepSeek в нарушении условий использования за использование информации из своих моделей для создания конкурентного продукта.

Согласно утверждениям исследователей, модель s1 “превосходит o1-preview по конкурсным математическим вопросам до 27%”. Рост малых и дешевых моделей ИИ может перевернуть всю индустрию. Это может показать, что крупным компаниям, таким как OpenAI, Microsoft, Meta и Google, не обязательно тратить миллиарды долларов на обучение искусственного интеллекта и строительство больших центров обработки данных с тысячами видеокарт Nvidia.