Компании по разработке ИИ следуют примеру DeepSeek и создают более дешевые модели с помощью «дистилляции»

Ведущие компании по разработке искусственного интеллекта, такие как OpenAI, Microsoft и Meta, используют процесс под названием «дистилляция» в глобальной гонке за создание AI-моделей, которые будут дешевле для потребителей и компаний. Этот метод привлек широкое внимание после того, как китайская компания DeepSeek применила его для создания мощных и эффективных моделей ИИ на основе открытых систем, выпущенных Meta и Alibaba.

Это достижение подорвало уверенность в лидерстве Силиконовой долины в области искусственного интеллекта, что привело к снижению стоимости акций крупнейших технологических компаний США на миллиарды долларов.

В процессе дистилляции компании используют большой языковой AI-модель, называемую «учителем», которая генерирует следующее наиболее вероятное слово в предложении. Эта модель-учитель создает данные, которые затем применяются для обучения меньшей модели — «студента». Это позволяет быстро передать знания и прогнозы большей модели меньшей.

Компании надеются, что такой подход позволит сделать AI более доступным и экономичным для широкого круга пользователей.