Исследование обвиняет платформу LM Arena в помощи ведущим лабораториям искусственного интеллекта в манипулировании результатами её теста.

Анонимный читатель поделился отчетом: новое исследование от AI-лаборатории Cohere, Стэнфордского университета, MIT и Ai2 обвиняет LM Arena, организацию, стоящую за популярным краудсорсинговым AI-бенчмарком Chatbot Arena, в помощи избранной группе AI-компаний в достижении лучших позиций в таблице лидёров за счёт ухудшения результатов конкурентов.

Согласно авторам, LM Arena разрешила нескольким ведущим AI-компаниям, таким как Meta, OpenAI, Google и Amazon, конфиденциально тестировать различные варианты AI-моделей, а затем не публиковать результаты наименее эффективных из них. Это облегчило этим компаниям достижение лидирующих позиций на платформе, хотя такая возможность не была предоставлена всем компаниям, утверждают авторы.

“Лишь немногим компаниям сообщили о доступности этого приватного тестирования, и объем приватного тестирования, которое получили некоторые компании, значительно превышает объем, предоставленный другим”, – заявила вице-президент Cohere по исследованиям в области AI и соавтор исследования Сара Хукер (Sara Hooker) в интервью TechCrunch. “Это геймификация.”