Meta уличена в манипуляции результатами тестов искусственного интеллекта

В минувшие выходные Meta выпустила две новые модели Llama 4 — Scout и Maverick. Компания заявляет, что Maverick превосходит GPT-4o и Gemini 2.0 Flash по результатам тестов. Maverick быстро занял второе место в рейтинге LMArena, уступив лишь Gemini 2.5 Pro.

Однако исследователи позже обнаружили, что Meta использовала для тестирования на LMArena «экспериментальную версию чат-ботов» Maverick, которая была «оптимизирована для разговорности», а не общедоступную версию.

В ответ LMArena заявила: Толкование политики Meta не соответствовало нашим ожиданиям от поставщиков моделей и объявила о внесении изменений в политику, чтобы предотвратить подобные ситуации в будущем.