OpenAI пойман на отслеживании предпочтений пользователей

Во время прямой трансляции, посвященной представлению GPT-5 в четверг, OpenAI продемонстрировала несколько графиков, которые производили довольно впечатляющее впечатление, однако при внимательном рассмотрении оказалось, что некоторые из них содержат неточности.

В одном из них, иронично иллюстрирующем эффективность GPT-5 в задачах, связанных с распознаванием обмана в различных моделях, шкала была представлена некорректно. Например, в задаче "обман в кодировании" GPT-5 показала 50,0% успешности в обмане, в то время как более компактная модель OpenAI, o3, получила 47,4%, однако соответствующий столбец на графике был больше.

В другом случае, один из показателей GPT-5 оказался ниже, чем у o3, но был изображен более крупным столбцом. На том же графике, показатели o3 и GPT-4o различались, но были представлены столбцами одинакового размера.

Ошибка была настолько очевидной, что генеральный директор Сэм Альтман (Sam Altman) прокомментировал это, назвав произошедшее "грандиозным провалом с графиками". Один из сотрудников отдела маркетинга OpenAI также принес извинения за "непреднамеренное преступление против графиков".

OpenAI не сразу отреагировала на запрос о комментарии. И хотя неясно, использовалась ли GPT-5 для создания этих графиков, это не лучшим образом характеризует компанию в день крупного запуска, особенно учитывая заявления о "значительных улучшениях в снижении галлюцинаций" в новой модели.