OpenAI признала ошибку в тестировании обновления ChatGPT, склонного к чрезмерному угождению.

На прошлой неделе OpenAI отозвала обновление GPT-4o, которое привело к тому, что ChatGPT стал “чрезмерно льстивым или угодливым”, и теперь компания объяснила, что именно пошло не так. В публикации в блоге, опубликованной в пятницу, OpenAI заявила, что ее усилия по “лучшей интеграции обратной связи от пользователей, памяти и более актуальных данных” могли частично привести к “перекосу в сторону угодничества”.

В последние недели пользователи заметили, что ChatGPT постоянно соглашается с ними, даже в потенциально опасных ситуациях. Генеральный директор OpenAI Сэм Альтман (Sam Altman) позже признал, что последние обновления GPT-4o сделали систему “слишком угодливой и раздражающей”.

В этих обновлениях OpenAI начала использовать данные с кнопок “лайк” и “дизлайк” в ChatGPT в качестве “дополнительного сигнала вознаграждения”. Однако OpenAI заявила, что это могло “ослабить влияние нашего основного сигнала вознаграждения, который сдерживал угодничество”. Компания отмечает, что обратная связь от пользователей “иногда может отдавать предпочтение более соглашающимся ответам”, что, вероятно, усугубило склонность чат-бота к чрезмерному согласию.

Компания также отметила, что память может усиливать угодничество. OpenAI заявляет, что одна из “ключевых проблем” с запуском обновления заключается в процессе тестирования. Хотя оффлайн-оценки модели и A/B-тестирование дали положительные результаты, некоторые эксперты-тестировщики предположили, что обновление сделало чат-бота “слегка странным”. Несмотря на это, OpenAI все равно продолжила внедрение обновления.

“Оглядываясь назад, качественные оценки намекали на что-то важное, и нам следовало уделить этому больше внимания”, — пишет компания. “Они выявляли слепую зону в наших других оценках и метриках. Наши оффлайн-оценки были недостаточно широкими или глубокими, чтобы выявить угодническое поведение… и наши A/B-тесты не дали правильных сигналов, чтобы показать, как модель работает в этом отношении с достаточной детализацией”.

В дальнейшем OpenAI заявила, что будет “официально учитывать поведенческие проблемы” как потенциальную причину для блокировки запусков, а также создаст новую альфа-фазу с возможностью выбора, которая позволит пользователям предоставлять OpenAI прямую обратную связь перед более широким распространением. OpenAI также планирует информировать пользователей обо всех изменениях, вносимых в ChatGPT, даже если обновление незначительное.