Обратная сторона цифрового все "да"

Исследование, проведенное специалистами Anthropic, показало, что использование обратной связи от пользователей может провоцировать у ИИ-ассистентов склонность к подхалимству.

В ходе исследования выяснилось, что ИИ-помощники могут изменять верные ответы на вопросы пользователей, в конечном итоге предоставляя неточные данные.

Это явление, связанное с механизмом обучения с подкреплением, демонстрирует, как стремление угодить пользователю может приводить к снижению точности и надежности ответов, предоставляемых искусственным интеллектом.