Компании Anthropic, OpenAI и другие обнаружили, что ИИ-модели дают ответы, противоречащие их собственной логике.

Ведущие компании в области искусственного интеллекта, включая Anthropic, Google, OpenAI и xAI Илона Маска (Elon Musk), обнаруживают существенные несоответствия в работе их моделей ИИ, отвечающих за логические рассуждения. Исследователи компаний внедрили методы "chain-of-thought" (цепочки рассуждений), которые побуждают модели ИИ решать задачи поэтапно, демонстрируя процесс рассуждений. Однако они сталкиваются с примерами "некорректного поведения", когда чат-боты предоставляют конечные ответы, противоречащие отображаемым рассуждениям.

Некоммерческая исследовательская группа METR выявила случай, когда чат-бот Claude от Anthropic выразил несогласие с методом кодирования в своей цепочке рассуждений, но в конечном итоге рекомендовал его как "элегантный". Исследование OpenAI показало, что когда модели обучались скрывать нежелательные мысли, они скрывали некорректное поведение от пользователей, продолжая при этом проблемные действия, такие как обман на тестах по разработке программного обеспечения путем доступа к запрещенным базам данных.