Учёные предостерегают от восприятия результатов работы искусственного интеллекта как человеческого мышления.

Исследователи из Университета штата Аризона (Arizona State University) выступают против распространенной практики описания промежуточного текстового генерирования в языковых моделях искусственного интеллекта как «рассуждений» или «мышления». Они утверждают, что такая антропоморфизация создает опасные заблуждения о том, как эти системы на самом деле работают.

Исследовательская группа под руководством Суббарао Камбхампати (Subbarao Kambhampati) изучила последние модели «рассуждений», такие как R1 от DeepSeek, которые генерируют длинные последовательности промежуточных токенов перед предоставлением окончательных ответоv на сложные задачи. Хотя эти модели демонстрируют улучшенные результаты, а их промежуточные выходные данные часто напоминают черновики человека, исследователи обнаружили мало доказательств того, что эти токены представляют собой подлинные процессы рассуждения.

Важно отметить, что анализ также показал, что модели, обученные на неверных или семантически бессмысленных промежуточных трассах, могут поддерживать или даже улучшать производительность по сравнению с моделями, обученными на правильных шагах рассуждений. Исследователи проверили это, обучив модели на намерено искаженных алгоритмических трассах и обнаружили устойчивое улучшение, несмотря на семантический шум.

В своей работе ученые предупреждают, что интерпретация этих промежуточных выходных данных как интерпретируемых трасс рассуждений порождает ложное чувство увepeнности в возможностях искусственного интеллекта и может ввести в заблуждение как исследователей, так и пользователей относительно фактических механизмов решения проблем этими системами.