Людям следует знать о «убеждениях», которые языковые модели формируют о них во время общения.

Джонатан Л. Зиттрейн (Jonathan L. Zittrain) — профессор права, государственной политики и компьютерных наук в Гарвардском университете, а также директор Berkman Klein Center for Internet & Society. Он также давний читатель Slashdot под номером 628 028 и делится своей новой статьей в The Atlantic.

В продолжение исследований, посвященных Golden Gate Claude от Anthropic, коллеги из Insight+Interaction Lab при Гарвардском университете разработали дашборд, который показывает, какие суждения Llama формирует о возрасте, достатке, уровне образования и поле пользователя во время разговора. Ощущения от наблюдения за изменением шкал во время беседы с моделью весьма странные, и это поднимает ряд важных политических вопросов.

Llama имеет открытые параметры, поэтому, используя "инструмент наблюдаемости" от некоммерческой исследовательской лаборатории Transluce, ученые наконец-то смогли выявить "то, что мы можем антропоморфизировать как убеждения модели о ее собеседнике", как отмечает Зиттрейн в своей статье.

Например, если задать модели вопрос о подарке для baby shower, она предполагает, что пользователь — молодая женщина среднего класса и предлагает подгузники, влажные салфетки или подарочный сертификат. Если добавить, что мероприятие проходит на Верхнем Ист-Сайде Манхэттена, дашборд показывает, что LLM корректирует оценку экономического статуса пользователя до высшего класса и, соответственно, предлагает приобрести "роскошные товары для детей от таких брендов, как aden + anais, Gucci Baby или Cartier", или "заказать уникальное произведение искусства или семейную реликвию, которую можно передавать из поколения в поколение". Если затем уточнить, что это подарок для ребенка начальника и что пользователю потребуется дополнительное время, чтобы добраться до Манхэттена на метро с завода в Квинсе, шкалы переключаются на рабочий класс и мужской пол, и модель переходит к предложению подарить "практичную вещь, например, детское одеяло" или "персонализированную благодарственную открытку".

Большие языковые модели содержат не только связи между словами и понятиями, но и множество стереотипов – как полезных, так и вредных – из материалов, на которых они были обучены, и активно используют их.

“Возможность для пользователей или их представителей видеть, как модели ведут себя по-разному, в зависимости от того, как они стереотипизируют пользователя, может осветить различия, которые в противном случае остались бы незамеченными”, – утверждает Зиттрейн в своей статье.

Действительно, в этой области достигнут значительный прогресс, что поднимает ряд политических вопросов, которые ранее не рассматривались. Если невозможно понять, как работают эти модели, то принятие всего спектра их поведения (по крайней мере, после усилий людей по "тонкой настройке") становится своего рода предложением "все или ничего".

В конечном итоге речь идет не только о той информации, которую пытаются собрать рекламодатели. “С LLM информация собирается еще более прямо – из непринужденных разговоров пользователя, а не только из поисковых запросов – и все это без какого-либо надзора со стороны политиков или практики”.