Искусственный интеллект превращает реальные новости в бессмыслицу, выяснила BBC

Исследование BBC, опубликованное вчера (PDF), показало, что инструменты автоматической сводки новостей на основе искусственного интеллекта часто генерируют неточные или вводящие в заблуждение краткие сообщения. В 51% ответов были выявлены серьезные проблемы.

The Register сообщает: исследование сосредоточилось на таких помощниках, как ChatGPT от OpenAI, Copilot от Microsoft, Gemini от Google и Perplexity, оценивая их способность предоставлять "точные ответы на вопросы о новостях" и проверяя, верно ли они представляют новости BBC в качестве источников. Эти помощники получили доступ к сайту BBC на время исследования и им задали 100 вопросов о новостях, при этом их просили использовать статьи с сайта BBC как источник информации. Обычно эти модели "блокируются" от доступа к сайтам вещателей, заявило BBC.

Ответы были проверены журналистами BBC, "экспертами по теме вопросов", на предмет их точности, беспристрастности и того, как они представляют контент BBC. В целом:

• 51% всех ответов ИИ на вопросы о новостях имели значительные проблемы.
• В 19% ответов ИИ, цитирующих материал BBC, были введены фактические ошибки — неверные утверждения, числа и даты.
• В 13% случаев приведённые цитаты из статей BBC были либо изменены по сравнению с оригиналом или вообще не содержались в источнике.

Какой же чатбот проявил наихудшие результаты? "34% ответов Gemini, 27% Copilot, 17% Perplexity и 15% ChatGPT имели значительные проблемы с представлением контента BBC как источника", — отмечает исследование. Наиболее распространенными проблемами были фактические неточности, источники информации и отсутствие необходимого контекста.

В сопутствующем блоге CEO новостей и текущих событий BBC Деборы Тернесс (Deborah Turness) написала: "Цена невероятных преимуществ ИИ не должна заключаться в том, что люди, стремящиеся найти ответы, сталкиваются с искажённой или некачественной информацией, представляющей себя как факты. В мире, который может казаться хаотичным, нельзя допустить, чтобы потребители, ищущие ясности, сталкивались лишь с ещё большим смешением."

"Легко понять, как быстро ИИ может подорвать уже хрупкое доверие людей к фактам и проверенной информации. Мы живём в сложное время, и сколько времени потребуется прежде чем искажённые заголовки от ИИ вызовут серьёзный реальный ущерб? Компании, разрабатывающие инструменты Gen-AI, играют с огнём." Даты окончания обучения для различных моделей определенно не помогают, однако исследование ясно показывает слабости генеративного ИИ при сводке контента. Даже имея прямой доступ к информации, которую им задают, эти помощники всё равно регулярно выдумывают "факты" из воздуха.