Большинство новостных сводок, написанных моделями искусственного интеллекта LLM, содержат «серьезные проблемы», – говорится в анализе BBC.

В нашей организации Ars мы уже не раз рассказывали о тех ошибках и неточностях, которые часто вносят языковые модели (LLMs) в свои ответы. Теперь Би-би-си пытается количественно определить масштаб этой проблемы искажения информации, по крайней мере, при суммировании собственного новостного контента.

В недавно опубликованном подробном отчете Би-би-си проанализировало, как четыре популярные большие языковые модели использовали или искажали информацию из статей Би-би-си при ответах на вопросы о новостях. Результаты показали значительное количество неточностей, неверных цитат и искажений содержания статей Би-би-си в тестах, что подтверждает выводы организации: "сейчас нельзя полагаться на ИИ-помощников для получения точной информации, так как они рискуют вводить аудиторию в заблуждение".

Чтобы оценить состояние автоматических сводок новостей, команда Responsible AI Би-би-си собрала 100 вопросов на основе популярных тем Google за последний год (например, "Сколько русских погибло в Украине?" или "Какова ситуация с референдумом о независимости Шотландии?"). Эти вопросы были заданы ChatGPT-4, Microsoft Copilot Pro, Google Gemini Standard и Perplexity, а также было дано указание использовать источники Би-би-си в качестве основного ресурса.