ChatGPT и Google Gemini плохо справляются с суммированием новостей, согласно новому исследованию

Новое исследование BBC показало, что искусственные интеллектовые чат-боты не могут точно суммировать новости. В ходе исследования были протестированы такие системы как ChatGPT, Gemini, Copilot и Perplexity на способности суммировать статьи с сайта BBC. Результаты оказались тревожными: 51% ответов содержало значительные проблемы, а 19% вводило фактические ошибки.

Исследование показало, что "51% всех ответов AI на вопросы о новостях было признано имеющим серьезные проблемы", и "19% ответов с использованием контента BBC содержали фактические ошибки". В исследовании представлены примеры неточностей: например, Gemini неправильно утверждала, что Национальная служба здравоохранения не рекомендует вейпинг как средство для бросания курения. ChatGPT и Copilot продолжали утверждать о том, что Риши Сунак (Rishi Sunak) и Никола Стерджен (Nicola Sturgeon) остаются на своих должностях, даже после того, как они покинули их.

Исследование также выявило, что AI "страдает от неспособности различать мнение и факты, придает редакционный тон и часто упускает важные детали контекста". Эти результаты подтверждают проблемы с инструментами суммирования новостей, которые мы уже видели ранее, включая ошибки Apple Intelligence, что привело к временному удалению этой функции в iOS 18.3.

Исследование BBC выявило, что "Microsoft's Copilot и Google's Gemini имели больше значительных проблем по сравнению с OpenAI's ChatGPT и Perplexity". Хотя это исследование не предоставляет новых подробностей, оно подтверждает недоверие к инструментам суммирования новостей AI и акцентирует важность осторожного отношения к информации от чат-ботов.

Искусственный интеллект развивается стремительно, большие языковые модели (LLMs) выпускаются практически каждую неделю. Однако ожидать ошибок все еще приходится. По моим личным наблюдениям, недавно в программном обеспечении ChatGPT стало меньше неточностей и галлюцинаций по сравнению с несколькими месяцами назад.

Сэм Олтман (Sam Altman) заявил в своем блоге, что развитие AI происходит быстрее, чем предсказывает закон Мура, что означает постоянное улучшение программного обеспечения и его взаимодействия с окружающим миром. Тем не менее, пока лучше не доверять AI для ежедневных новостей, особенно если речь идет о технической информации, стоит предпочесть TechRadar.