По мере того как Россия и Китай «засевают чат-боты ложью», любой злоумышленник может использовать ИИ таким же образом.

Россия автоматизирует распространение ложной информации, чтобы обмануть ИИ-чатботы, сообщает Washington Post. (Когда исследователи проверили 10 чатботов, треть ответов повторили ложные пророссийские сообщения.)

В статье утверждается, что эта тактика предлагает "инструкцию другим злоумышленникам о том, как манипулировать ИИ для распространения контента, призванного разжигать, влиять и запутывать, а не информировать", и называет это "фундаментальной слабостью ИИ-индустрии".

Ответы чатботов зависят от данных, которые им предоставляются. Основной принцип заключается в том, что чем больше чатботы читают, тем более обоснованными будут их ответы, поэтому индустрия жаждет контента. Однако массовое количество тщательно подобранной дезинформации может исказить ответы по конкретным темам. Для России это война в Украине. Но для политика это может быть оппонент, а для коммерческой фирмы – конкурент. "Большинство чатботов испытывают трудности с дезинформацией", – заявила Джада Пистилли, главный этик платформы open-source AI Hugging Face. "У них есть базовые меры защиты от вредоносного контента, но они не могут надежно выявлять изощренную пропаганду, и проблема усугубляется системами, дополненными поиском, которые отдают приоритет самой свежей информации".

Ранние коммерческие попытки манипулирования результатами чатботов также набирают обороты: некоторые из тех же цифровых маркетологов, которые раньше предлагали поисковую оптимизацию (SEO) для повышения позиций в Google, теперь пытаются увеличить количество упоминаний ИИ-чатботами с помощью "оптимизации генеративных поисковых систем" (GEO).

Наша текущая ситуация "играет на руку тем, у кого больше всего средств и возможностей: на данный момент, по словам экспертов, это национальные правительства с опытом распространения пропаганды".

Россия и, в меньшей степени, Китай используют это преимущество, заполняя информационное пространство вымышленными историями. Но любой может сделать то же самое, затратив гораздо меньше ресурсов, чем предыдущие операции тролль-ферм... В странном повороте событий, который озадачивал исследователей в течение года, эти сайты почти не посещаются людьми, их трудно просматривать или искать. Вместо этого их контент предназначен для краулеров – программного обеспечения, которое сканирует веб и возвращает контент для поисковых систем и больших языковых моделей. Хотя эти ИИ-проекты обучаются на различных наборах данных, все большее количество из них предлагают чатботов, которые ищут информацию в текущем интернете. Вероятность того, что они подхватят что-то ложное, выше, если это свежая информация, и тем более, если сотни страниц в интернете говорят об одном и том же.

Этот маневр еще более эффективен, поскольку российская операция смогла разместить ссылки на статьи из сети "Правда" на страницах Википедии и в публичных группах Facebook, вероятно, с помощью человеческих подрядчиков. Многие ИИ-компании придают особый вес Facebook и особенно Википедии как надежным источникам. (Википедия сообщила в этом месяце, что ее расходы на пропускную способность увеличились на 50 процентов за чуть более года, в основном из-за краулеров ИИ...)

В прошлом месяце другие исследователи попытались выяснить, работает ли этот маневр. Финская компания Check First просканировала Википедию и обнаружила почти 2000 гиперссылок на страницах на 44 языках, которые указывали на 162 веб-сайта "Правды". Она также обнаружила, что часть ложной информации, продвигаемой "Правдой", появляется в ответах чатботов.

"Ситуация еще лучше в Китае", – отмечается в статье, – "где традиционные СМИ находятся под более строгим контролем и существует меньше источников для ботов". (Некоммерческая организация American Sunlight Project называет этот процесс "обучением LLM").

В статье цитируется ведущий кремлевский пропагандист, который заявил в январе: "Мы можем фактически изменить мировой ИИ".