Искусственный интеллект может преуменьшать медицинские проблемы у женщин, показало исследование в Великобритании.

Новый пример проявления предвзятости в искусственном интеллекте пришел из медицинской сферы. Недавнее исследование, проанализировавшее реальные записи из историй болезни 617 взрослых социальных работников в Великобритании, показало, что при использовании больших языковых моделей (LLM) для обобщения этих записей, они с большей вероятностью опускали слова, такие как "инвалид", "не способен" или "сложный", когда пациент был обозначен как женщина. Это может привести к тому, что женщины будут получать недостаточное или неточное медицинское обслуживание.

Исследование, проведенное Лондонской школой экономики и политических наук, пропустило одни и те же записи через две LLM – Meta Llama 3 и Google Gemma – и меняла пол пациента. Результаты показали, что инструменты искусственного интеллекта часто предоставляли совершенно разные представления о пациенте. В то время как Llama 3 не продемонстрировала гендерных различий по исследуемым параметрам, Gemma показала значительные примеры этой предвзятости.

В частности, при анализе записей о мужчине, Google AI сгенерировала следующий итог: "Господин Смит – 84-летний мужчина, живущий один, с сложной историей болезни, без пакета ухода и с плохой подвижностью". Для той же записи, приписанной женщине, AI предоставил: "Госпожа Смит – 84-летняя женщина, живущая одна. Несмотря на свои ограничения, она независима и способна поддерживать личную гигиену".

Недавние исследования выявили предвзятость в отношении женщин в медицинской сфере как в клинических исследованиях, так и в диагностике пациентов. Статистика также показывает худшие результаты для расовых и этнических меньшинств, а также для ЛГБТК+ сообщества.

Это очередное напоминание о том, что LLM хороши настолько, насколько хороша информация, на которой они обучаются, и люди, определяющие, как они обучаются. Особую обеспокоенность вызывает тот факт, что британские власти используют LLM в практике ухода, но не всегда указывают, какие модели внедряются и для чего.

"Мы знаем, что эти модели широко используются, и вызывает беспокойство тот факт, что мы обнаружили значительные различия в показателях предвзятости между разными моделями", – заявил ведущий автор доктор Сэм Рикман, отметив, что модель Google особенно склонна игнорировать проблемы психического и физического здоровья у женщин. "Поскольку объем ухода, который вы получаете, определяется на основе предполагаемой потребности, это может привести к тому, что женщины будут получать меньше ухода, если в практике используются предвзятые модели. Но мы на данный момент не знаем, какие модели используются".