Я проверил глубокий анализ ChatGPT по самому непонятному закону интернета

В огромном числе областей, где применялась генеративная ИИ, право является, пожалуй, самым явным местом неудачи. Инструменты, такие как ChatGPT от OpenAI, привели к дисциплинарным взысканиям юристов и публичному унижению экспертов, выдавая заключения на основе вымышленных случаев и несуществующих ссылок на исследования. Поэтому когда мой коллега Кайли Робизон получил доступ к новой функции «глубокого исследования» ChatGPT, моя задача была ясна: попробовать заставить этот якобы сверхмощный инструмент написать о праве, которое люди постоянно допускают ошибки. Я попросил Кайли собрать список решений федеральных судов и Верховного суда за последние пять лет, касающихся статьи 230 Закона об этичности в коммуникациях (Communications Decency Act), и дать краткий анализ того, как судьи трактовали это законодательство. Я хотел узнать у ChatGPT о текущем состоянии так называемых двадцати шести слов, которые создали интернет — тема, которую я постоянно слежу за ней на The Verge.

Хорошая новость: ChatGPT правильно выбрал и точно суммировал набор недавних судебных решений, все из которых действительно существуют. Средняя новость: он упустил некоторые более общие моменты, которые мог бы отметить компетентный человек. Плохая новость: инструмент проигнорировал целый год судебных решений, что говорит о серьезной недостаточности его анализа.

Краткий итог показывает, что хотя ChatGPT способен работать с реальными законодательными актами и подбирать соответствующие решения, он всё же не всегда улавливает глубокий контекст и не охватывает все важные аспекты.