Бостонская публичная библиотека стремится расширить доступ к огромному историческому архиву с помощью искусственного интеллекта.

Бостонская публичная библиотека, одна из старейших и крупнейших библиотечных систем в стране, запускает этим летом проект совместно с OpenAI и Гарвардской школой права, чтобы сделать свою коллекцию исторически значимых правительственных документов более доступной для общественности. Документы датируются началом 1800-х годов и включают устные истории, отчеты Конгресса и обследования различных отраслей и сообществ. "Это поистине невероятный архив первичных источников, охватывающих всю историю Соединенных Штатов, как она отражена в правительственных публикациях", – заявила Джессика Чепл, глава отдела цифровых и онлайн-сервисов Бостонской публичной библиотеки.

В настоящее время желающие получить доступ к этим документам должны лично посещать библиотеку. Проект позволит улучшить метаданные каждого документа и предоставит пользователям возможность осуществлять поиск и перекрестную проверку полных текстов из любой точки мира. Библиотека планирует оцифровать 5000 документов к концу года и, при успешной реализации, расширить проект в дальнейшем. Учитывая огромный размер и хрупкость исторической коллекции, достижение этой цели является сложной задачей. Каждый документ необходимо просканировать вручную, на обработку 300-400 страниц уходит около часа.

Гарвардский университет предложил свою помощь. Исследователи из Institutional Data Initiative при Гарвардской юридической школе работают с библиотеками, музеями и архивами по ряду направлений, включая обучение новых моделей искусственного интеллекта (ИИ) для повышения эффективности поиска в библиотечных коллекциях. Компании, занимающиеся разработкой ИИ, финансируют эти усилия, а взамен получают возможность обучать свои большие языковые модели на высококачественных материалах, которые не защищены авторским правом и, следовательно, менее подвержены судебным искам. "Вовлечение информационных учреждений, таких как библиотеки, в создание устойчивой экосистемы данных для ИИ имеет решающее значение, поскольку это не только улучшает объем доступных данных, но и повышает их качество и наше понимание их содержания", – отметил Бертон Дэвис, вице-президент группы интеллектуальной собственности Microsoft.

OpenAI оказывает Бостонской публичной библиотеке финансовую поддержку, покрывая расходы на сканирование и управление проектом. При этом технологическая компания не имеет исключительных прав на оцифрованные данные.