Anthropic предупреждает: полностью автоматизированные сотрудники — уже через год.

Компания Anthropic прогнозирует, что уже в следующем году компании начнут использовать виртуальных сотрудников на базе искусственного интеллекта, что повлечет за собой новые риски, такие как неправомерное использование учетных записей и несанкционированные действия. Как сообщает Axios, виртуальные сотрудники могут стать следующим центром инноваций в области ИИ.

Агенты, как правило, ориентированы на конкретную, программируемую задачу. В сфере безопасности это подразумевает использование автономных агентов для реагирования на фишинговые атаки и другие индикаторы угроз. Виртуальные сотрудники пойдут дальше, автоматизируя процессы: эти ИИ-идентичности будут обладать собственной "памятью", выполнять определенные роли в компании и даже иметь собственные корпоративные учетные записи и пароли. Они будут обладать уровнем автономии, значительно превосходящим возможности современных агентов.

"В этом мире существует множество проблем, которые нам еще предстоит решить с точки зрения безопасности", – заявил Джейсон Клинтон (Jason Clinton), главный специалист по информационной безопасности Anthropic.

Среди этих проблем – обеспечение безопасности учетных записей ИИ-сотрудников, определение уровня доступа к сети и установление ответственности за их действия. Anthropic считает, что у компании есть две ключевые задачи для решения проблем безопасности, связанных с ИИ. Во-первых, необходимо тщательно тестировать модели Claude, чтобы убедиться в их устойчивости к кибератакам. Во-вторых, необходимо отслеживать вопросы безопасности и смягчать последствия, связанные с неправомерным использованием Claude злоумышленниками.

По мнению Джейсона Клинтона, ИИ-сотрудники могут выйти из-под контроля и взломать систему непрерывной интеграции компании – среду, в которой новый код объединяется и тестируется перед развертыванием – в процессе выполнения задачи. "В старом мире это было бы наказуемым преступлением", – отметил он. "Но в новом мире кто несет ответственность за агента, который работал несколько недель и дошел до этого?" Джейсон Клинтон утверждает, что обеспечение безопасности виртуальных сотрудников – одна из важнейших областей, в которые ИИ-компании будут инвестировать в ближайшие несколько лет.