Исследование Salesforce показало, что LLM-агенты не проходят тесты на работу с CRM и конфиденциальность.

Новое исследование, проведенное компанией Salesforce, показало, что AI-агенты на основе больших языковых моделей (LLM) испытывают трудности при выполнении реальных задач в системах управления взаимоотношениями с клиентами (CRM). Успешность выполнения простых задач составляет всего 58%, а при выполнении многошаговых задач этот показатель снижается до 35%. Также была выявлена недостаточная осведомленность в вопросах конфиденциальности.

“Агенты демонстрируют низкий уровень осведомленности о конфиденциальности, который, хотя и может быть улучшен путем целенаправленного промптинга, часто негативно влияет на производительность при выполнении задач”, – говорится в исследовании, опубликованном в конце прошлого месяца.

Команда Salesforce AI Research утверждает, что существующие бенчмарки не позволяют в полной мере оценить возможности и ограничения AI-агентов, и в значительной степени игнорируют оценку их способности распознавать конфиденциальную информацию и соблюдать соответствующие протоколы обработки данных.

Инструмент CRMArena-Pro, разработанный исследовательским подразделением, получает поток реалистичных синтетических данных для заполнения организации Salesforce, которая служит средой моделирования. Агент обрабатывает запросы пользователей и принимает решение о вызове API или отправке ответа пользователю для получения дополнительной информации или предоставления ответа.

“Эти результаты указывают на значительный разрыв между текущими возможностями LLM и многогранными требованиями реальных корпоративных сценариев”, – говорится в исследовании.

Несмотря на это, AI-агенты могут быть полезны, однако организациям следует быть осторожными и не рассчитывать на какие-либо выгоды, пока они не будут доказаны.