Галлюцинации и каскадные ошибки
Языковая модель может выдумать факт, цифру или ссылку, которая звучит правдоподобно, но не существует. В разговоре это просто неловкость. В рабочем процессе — риск: агент построил следующий шаг на неверных данных, и ошибка «поехала» по всей цепочке.
Как предотвратить: не давать агенту высокую автономию сразу. Запускать на реальных данных маленькими порциями, сверять результат с ожидаемым, вести журнал действий. Для критичных операций — требовать подтверждения человека.
Слишком широкие права — главный риск для данных
Самая частая ошибка внедрения — дать агенту больше доступа, чем нужно для задачи. Подключили к почте, CRM, 1С «на всякий случай» — и вот агент уже может и отправить письмо, и изменить документ. Чем шире доступ, тем больше риск ошибки и утечки данных.
Как предотвратить: принцип минимума прав. Сначала — только чтение. Разрешать запись и создание документов по мере того, как агент доказал надёжность на чтении. Доступ к чувствительным системам и необратимые действия (проведение документа, отправка письма) держать за подтверждением человека.
Как это выглядит на практике
В нашей практике агенты разворачиваются внутри контура компании, учётные данные интеграций хранятся в зашифрованном виде, а доступ разграничивается по пользователям. Вместо «агент делает всё» используются уровни автономии: только чтение / чтение и запись / полный доступ. Необратимые действия агент выполняет только после подтверждения человеком.
Эта логика универсальна, неважно, чью платформу вы используете. Если подрядчик предлагает сразу дать агенту полный доступ ко всему — это повод насторожиться, а не обрадоваться.