Как не дать ИИ-агенту выдумывать: заземление и проверка фактов
Сильный ИИ-агент опасен не тогда, когда он не знает ответа. Опаснее момент, когда он отвечает уверенно, но без опоры. Текст звучит гладко, вывод кажется логичным, а источник либо не проверен, либо не имеет отношения к делу. Поэтому в рабочих системах важна не только "умность" модели, а заземление: связь ответа с документами, базами, ссылками и проверяемыми фактами.
В техническом руководстве Google Cloud по ИИ-агентам заземление описывается как один из ключевых механизмов доверия. По-русски можно сказать проще: агент должен не просто говорить, а показывать, на что он опирается. Если он делает вывод по договору, должна быть ссылка на договор. Если сравнивает цены, должны быть источники цен. Если предлагает действие, должна быть видна причина.
Заземление — это не украшение ответа
Частая ошибка — воспринимать ссылки как красивое дополнение к тексту. На самом деле ссылка нужна не для внешнего вида, а для проверки. Она отвечает на вопрос: можно ли восстановить путь от ответа к факту? Если нельзя, агент превращается в уверенного рассказчика. Если можно, появляется рабочий контроль.
В Google Cloud это связано с подходом RAG: модель сначала получает релевантные материалы из внешнего источника, а потом строит ответ на их основе. В документации Vertex AI RAG Engine этот механизм описан как способ давать модели доступ к данным, которых нет в ее базовом обучении. Для бизнеса это особенно важно: внутренние правила, договоры, инструкции, таблицы и история клиентов меняются быстрее, чем обучаются большие модели.
| Подход | По-человечески | Где полезен |
|---|---|---|
| Обычный поиск по базе | нашли похожий документ и дали его модели | FAQ, инструкции, регламенты |
| RAG | ответ строится рядом с найденными источниками | поддержка, обучение, юридические справки |
| GraphRAG | учитываются связи между фактами | сложные системы, медицина, продажи, проекты |
| Agentic RAG | агент сам планирует несколько поисковых шагов | исследования, закупки, аналитика |
Почему одного RAG мало
Сам по себе поиск по документам не решает всю проблему. Агент может найти правильный документ, но неправильно понять его роль. Может взять старую версию инструкции. Может процитировать правило без учета исключения. Поэтому заземление должно включать не только "документ найден", но и "документ подходит", "версия актуальна", "вывод следует из текста", "важное действие подтверждено человеком".
Это хорошо стыкуется с тем, что мы разбирали в статье про следы решений. Агенту полезны не только регламенты, но и история того, как эти регламенты применялись. Если правило разрешает одно, а прошлый похожий случай показал исключение, агент должен видеть оба слоя: формальный документ и живую историю решения.
Редакционный вывод: хороший агент не выглядит всезнающим. Хороший агент показывает, почему ему можно верить, и где его нужно остановить.
Как проверять рабочий ответ
Для практики удобно ввести простую проверку из четырех вопросов. Первый: какие источники использованы? Второй: актуальны ли они? Третий: есть ли шаг рассуждения, который нельзя проверить? Четвертый: требует ли действие ручного подтверждения?
Например, агент готовит коммерческое предложение. Он может взять описание услуги из базы знаний, цены из таблицы, требования клиента из переписки и ограничения из договора. Но если он предлагает нестандартную скидку или обещает срок, который зависит от команды, это уже не просто текст. Здесь нужна остановка: показать аргументы человеку и записать решение.
В статье про Agentic Design Patterns мы уже фиксировали: агент состоит из цели, инструментов, памяти, проверки и места человека. Заземление — это проверочная часть этой схемы. Оно не делает агента медленнее ради бюрократии. Оно делает его пригодным для работы там, где ошибка стоит денег, доверия или репутации.
Что делать компании
Начать можно без сложной платформы. Нужно выбрать один процесс, где ответы часто повторяются, но ошибки болезненны: поддержка, закупки, подготовка КП, обработка заявок, проверка документов. Затем собрать источники: актуальные инструкции, шаблоны, примеры прошлых решений, таблицы цен, ограничения. После этого включить правило: каждый важный вывод агента должен вести к источнику.
Если источник не найден, агент должен честно сказать "не знаю". Если источник найден, но вывод спорный, агент должен показать сомнение. Если действие влияет на деньги, права, клиента или публичную публикацию, агент должен остановиться перед человеком. Это не тормоз. Это нормальная рабочая защита.
