Оцените производительность AI-агентов с Amazon Bedrock AgentCore

Ваш AI-агент успешно работал в демонстрации, впечатляя заинтересованные стороны и эффективно справляясь с тестовыми сценариями, но после развертывания в реальной среде возникли проблемы. Пользователи столкнулись с неправильными вызовами инструментов, непоследовательными ответами и неожиданными сбоями, что создало разрыв между ожидаемым поведением агента и реальным опытом пользователей. Оценка агентов представляет собой сложную задачу, с которой традиционное тестирование программного обеспечения не справляется. Поскольку большие языковые модели (LLMs) являются недетерминированными, один и тот же запрос может приводить к различным выборам инструментов и выводам. Это означает, что для понимания реального поведения вашего агента необходимо многократное тестирование каждого сценария.

Одно тестирование показывает, что может произойти, но не то, что происходит обычно. Без систематического измерения этих вариаций команды оказываются в ловушке ручного тестирования и реактивной отладки, что приводит к значительным затратам на API без четкого понимания, улучшают ли изменения производительность агента. Это создает неопределенность, делая каждую модификацию запроса рискованной и оставляя без ответа основной вопрос: «Стало ли агент сейчас действительно лучше?» В этом посте мы представляем Amazon Bedrock AgentCore Evaluations, полностью управляемый сервис для оценки производительности AI-агентов на протяжении всего жизненного цикла разработки.

Мы расскажем, как сервис измеряет точность агентов по нескольким качественным параметрам, объясним два подхода к оценке для разработки и производства, а также поделимся практическими рекомендациями по созданию агентов, которых можно развернуть с уверенностью. Оценка агентов требует нового подхода, так как при отправке запроса пользователем происходит множество последовательных решений. Агент определяет, какие инструменты (если таковые имеются) вызвать, выполняет эти вызовы и генерирует ответ на основе результатов. Каждый шаг вводит потенциальные точки сбоя.

Определение критериев оценки, создание тестовых наборов данных, представляющих реальные запросы пользователей, и выбор методов оценки, которые могут последовательно оценивать качество, являются важными аспектами. Без этого основополагающего шага разрыв между тем, что команды надеются, что их агенты будут делать, и тем, что они могут доказать, становится реальным бизнес-риском. Для преодоления этого разрыва необходим непрерывный цикл оценки, в рамках которого команды создают тестовые случаи, запускают их против агента, оценивают результаты, анализируют сбои и внедряют улучшения.

Amazon Bedrock AgentCore Evaluations была запущена на AWS re:Invent 2025 и теперь доступна для общего использования. Она управляет оценочными моделями, инфраструктурой вывода, данными и масштабированием, позволяя командам сосредоточиться на улучшении качества агентов, а не на создании и поддержании систем оценки. С помощью встроенных оценщиков, квоты моделей и мощность вывода полностью управляются, что означает, что организации, оценивающие множество агентов, не расходуют свои собственные квоты. AgentCore Evaluations исследует поведение агента с использованием OpenTelemetry, собирая распределенные трассировки приложений и обеспечивая полное контекстное понимание для значимой оценки.