Spring AI SDK для Amazon Bedrock AgentCore стал доступен

2 просмотров Источник
Spring AI SDK для Amazon Bedrock AgentCore стал доступен

Agentic AI меняет подход организаций к использованию генеративного ИИ, переходя от простых взаимодействий к автономным системам, способным планировать и выполнять сложные многослойные задачи. Хотя ранние концепции в области Agentic AI вызывают интерес у бизнес-стейкхолдеров, их масштабирование требует решения проблем с масштабируемостью, управлением и безопасностью. Amazon Bedrock AgentCore представляет собой платформу для создания, развертывания и эксплуатации агентов в большом масштабе с использованием любых фреймворков и моделей.

Разработчики на Java стремятся создавать ИИ-агентов, используя известные шаблоны Spring, однако развертывание в производственной среде требует сложной инфраструктуры, которую трудно реализовать с нуля. Amazon Bedrock AgentCore предоставляет строительные блоки, такие как управляемая инфраструктура выполнения (масштабируемость, надежность, безопасность, наблюдаемость), а также память, автоматизацию браузера и выполнение кода в песочнице. Интеграция этих возможностей в приложение Spring требует написания пользовательских контроллеров, обработки потоковой передачи событий на стороне сервера, реализации проверок состояния и управления лимитами запросов.

С новым Spring AI AgentCore SDK вы можете создавать готовых к производству ИИ-агентов и запускать их на высокомасштабируемой платформе AgentCore Runtime. Этот SDK является открытой библиотекой, которая встраивает возможности Amazon Bedrock AgentCore в Spring AI через известные шаблоны: аннотации, автоматическую конфигурацию и составные советники. Разработчики SpringAI добавляют зависимость, аннотируют метод, и SDK берет на себя остальное.

AgentCore Runtime управляет жизненным циклом агентов и их масштабированием с оплатой по факту использования, что означает, что вы не платите за неиспользуемые вычисления. Runtime направляет входящие запросы к вашему агенту и следит за его состоянием, однако это требует от вашего агента соблюдения контракта. Контракт требует, чтобы реализация предоставляла два конечных пункта: /invocations для получения запросов и возврата ответов в формате JSON или потоковой передачи SSE, и /ping для проверки состояния.

SDK автоматически реализует этот контракт, включая обнаружение асинхронных задач, которое сообщает о статусе занятости, когда ваш агент обрабатывает запрос. В дополнение к контракту, SDK предоставляет дополнительные возможности для рабочих нагрузок, такие как обработка SSE-ответов с правильным кадрированием и управление жизненным циклом соединений для больших ответов. Он также предлагает ограничение скорости, чтобы защитить вашего агента от скачков трафика и ограничить потребление на пользователя. Вы сосредотачиваетесь на логике агента, пока SDK обрабатывает интеграцию с платформой.

Похожие статьи