Spring AI SDK для Amazon Bedrock AgentCore стал доступен
Agentic AI меняет подход организаций к использованию генеративного ИИ, переходя от простых взаимодействий к автономным системам, способным планировать и выполнять сложные многослойные задачи. Хотя ранние концепции в области Agentic AI вызывают интерес у бизнес-стейкхолдеров, их масштабирование требует решения проблем с масштабируемостью, управлением и безопасностью. Amazon Bedrock AgentCore представляет собой платформу для создания, развертывания и эксплуатации агентов в большом масштабе с использованием любых фреймворков и моделей.
Разработчики на Java стремятся создавать ИИ-агентов, используя известные шаблоны Spring, однако развертывание в производственной среде требует сложной инфраструктуры, которую трудно реализовать с нуля. Amazon Bedrock AgentCore предоставляет строительные блоки, такие как управляемая инфраструктура выполнения (масштабируемость, надежность, безопасность, наблюдаемость), а также память, автоматизацию браузера и выполнение кода в песочнице. Интеграция этих возможностей в приложение Spring требует написания пользовательских контроллеров, обработки потоковой передачи событий на стороне сервера, реализации проверок состояния и управления лимитами запросов.
С новым Spring AI AgentCore SDK вы можете создавать готовых к производству ИИ-агентов и запускать их на высокомасштабируемой платформе AgentCore Runtime. Этот SDK является открытой библиотекой, которая встраивает возможности Amazon Bedrock AgentCore в Spring AI через известные шаблоны: аннотации, автоматическую конфигурацию и составные советники. Разработчики SpringAI добавляют зависимость, аннотируют метод, и SDK берет на себя остальное.
AgentCore Runtime управляет жизненным циклом агентов и их масштабированием с оплатой по факту использования, что означает, что вы не платите за неиспользуемые вычисления. Runtime направляет входящие запросы к вашему агенту и следит за его состоянием, однако это требует от вашего агента соблюдения контракта. Контракт требует, чтобы реализация предоставляла два конечных пункта: /invocations для получения запросов и возврата ответов в формате JSON или потоковой передачи SSE, и /ping для проверки состояния.
SDK автоматически реализует этот контракт, включая обнаружение асинхронных задач, которое сообщает о статусе занятости, когда ваш агент обрабатывает запрос. В дополнение к контракту, SDK предоставляет дополнительные возможности для рабочих нагрузок, такие как обработка SSE-ответов с правильным кадрированием и управление жизненным циклом соединений для больших ответов. Он также предлагает ограничение скорости, чтобы защитить вашего агента от скачков трафика и ограничить потребление на пользователя. Вы сосредотачиваетесь на логике агента, пока SDK обрабатывает интеграцию с платформой.
Scotiabank запускает AI-рамки для оптимизации операций
Оптимизация использования GPU для эффективного обучения моделей
Похожие статьи
Исследователи Meta представили гиперагенты для самообучающегося ИИ
Исследователи Meta представили гиперагенты, которые улучшают ИИ для не программируемых задач.
OpenAI обновляет SDK для агентов, чтобы помочь компаниям создавать более безопасные решения
OpenAI обновила SDK для агентов, добавив новые функции для бизнеса.
Оптимизация использования GPU для языковых моделей и снижение затрат
Оптимизация GPU для языковых моделей снижает затраты и повышает эффективность.