Проблемы управления агентами ИИ в рамках EU AI Act 2026 года

Агенты ИИ обещают автоматическое перемещение данных между системами и принятие решений, однако в некоторых случаях они могут действовать без ясной записи о том, что, когда и почему они выполнили свои задачи. Это создает проблемы управления, за которые в конечном итоге отвечают руководители ИТ. Если организация не может проследить действия агента и не имеет надлежащего контроля над его полномочиями, руководители не могут доказать, что система работает безопасно или даже законно для регуляторов. Эта проблема станет особенно актуальной с августа этого года, когда начнется применение EU AI Act.

Согласно тексту Акта, за сбои в управлении, касающиеся ИИ, предусмотрены значительные штрафы, особенно в высокорисковых областях, таких как обработка персонально идентифицируемой информации или финансовые операции. Руководителям ИТ следует рассмотреть несколько шагов, которые могут снизить уровень риска. К ним относятся идентификация агентов, ведение обширных журналов, проверка политик, человеческий контроль, быстрая отмена, доступность документации от поставщиков и формулирование доказательств для представления регуляторам.

Одним из решений является использование Python SDK, такого как Asqav, который может криптографически подписывать каждое действие агента и связывать все записи с неизменяемой цепочкой хэшей, что больше ассоциируется с технологиями блокчейн. Если кто-то изменяет или удаляет запись, проверка цепочки терпит неудачу. Для команд управления использование централизованной, возможно, зашифрованной системы учета для всех агентов ИИ является мерой, которая предоставляет данные, выходящие за рамки разрозненных текстовых журналов, создаваемых отдельными программными платформами.

Несмотря на технические детали, руководители ИТ должны видеть, где, когда и как агенты действуют в рамках предприятия. Многие организации терпят неудачу на первом этапе записи автоматизированной активности, управляемой ИИ. Необходимо вести реестр каждого агента в работе с уникальной идентификацией, а также записи его возможностей и предоставленных разрешений. Этот «реестр активов агентов» идеально вписывается в требования статьи 9 EU AI Act, которая гласит, что управление рисками ИИ в высокорисковых областях должно быть непрерывным, основанным на доказательствах процессом, встроенным на каждом этапе развертывания.

Также важно, чтобы любой развертывание агентов ИИ обеспечивало возможность быстрой отмены операционной роли ИИ, желательно в течение нескольких секунд. Способы отмены должны включать немедленное удаление привилегий, прекращение доступа к API и очистку очереди задач. Наличие человеческого контроля, в сочетании с предоставлением достаточного контекста для принятия обоснованных решений, означает, что операторы должны иметь возможность отклонять любые предложенные действия. Эффективный контроль требует информации о контексте, полномочиях каждого агента и времени, достаточном для вмешательства и предотвращения ошибок.

Многоагентные процессы особенно сложны для отслеживания, так как сбои могут происходить среди цепочек агентов. Поэтому важно тестировать политики безопасности во время разработки любой системы, которая намерена использовать несколько агентов. Наконец, регулирующие органы могут потребовать журналы и техническую документацию в любое время, а также определенно потребуют их после любого инцидента, о котором они были уведомлены.

Вопрос, который должны рассмотреть руководители ИТ, использующие ИИ в чувствительных данных или в высокорисковых средах, заключается в том, можно ли идентифицировать, ограничить политикой, аудитировать, прерывать и объяснять каждый аспект технологии. Если ответ неясен, управление еще не налажено.