Компании, такие как Apple, создают AI-агентов с ограничениями

В экосистеме Apple и у производителей чипов, таких как Qualcomm, разрабатываются AI-ассистенты следующего поколения, но ранние отчёты показывают, что они создаются с определёнными ограничениями. По данным Tom’s Guide, ранние версии этих ассистентов способны навигировать по приложениям, выполнять бронирования и управлять задачами в сервисах. Например, в приватной бета-версии агентная система успешно выполняла такие задачи, как бронирование услуг или публикация контента в приложениях. В одном из тестов она прошла через рабочий процесс приложения и достигла экрана оплаты, прежде чем запросить подтверждение у пользователя.

AI-агенты разрабатываются с контрольными точками одобрения. Чувствительные действия, особенно связанные с платежами или изменениями учётных записей, требуют подтверждения пользователя перед их выполнением. Модель «человек в цепочке» позволяет системе подготовить действие, но оставляет одобрение за пользователем. Исследования, связанные с работой AI Apple, изучали способы обеспечить паузу перед выполнением действий, которые пользователи не запрашивали явно.

Банковские приложения уже требуют подтверждения для переводов. Эта же идея теперь применяется к действиям, управляемым AI, в различных сервисах. Контрольный уровень возникает из ограничения доступа AI. Вместо того чтобы предоставлять системе полный доступ к приложениям и данным, компании устанавливают ограничения, например, какие приложения AI может использовать и когда могут быть инициированы действия.

На практике это означает, что AI может составить проект покупки или подготовить бронирование, но не сможет завершить его без одобрения. Это также означает, что системе не разрешено свободно перемещаться по всем сервисам, если не была предоставлена соответствующая разрешение. Согласно Tom’s Guide, это необходимо для обеспечения конфиденциальности. Если данные остаются на устройстве, это исключает необходимость отправки чувствительной информации на внешние серверы.

В таких областях, как платежи, ожидается, что AI-системы будут работать с партнёрами, у которых уже есть строгие правила. В одном из примеров сообщается, что сервисы поставщиков платежей интегрируются для обеспечения безопасной аутентификации перед завершением транзакций, хотя такие меры безопасности всё ещё находятся в разработке. Существующие системы действуют как дополнительный уровень надзора и могут устанавливать лимиты на транзакции или требовать дополнительной верификации.

Большая часть обсуждения вокруг управления AI сосредоточена на корпоративном использовании, включая такие области, как кибербезопасность и автоматизация в большом масштабе. Потребительская сторона представляет собой другую проблему, и компаниям необходимо разрабатывать контрольные механизмы, которые будут работать для повседневных пользователей. Это означает наличие чётких шагов одобрения и встроенных средств защиты конфиденциальности.

По мере того как AI приобретает способность выполнять действия, риски становятся выше, так как ошибки могут привести к финансовым потерям или утечке данных. Устанавливая контроль на нескольких уровнях, включая одобрение и инфраструктуру, компании пытаются управлять этими рисками. Такой подход может сформировать то, как агентный AI будет развиваться в ближайшее время. Вместо стремления к полной независимости компании, похоже, сосредоточены на контролируемых средах, где риски могут быть управляемыми.