Anthropic не публикует новый ИИ-модель из-за уязвимостей в кибербезопасности

Модель Claude Mythos Preview от компании Anthropic уже обнаружила тысячи уязвимостей в кибербезопасности, затрагивающих все основные операционные системы и веб-браузеры. Вместо того чтобы выпустить её в открытый доступ, компания решила передать модель организациям, отвечающим за безопасность интернета. Инициатива получила название Project Glasswing, а среди её партнёров числятся такие компании, как Amazon Web Services, Apple, Google и Microsoft.

Anthropic выделяет до 100 миллионов долларов в виде кредитов на использование Mythos Preview, а также 4 миллиона долларов в виде прямых пожертвований организациям, занимающимся безопасностью с открытым исходным кодом. Хотя Mythos Preview не была специально обучена для работы в области кибербезопасности, её способности возникли в результате улучшений в кодировании, логике и автономии.

Модель достигла уровня, когда она практически полностью удовлетворяет существующим стандартам безопасности, что заставило Anthropic переключить внимание на новые задачи в реальном мире, такие как нулевые уязвимости, которые ранее были неизвестны разработчикам программного обеспечения. Среди обнаруженных проблем – 27-летний баг в OpenBSD и 17-летняя уязвимость в FreeBSD, которая позволяет неавторизованным пользователям получать полный контроль над серверами.

Николас Карлини из исследовательской команды Anthropic отметил, что модель может создавать эксплойты из нескольких уязвимостей, что значительно увеличивает её эффективность. Однако, несмотря на эти достижения, Anthropic не планирует делать Claude Mythos Preview общедоступной из-за её кибербезопасностных возможностей.

Компания ранее сообщала о первом задокументированном случае кибератаки, в которой основную роль играли ИИ-агенты, использованные группой, поддерживаемой китайским государством. Anthropic также проинформировала высокопоставленных чиновников США о возможностях Mythos Preview, и теперь разведывательное сообщество активно рассматривает, как эта модель может изменить как наступательные, так и защитные операции хакеров.

Кроме того, Anthropic делает акцент на открытом программном обеспечении, предоставляя средства на развитие безопасности для поддерживающих его организаций. В конечном итоге компания планирует развернуть модели Mythos в широком масштабе, но только после внедрения новых мер безопасности.