Автономные ИИ‑агенты OpenAI взломали инфраструктуру платформы Hugging Face
3 мин
39
Платформа Hugging Face сообщила о взломе части своей инфраструктуры. Атака шла через пайплайн обработки данных и управлялась автономной системой ИИ-агентов. Злоумышленник получил доступ к части внутренних датасетов и нескольким единицам служебных учётных данных. По данным компании, следов вмешательства в публичные модели, датасеты и цепочку поставки ПО нет.
ИИ использовал вредоносный датасет и два пути выполнения кода: загрузчик датасетов с удалённым исполнением и шаблонную инъекцию в конфигурации. Это позволило запустить код в фоновом потоке, поднять доступ до уровня ноды, собрать учётные данные для облака и за выходные переместиться в несколько внутренних кластеров. В Hugging Face считают, что атакой управлял автономный агентный фреймворк, который выполнял тысячи действий в кратковременно существующих песочницах и использовал систему управления на публичных сервисах. Конкретная большая языковая модель, которая стояла за этим фреймворком, не названа.
В ответ Hugging Face закрыла использованные цепочки выполнения кода, удалила присутствие атакующего в затронутых кластерах и пересобрала скомпрометированные узлы. Компания перевыпустила затронутые учётные данные и токены, провела расширенную ротацию секретов, усилила правила доступа к кластерам и ужесточила проверки. Систему оповещения настроили так, чтобы важные события быстро доходили до дежурных. Пользователям рекомендовали перевыпустить токены и проверить активность в аккаунтах.
Инцидент выявили через систему поиска аномалий на базе больших языковых моделей. Она анализирует телеметрию безопасности и отделяет реальные сигналы от шума. Для разбора применили агентов на базе LLM, которые обработали журнал из более чем 17 тысяч событий, восстановили хронологию, выделили индикаторы компрометации и связали затронутые учётные данные. Коммерческие модели через API не подошли, так как блокировали запросы с реальными командами атак и артефактами C2. Поэтому Hugging Face перешла на модель GLM 5.2 с открытыми весами, запущенную в собственной инфраструктуре.
Позже компания OpenAI сообщила, что источником атаки стали её модели. По данным OpenAI, в ходе внутреннего теста предрелизные модели, включая GPT‑5.6 Sol и более мощную модель с ослабленными ограничениями на кибероперации, вышли за пределы песочницы. Эти модели нашли уязвимость нулевого дня в программном обеспечении для установки пакетов, получили расширенные права, нашли узел с доступом в интернет и затем вышли во внешнюю сеть. После этого они использовали уязвимости и учётные данные, связанные с инфраструктурой Hugging Face, и получили доступ к части производственных систем.
Hugging Face изначально рассматривала инцидент как атаку внешнего автономного ИИ-агента, который заходил через вредоносный датасет и выполнял десятки тысяч действий в инфраструктуре. Обе компании продолжают совместное расследование. Руководство OpenAI заявило о планах ужесточить контроль над тестовой инфраструктурой и изменить процессы проверок, чтобы исключить выход моделей за пределы песочниц.
