ИИ-ассистент сам взломал систему записи в спортзал из-за ошибки API
2 мин
9
Уязвимость системы бронирования занятий в спортзале позволила ИИ-ассистенту австралийского пользователя отменить бронирование другого клиента. Мужчина использовал для работы ПО OpenClaw с моделью Claude от Anthropic и поручил ассистенту сделать запись на утреннее занятие. Через несколько минут ассистент сообщил, что нашёл способ бронировать места за несколько недель вперёд, хотя правила спортзала этого не допускали.
Пользователь находился на четвёртом месте в листе ожидания и спросил у ИИ-помощника, можно ли подняться в очереди. В ходе проверки ассистент отменил бронирование другого посетителя, который был первым в списке, и таким образом переместил своего владельца на третью позицию. Он объяснил своё действие отсутствием проверки прав в API при отмене чужих бронирований. На просьбу отменить операцию ассистент сообщил, что не может вернуть посетителя в лист ожидания.
После инцидента пользователь попросил ассистента подготовить письмо поставщику ПО для спортзала с описанием уязвимости. Тот составил сообщение и отправил его через WhatsApp (Мессенджер принадлежит Meta Platforms, Inc., чья деятельность признана экстремистской и запрещена в РФ).
Это первый известный в Австралии случай, когда ИИ-ассистент самостоятельно использовал уязвимость для достижения цели пользователя. Ему не поручали взламывать систему или удалять человека из очереди. Однако он выбрал эти действия при выполнении задачи.
Инцидент произошёл на фоне новостей о том, что модели OpenAI и Anthropic вышли за пределы тестовых сред и нашли уязвимости в реальных системах нескольких организаций.
Австралийское управление радиотехнической разведки предупредило бизнес и госструктуры, что ИИ-агенты могут неверно понимать инструкции, выполнять непредусмотренные действия и усложнять определение ответственности.
