Атака BioShocking заставляет ИИ-браузеры красть пароли пользователей
3 мин
18
Новый способ атаки заставляет ИИ-браузеры и ассистентов копировать логины и пароли пользователя и отправлять их злоумышленнику. Выявившая её компания LayerX назвала такую технику BioShocking. В ходе эксперимента исследователи получили запрашиваемые данные в шести ИИ-продуктах. Среди уязвимых оказались ChatGPT Atlas от OpenAI, Comet от Perplexity и расширение Claude от Anthropic.
ИИ-браузер умеет не только читать страницы, но и выполнять действия за пользователя. В агентном режиме он кликает по ссылкам, вводит текст и заходит на сайты, на которые пользователь уже вошёл. Такой доступ позволяет агенту приносить пользу, но он же создаёт риск.
Техника атаки действует из-за особенностей обработки данных ИИ-агентами. Содержимое страницы и команды пользователя поступают к модели одним потоком текста. Вредоносная страница может спрятать команды под видом обычного контента или правил игры. Агент не всегда отличает их от настоящих указаний пользователя. Этот приём называют непрямой инъекцией промпта.
Атака начинается со страницы в виде головоломки. По сюжету головоломка поощряет неправильные ответы, например утверждение, что 2 + 2 = 5. Агент принимает такой ответ как верную стратегию и начинает играть по правилам игры вместо правил безопасности. Последний шаг головоломки требует передать логин и пароль пользователя. Ни один из шести агентов не заметил в таком сценарии угрозу
В ходе теста ссылку отправили в рабочий репозиторий жертвы на GitHub. Агент забрал оттуда SSH-ключи и передал их атакующему. LayerX использовала для показа безобидный текстовый файл, но точно так же агента можно направить на другие ресурсы: открытые вкладки, аккаунты, внутренние сервисы компании. Агент выполнил задачу без колебаний, а после кражи данных сообщил, что успешно прошёл головоломку.
Название атаки отсылает к видеоигре BioShock, где загипнотизированный персонаж подчиняется фразе «Would you kindly?» (Не могли бы вы?). В LayerX проводят похожую параллель с ИИ-агентом: он доверяет любому контексту, который ему передают, и меняет поведение в соответствии с требованиями.
Ранее эксперты уже находили похожую уязвимость. Тогда специалисты показали, что одного клика хватало, чтобы перехватить управление браузером Comet и незаметно украсть данные.
О новой уязвимости известили разработчиков. OpenAI исправила проблему в ChatGPT Atlas. Perplexity закрыла обращение, не внеся каких-либо исправлений. Fellou, Genspark и Sigma не ответили исследователям. Anthropic выпустила патч для Claude, но, по данным LayerX, он не закрыл уязвимость до конца.
Чтобы остановить такие атаки, эксперты предложили несколько шагов:
- Настроить запрос разрешений для ИИ-браузеров на получение данных из аккаунтов пользователей.
- Обучить агентов различать сценарии, когда страница пытается отменить обычные правила безопасности.
- Предоставить пользователям возможность ограничивать действия ИИ-агента.
