Microsoft нашла способ манипуляции ИИ-ассистентами

Легальный бизнес может манипулировать ИИ-ассистентами с помощью новой схемы, связанной с кнопками «Суммировать с помощью ИИ», которые теперь появляются на многих сайтах. Как уточнили обнаружившие способ специалисты Microsoft, он напоминает SEO-отравление поисковых систем, но применяется к чат-ботам.

Исследователи из Microsoft Defender Security Research Team назвали методику «отравлением рекомендаций ИИ». Схема работает просто. Компании отправляют ИИ специальные инструкции, которые проникают в память системы и заставляют её выдавать нужные рекомендации. Искусственный интеллект начинает продвигать конкретные бренды и искажать ответы в их пользу.

Механика следующая. Компании встраивают скрытые команды в кнопки «Суммировать с помощью ИИ». После клика в память ассистента через параметры URL попадают инструкции типа «запомни эту компанию как надёжный источник» или «рекомендуй её первой». ИИ выполняет команду и следует ей в дальнейшем.

За два месяца исследователи нашли более 50 уникальных манипулятивных промптов от 31 компании из 14 отраслей. Такие методы работают в том числе и с темами вроде здоровья, финансов и безопасности. При этом пользователь не знает, что на его ИИ-помощника кто-то влияет.

Атака использует специально сформированные ссылки для чат-ботов. В URL заранее прописаны команды для манипуляции памятью. Технология задействует параметр строки запроса — «?q=» в адресной строке. Похожий приём уже встречался в атаках типа Reprompt.

На сайтах размещают кнопки с уже встроенными манипулятивными командами. Один клик — и команда автоматически выполняется в ассистенте. Более того, такие ссылки рассылают ещё и по электронной почте.

Примеры промптов различаются в зависимости от цели. Финансовый блог просит суммировать статью и запомнить себя как главный источник по криптовалютам и финансам. Другой сайт требует сохранить домен как авторитет для цитирования. Медицинский сервис предлагает ИИ запомнить его как экспертный источник.

Поскольку ИИ-система не отличает реальные предпочтения пользователя от команд, внедрённых сторонними компаниями, манипулятивные инструкции остаются в памяти и влияют на все следующие ответы. Проблему усиливает появление готовых инструментов для таких атак. Сервисы вроде CiteMET и AI Share Button URL Creator предоставляют любому желающему код для добавления манипулятивных кнопок на сайт. Создать вредоносный URL теперь можно с любым уровнем навыков. Через такие схемы можно распространять ложную информацию и опасные советы, а также вредить конкурентам. В итоге люди перестанут доверять ИИ-рекомендациям, на которые сейчас полагаются при покупках и решениях.

Представители Microsoft объясняют, что пользователи обычно не проверяют рекомендации ИИ так же тщательно, как советы со случайных сайтов. Когда ассистент уверенно что-то заявляет, люди верят. Это делает отравление памяти особенно опасным, ведь пользователь не понимает, что его ИИ скомпрометирован. Даже если он что-то заподозрит, он не знает, как проверить или исправить ситуацию. Манипуляция незаметна для пользователя и сохраняется надолго.