ИИ как сливной бачок: как бизнесу получить контроль над LLM

Что говорят цифры об утечках

По данным совместного исследования ГК «Солар» и системного интегратора УЦСБ, 42,4% компаний подозревают утечку своих конфиденциальных данных через ИИ-инструменты, еще 8,1% заявили, что уже сталкивались с такими проблемами. У 49,2% респондентов подобных опасений нет. Всего в опросе приняли участие 102 организации из сферы телекоммуникаций, промышленности, финансов, госсектора, энергетики, транспорта, логистики, ритейла, медицины и строительства.

Тот факт, что подозрений намного больше, чем реальных происшествий, может говорить о недостаточной зрелости средств мониторинга, расследования и контроля ИИ, которые применяет бизнес, считают инициаторы исследования. Ситуация усугубляется резким ростом угроз: по данным «Солара», в 2025 году утечки в публичные LLM выросли в 30 раз. «Всё указывает на то, что проблема в дальнейшем будет только обостряться. Это обусловлено, прежде всего, тем, что многие пользователи предпочитают работать с зарубежными нейросетями, но при этом не обладают достаточным уровнем киберграмотности. Люди просто не осознают всех последствий передачи конфиденциальных данных в такие модели, хотя уже совсем не секрет, что иностранные провайдеры ИИ сотрудничают с западными спецслужбами по ряду вопросов», — отметил эксперт по информационной безопасности Axenix Евгений Качуров.

Среди недооценённых потенциальных угроз, по его мнению, находятся атаки на ИИ-агентов, которые самостоятельно не умеют разделять информацию на «доверенную» или «недоверенную». «Бизнесу необходимо не только защищать их от прямых промпт-инъекций, компаниям следует также задумываться о пресечении «непрямых» (косвенных) инъекций. Например, стандартный бот поддержки ИТ-инфраструктуры может одинаково обработать ту информацию, которую получил от системы мониторинга и ту, которую получил из веб-приложения, где злоумышленник вбил вредоносную инструкцию. И это только один из многочисленных потенциальных сценариев атаки», — отметил Евгений Качуров.

Риски возрастают по мере того, как ИИ-агенты получают доступ к реальным бизнес-процессам и могут самостоятельно выполнять действия от имени компании. «Сами агенты уже способны выбрать перевозчика, поправить параметры заказа, подписать документ. И масштаб проблемы здесь другой — если агента подменят или заставят действовать иначе, он может не просто «слить договор» в бот, а, например, оформить перевозку не на того контрагента. Как мне кажется, именно в эту сторону сместится следующая волна инцидентов», — считает сооснователь цифрового логистического оператора Versta.io Валерий Геленава.

Что нужно бизнесу

Главная проблема — не технологии, а компетенции и внутренние правила. 63,6% опрошенных «Соларом» и УЦСБ компаний отметили нехватку обучения сотрудников и внутренних политик по AI Security. Этот вариант ответа респонденты называли чаще, чем технологические решения: специализированные LLM для AppSec (45,5%), MLSecOps (39,4%), AI-файрволы (35,4%) или аудит безопасности, red teaming и пентест ИИ-систем (37,4%). Как видно, бизнесу нужны не только средства защиты данных, но и понятные правила игры, методологии и квалифицированные кадры, отмечают авторы исследования.

В Flowwow картина иная. «Обучение сотрудников и разработка внутренних политик AI Security уже стали для нас базовым слоем. Основной фокус сместился на инструменты, которые приносят бизнесу конкретный и измеримый результат. Среди них наиболее востребованы два направления: аудит безопасности кода и тестирование на проникновение», — отметил руководитель направления ИБ и ИТ-инфраструктуры Flowwow Дмитрий Бабчук.

В VolgaBlob оценивают в первую очередь, как именно компания использует ИИ: локально или через внешние сервисы. «Для компаний с локальными LLM основные риски связаны с атаками на модель, утечкой весов, отравлением данных (poisoning) и промпт-инъекциями. Они нуждаются в SIEM-системах, способных обнаруживать атаки на ИИ-инфраструктуру и покрывать угрозы из списка OWASP LLM top 10 — несанкционированный доступ к весам модели, злоупотребление API, промпт-инъекции, неограниченное использование ресурсов и другие. Такие решения есть на рынке. Для компаний с внешними ИИ-инструментами главный риск — утечка кода или данных. В этом случае бизнесу важно отслеживать информацию, которую сотрудники отправляют во внешние ИИ, использовать AI-файрволы с TLS-инспекцией», — отметил руководитель отдела разработки контентных модулей компании VolgaBlob Тимофей Мельников.

В компании Axenix видят рост востребованности систем предотвращения утечек конфиденциальной информации DLP на фоне появления новых рисков информационной безопасности, связанных с ИИ. По словам Евгения Качурова, передовые DLP-системы имеют возможность блокировать передачу чувствительных сведений как в сами публичные модели, так и на ресурсы специализированных провайдеров, которые выступают посредниками между пользователем и нейросетью. Что касается AI-файрволов, то, по словам Валерия Геленава, сами по себе такие решения бизнесу почти ничего не дают. «Если корпоративными инструментами пользоваться неудобно, сотрудник просто откроет нужный сервис с личного телефона или зайдёт под своим аккаунтом — и никакой периметр этому не помешает. Запреты есть, а смысла их соблюдать нет», — обратил внимание Валерий Геленава.

Почему контроль отстаёт от внедрения

Сегодня многие компании внедряют генеративные модели быстрее, чем выстраивают контроль за ними, считает руководитель направления безопасной разработки в УЦСБ Евгений Тодышев. «Технические средства решают локальные задачи, но не дают системной устойчивости. Без встроенных в DevSecOps-процессы регламентов и регулярного повышения квалификации команд любое технологическое решение остаётся полумерой. Нужен комплексный подход, объединяющий политики, обучение и технологический контроль в единый конвейер безопасной разработки», — отмечает он.

Чаще всего бизнес внедряет ИИ ради быстрого результата, а о защите задумывается позже, когда риски, связанные с качеством и происхождением данных, уже могли стать частью системы, говорит Дмитрий Бабчук. Из-за этого компании упускают несколько важных аспектов. «Например, бизнес может игнорировать происхождение данных и их качество. Всегда есть риск, что в обучающую выборку попадут недостоверные данные либо компания изначально будет использовать готовую модель, которой не стоит доверять. К нейросетям продолжают относиться как к обычному программному обеспечению, забывая, что алгоритм легко обмануть специально составленными запросами. Таким образом злоумышленники заставляют систему обойти ограничения или выдать закрытую информацию, тогда как классические средства защиты такие манипуляции просто не замечают», — считает Дмитрий Бабчук.

При этом, по его словам, безопасность ИИ нередко воспринимается как разовая настройка. Но, поскольку модели, данные, интеграции и сценарии их использования со временем меняются, защита требует непрерывного контроля и адаптации уже в процессе работы системы.

Особенно заметна эта проблема при использовании сотрудниками публичных ИИ-сервисов. «Мы рассматриваем утечки данных в публичные LLM как стандартный риск для любой компании, где сотрудники осваивают новые инструменты работы быстрее, чем компания успевает разработать под них регламенты или внедрить инструменты контроля. В чём-то сегодняшняя ситуация напоминает период массового перехода на онлайн-инструменты для работы с документами и таблицами», — отметил Валерий Геленава.

Как компании защищают ИИ на практике

Чтобы сократить разрыв между скоростью внедрения ИИ и уровнем контроля, компании отслеживают запросы, анализируют передаваемый контент и блокируют попытки выгрузки чувствительной информации. Например, при помощи SWG-систем (Secure Web Gateway). Однако такие меры контролируют прежде всего передачу данных и не закрывают риски, связанные с самими моделями и ИИ-сервисами.

Подходы к защите ИИ у бизнеса сегодня существенно различаются. По данным опроса «Солара» и УЦСБ, 39,4% компаний используют AI/LLM-файрволы или аналогичные фильтры промптов и ответов, 23,2% внедрили MLSecOps, 17,2% защищают весь цикл разработки ML/LLM. В то же время 33,3% организаций не используют никаких специальных мер защиты ИИ. Вместе с тем спрос на специализированную защиту искусственного интеллекта явно обгоняет предложение — бизнес ждёт готовых решений от крупных вендоров.

Опыт бизнеса

По словам заместителя председателя правления «Совкомбанка» Альберта Бориса, в банке работают исключительно в закрытом контуре с собственными инструментами, также регулярно проводят аудит процессов и обучение команд, чтобы защита ИИ была неотъемлемой частью инженерной культуры.

В Flowwow набор защитных инструментов выбирают с учётом профиля нагрузки и возможных угроз. «AI/LLM-файрвол или аналогичный фильтр промптов и ответов мы не внедряли сознательно. При нашем профиле нагрузки затраты на такой сплошной контроль пока не оправданы относительно снижаемого риска», — пояснил Дмитрий Бабчук.

В компании Versta.io для обеспечения защиты ИИ работа выстроена по двум направлениям. «Первое — обучение людей и внутренние регламенты. Опыт показывает, что сотрудники часто недооценивают реальные риски. Эту проблему как раз и можно решить через обучение и корпоративные правила. Второе направление — техническое. Тут нам интересны AI-файрволы, red teaming и аудиты. В меньшей степени — MLSecOps, так как мы в основном используем уже готовые модели, а не обучаем их», — рассказал Валерий Геленава. При внедрении специализированных мер защиты в компании учитывают зону реальных рисков. Поскольку она чаще применяет уже готовые модели, а не занимается их обучением, в Versta.io отслеживают, какие данные уходят в модели и какие действия разрешены агентам. Кроме того, для задач, где возможна утечка персональных данных, компания применяет контроль промтов (через локальную модель). Защиту обучающего пайплайна Versta.io не использует, так как своими силами модели почти не обучает.

По словам руководителя продукта Solar webProxy ГК «Солар» Анастасии Хвещеник, данные опроса подтверждают выводы, которые компания делает в ходе работы с клиентами. «Бизнес стремится применять ИИ управляемо — без потери контроля над данными и скорости работы команд. Сегодня самый понятный для заказчиков сценарий — защита информации, которую сотрудники и бизнес-системы передают в языковые модели. Но по мере более глубокого внедрения ИИ задача будет расширяться. Компаниям потребуется не только защищать данные, но и управлять правилами использования моделей, проверять их запросы и ответы, а также отслеживать действия ИИ-агентов во внешних системах. В этой модели LLM Firewall становится базовым слоем экосистемы безопасности ИИ, поверх которого выстраиваются инструменты мониторинга, управления рисками и непрерывного аудита», — говорит она.

Чек-лист: 5 обязательных шагов для контроля ИИ

По мере усложнения ИИ-систем защита, по мнению Дмитрия Бабчука, должна учитывать риски на каждом этапе жизненного цикла. Он выделяет пять уровней такого контроля:

1. Первый уровень выстраивается на этапе написания кода, поскольку находить и устранять ошибки в процессе разработки проще и дешевле всего.
2. Второй касается безопасности данных, на которых обучается нейросеть.
3. Третий отвечает за контроль уже работающей системы. В данном случае лучше осуществлять мониторинг на важных участках вместо сплошной проверки каждого запроса.
4. Четвёртый уровень включает в себя регулярные проверки системы на прочность. Сюда входят аудит безопасности и практическое тестирование самих ИИ-алгоритмов на предмет специфических уязвимостей.
5. Пятый направлен на работу с человеческим фактором. Поскольку большинство инцидентов происходят по вине сотрудников, нужно регулярно проводить обучение команды и внедрять понятные регламенты.