ИИ в безопасной разработке: как это работает внутри Банка России

ИИ-стратегия и ответственность

Искусственный интеллект стремительно развивается и вскоре станет повседневным явлением практически во всех сферах жизни. Киберпреступники — такие же пользователи технологий, как и все остальные, а применение ИИ в незаконных целях — закономерное следствие его распространения. Уже зарегистрированы факты целевых атак с использованием ИИ-агентов. В обозримом будущем мы придём к соревнованию ИИ-агентов, и эта дистанция может оказаться достаточно короткой. Технология позволяет развивать атаку очень быстро: при должном подходе это занимает секунды. Прервать её сможет только другой ИИ-агент, поскольку подобная скорость находится за пределами человеческих возможностей.

В контексте безопасной разработки данная проблема поднимает вопрос управления рисками принципиально на другой уровень качества и стоимости. Реакцией на данные вызовы становится подход нулевой толерантности к уязвимостям, ведь любая из них в продакшене может быстро и эффективно эксплуатироваться без участия человека. Эта нулевая толерантность лавинообразно, фактически экспоненциально, увеличивает объём работы экспертов по информационной безопасности и инженеров. Справиться с таким потоком задач могут ИИ-агенты и ИИ-помощники, которые обеспечат поиск, своевременный триаж, оценку архитектуры и мониторинг.

Вопрос распределения ответственности за ИИ не имеет однозначного ответа. Каждая организация ищет его сама, и он зависит от риск-аппетита как самой компании, так и отдельных экспертов в ней: CISO, СТО, ИТ-специалистов, бизнеса. На определённой дистанции регуляторы могут выпустить нормативную базу, которая либо сузит вариативность, либо определит конкретные роли и должности. Дискуссия по этому поводу сейчас достаточно горячая и продолжается в кулуарах.

В Банке России за результат отвечает конкретное подразделение и его руководитель. Используют ли они в работе ИИ-агентов или нет, это уже вторично.

По моему мнению, для ИИ-агентов в безопасной разработке подходит комбинированная схема: в зависимости от конкретной практики РБПО часть таких агентов располагается на стороне ИТ-специалистов в установленных рамках. Отдельные агенты могут и должны находиться на стороне информационной безопасности.

Регулирование и критерии внедрения

Безусловно, ИИ нужны отдельные стандарты. Государство подходит к внедрению регуляторики взвешенно: её отсутствие на ранних стадиях создаёт гибкость и позволяет обеспечить естественный, бурный рост технологии.

Однако когда ИИ внедряется в критически важные функции бизнеса, а тем более государства, важны соответствующие правила применения и обеспечение информационной безопасности. Как пример, никто из пользователей госуслуг не хочет получать от чат-бота неправильные ответы, галлюцинации или заведомо ложную информацию, и неважно, встроен в него искусственный интеллект или нет. В высококритичных областях регулирование необходимо.

Рынок ждёт, что в ближайшее время появятся стандарты для общественного обсуждения в области информационной безопасности искусственного интеллекта. Соответствующий ГОСТ уже проходит вычитку и согласование в профильных технических комитетах.

Решение о применении ИИ принимается с точки зрения универсального подхода — здравого смысла. Технологию внедряют, когда есть очевидная польза, сокращаются трудозатраты, появляется возможность масштабировать процессы, а само внедрение финансово обоснованно. Тратить миллиард, чтобы сэкономить миллион, бессмысленно. Нужен взвешенный подход с точки зрения масштабирования, сокращения трудозатрат и инвестиций.

Практика применения ИИ в Банке России

Мы следим за основными тенденциями и стараемся не отставать от них. Внутри используются модели разной степени готовности, как для рутинных задач, так и для отдельных методик безопасной разработки. Все ключевые наработки являются результатом работы внутренних ИТ-команд и коллег из информационной безопасности. Покажу на примерах.

ИИ оценивает архитектуру информационных систем. Обученная модель выносит суждение о качестве архитектуры и её соответствии исходным требованиям, причём без значительных затрат инженеров на ревью.

Генерация тест-кейсов. В автоматизированную систему по управлению тестированием встраивается агент, который генерирует тест-кейсы и обеспечивает дальнейшее автоматизированное тестирование. Аналитикам и тестировщикам больше не нужно вычитывать полный набор требований и переписывать их в сценарии, поскольку те создаются на лету, а специалисты участвуют в частичной верификации. Такой подход позволяет масштабировать их труд.

Поиск секретов в проектах разработки. Модель, обученная коллегами из информационной безопасности, по количеству ложноположительных срабатываний значительно превосходит все доступные проприетарные и open-source-инструменты, что заметно сокращает время на триаж.

Наиболее целесообразный подход к оценке эффективности заключается в измерении через сэкономленное время. Допустим, внедрение требует условных двух человеко-месяцев, но позволяет масштабировать одного специалиста в три-четыре раза и экономить по 3–4 человеко-месяца ежемесячно. В таком случае выгода считается простым математическим сравнением.

Конкретный пример касается триажа уязвимостей. Вместо того чтобы вручную разбирать полторы тысячи однотипных находок, ИИ-агент сортирует их за специалиста намного быстрее. Сотрудник, который раньше курировал несколько информационных систем, с помощью таких помощников может масштабироваться на несколько десятков без найма дополнительных людей.

ИИ применим во многих из 25 практик безопасной разработки согласно ГОСТу. На этапе входящих требований и Security by Design это агенты по проектированию архитектуры. При обработке сложных требований объёмом в сотни и тысячи страниц высокая когнитивная нагрузка переносится на искусственный интеллект. В рутинных задачах это проверка соответствия, триаж, поиск небезопасных конструкций.

На рынке сегодня сосуществуют два подхода. Одни компании заморозили внедрение ИИ в анализаторы информационной безопасности, другие, наоборот, активно его развивают. Неоднозначность говорит о том, что с развитием инструментов, агентов и моделей реальная польза станет очевидной на дистанции.

Доступ моделей к данным

Принцип регулирования доступа ИИ к данным простой: нет данных, нет обучения. Модель учится на том, что ей дали. Мы работаем в изолированной среде, поэтому у моделей ограниченный доступ, и к тому, к чему не положено, они попасть не могут ни при каких обстоятельствах.

В связи с изолированностью сетевых сегментов мы также не используем внешние публичные сервисы, вроде всем известных ИИ-моделей, для рабочих задач. Применяются только внутренние решения. Это снимает целый класс рисков, связанных с попытками модели обойти запреты или утянуть данные за периметр.

В общем случае всё зависит от компетенции человека, который работает с моделью, в том числе с публичной: он должен понимать, какие данные он передаёт и как она будет работать с ними. Если такого понимания нет, возникают ситуации, которые мы сегодня видим в открытых исследованиях по информационной безопасности, когда история работы с моделью публичных блогеров становится общедоступной и ставит под угрозу их репутацию.

Компетенции и бюджет

Рациональный бюджет на внедрение ИИ в безопасную разработку составляет порядка 5–10% от ИИ-бюджета. Однозначной цифры нет, и оценка субъективна. Для одной организации 10 миллионов рублей являются пределом, для другой набор нужных сканеров в сумме обойдётся в десятки раз дороже. Здесь всё достаточно субъективно.

Специалисту по информационной безопасности, работающему с ИИ, нужны три ключевые компетенции:

• Латеральное мышление. Умение смотреть на вещи под нестандартным углом, анализировать большой массив информации и делать явные и неявные выводы, то есть мышление out of the box.
• Управление изменениями. Внедрение изменений представляет собой энергоёмкую и трудоёмкую работу с сопротивлением и отрицанием. Здесь нужен широкий спектр навыков: от коммуникации до знания специальных технологий внедрения изменений, например системной технологии вмешательства или аналогичных.
• Техническая квалификация. Высокая квалификация и достаточно широкий технический кругозор являются необходимым гигиеническим уровнем, без которого невозможно выиграть.

Выбор решений: импортные или российские

Для государственных структур и госкорпораций ответ однозначен: отечественные решения. Это позволяет, во-первых, обезопасить себя от потенциальных рисков, заложенных в зарубежных технологиях, во-вторых, поддержать отечественного производителя.

При этом и в отечественном сегменте нужна конкуренция. Она, как известно, является двигателем прогресса, а в ИИ-направлении это заметно особенно.