Правдоподобно, но это не точно: дилемма доверия к LLM в ИБ

Стоит начать использовать LLM на практике — и вместе с преимуществами проявляются и неожиданные эффекты. Модель может выдать безупречный анализ фишинговой кампании с разбором психологии злоумышленника и прогнозом атаки, а потом внезапно предложить заблокировать собственные серверы мониторинга. Не таких чудес мы ждали от ИИ! Его сила в обработке данных сочетается с ограниченным пониманием контекста, что делает получаемые результаты одновременно ценными и непредсказуемыми.

И всё же нельзя не признать мощь LLM. Та же модель, которая может запутаться в очевидном кейсе с фишингом, через минуту блестяще разберёт обфусцированный код, с которым человек возился бы часами. В нашей команде теперь есть сапёр-виртуоз, который, однако, иногда путает провода. Работать с ним можно, но есть нюансы.

Показательный пример — Microsoft Security Copilot, встроенный в Defender XDR. В официальной документации прямо указано: ответы ассистента на базе LLM — лишь подсказки, требующие обязательной валидации аналитиком. Компания вынуждена дополнять выводы модели телеметрией, TI-сигналами и контекстом из других собственных систем, потому что правдоподобный отчёт об инциденте не всегда может быть достоверным. Модель может уверенно описать атаку, но ошибиться в ключевой детали, например, указать не тот вектор компрометации.

И здесь рождается главный вопрос: а нужно ли вообще доверять? Существует вполне обоснованная точка зрения, что LLM — это неподходящий инструмент для безопасности в принципе. Фундаментальная природа таких моделей основана на генерации правдоподобных последовательностей, а это прямо противоречит нашему базовому принципу — абсолютной достоверности данных. 

Но и у сторонников использования ИИ есть свои аргументы. LLM исключительно хороши там, где требуется работа с контекстом и смыслами: анализ социальной инженерии, выявление сложных взаимосвязей между событиями, интерпретация намерений. Просто нужно понимать, что ИИ — не замена специалистам, а своеобразный усилитель интеллекта. Это инструмент, который может подсказать неожиданный ход, но не должен принимать окончательных решений.

Мы уже проходили подобное с внедрением машинного обучения в информационной безопасности. Сначала была эйфория, потом разочарование, затем нашёлся баланс. С LLM история повторяется, только в ускоренном темпе и с потенциально более рискованными последствиями. Возможно, в этих обстоятельствах главный навык современного руководителя в области ИБ — это не слепое доверие технологиям и не их категоричное отрицание, а способность сказать себе: «Здесь мы используем LLM, потому что она даст нам новое качество, а здесь — подстрахуемся старым добрым Python-скриптом, потому что нам важна предсказуемость».

И безусловное доверие, и полное недоверие одинаково опасны: первое ослепляет, второе парализует. В эпоху LLM информационная безопасность должна обогатиться искусством поддержания этого баланса. Правдоподобие становится инструментом, а доверие — результатом дополнительной проверки, но не автоматическим следствием убедительного текста. В такой парадигме мы не теряем контроль над реальностью — мы учимся работать в условиях, когда разные аспекты безопасности требуют принципиально разных подходов.