Китайская ИИ-модель Kimi K3 вышла из тестовой песочницы во время проверки

Общедоступная китайская модель искусственного интеллекта Kimi K3 от компании Moonshot не имеет нужных защитных механизмов и может быть эффективным инструментом для взлома. Об этом заявили исследователи из американской компании Frontier Security после инцидента с выходом модели из изолированной тестовой среды во время проверки безопасности. 

Модель смогла покинуть песочницу британского правительственного Института безопасности ИИ (AI Security Institute). Kimi K3 не пыталась взламывать сайты других компаний или наносить какой-либо другой ущерб. Но сам выход из изоляции показывает, что у модели нет достаточных механизмов контроля.

Moonshot стала очередной компанией, чья нейросеть вышла за пределы тестовой среды. До этого такие же инциденты случились с моделями американских Anthropic, OpenAI и Meta Platforms (Компания признана экстремистской и её деятельность запрещена в РФ). Эти случаи обеспокоили исследователей и представителей госорганов, которые призвали к более строгим проверкам безопасности и к созданию более надёжных тестовых инфраструктур. В прошлых ситуациях модели не только выходили из изоляции, но и атаковали внешние системы, включая платформу Hugging Face. 

Kimi K3 ранее продемонстрировала хорошие результаты на отраслевых бенчмарках. Её показатели оказались на уровне топовых решений OpenAI и Anthropic. Это стало неожиданным прорывом для Moonshot, которая до этого оставалась в тени своего локального конкурента DeepSeek.