Cloudflare заблокировала 416 млрд запросов от ИИ-ботов

Компания Cloudflare заблокировала 416 млрд запросов от ИИ-ботов с 1 июля 2025 года. Об этом рассказал соучредитель и генеральный директор компании Мэттью Принс на мероприятии WIRED's Big Interview в Сан-Франциско.

Массовые блокировки начались после того, как Cloudflare объявила о запуске Дня независимости контента. Это программа, которая позволяет владельцам сайтов блокировать краулеры искусственного интеллекта, если компании разработчики ИИ не платят за доступ к материалам.

Мэттью Принс отметил, что компания намерена не дать крупным игрокам захватить весь рынок. По словам Принса, необходимо обеспечить в Сети равные условия для крупного и малого бизнеса.

Глава Cloudflare особенно обеспокоен действиями Google. По его словам, компания объединила обычный поисковый краулер и краулер для ИИ, который собирает данные для обучения моделей, в один механизм. Из-за этого, если владелец сайта запрещает сбор данных для обучения ИИ, его ресурс может потерять видимость в поиске Google. В итоге владельцы сайтов оказываются в ловушке: они не хотят, чтобы их контент использовали для ИИ, но им нужен трафик из поиска, чтобы пользователи могли их находить. Cloudflare сообщает, что Google видит в 3,2 раза больше страниц, чем OpenAI, в 4,6 раза больше, чем Microsoft, и в 4,8 раза больше, чем Anthropic или Meta (признана в РФ экстремистской и запрещена). 

По оценкам Cloudflare, издатели и создатели контента выигрывают, когда блокируют ИИ-краулеры. В этом случае оригинальные материалы сохраняют высокую ценность для компаний, которые хотят легально использовать их для обучения своих моделей. Это касается и локальных новостных медиа с региональной повесткой, и пользовательских площадок вроде Reddit, где формируется уникальный контент. Такая ситуация создаёт основу для лицензионных договоров и устойчивой бизнес модели.