З липня 2025 року Cloudflare почне за замовчуванням блокувати краулери штучного інтелекту, які отримують доступ до контенту без дозволу чи компенсації власникам сайтів, про це пише CNBC.

• Кожен новий домен, який реєструється у Cloudflare, отримуватиме запит: чи дозволити краулерам AI доступ до сайту — фактично даючи можливість заблокувати ботам збирання даних.
• Компанія працює з ~20% всього інтернет-трафіку, і є надзвичайно великим гравцем, що може вплинути на ринок.
• При цьому компанія запускає платформу Pay per Crawl — власники сайтів зможуть встановити плату для AI-ботів за звернення до їх сайтів і отримання доступу до контенту. По суті власники сайтів зможуть вирішити, кому і за який кошт дозволяти звертатись до свого контенту, а кого — блокувати.
• Великі видавці, як от The Atlantic, TIME, The Associated Press, ADWEEK, Fortune та група Condé Nast вже підтримали ініціативу. Водночас OpenAI виступив з критикою проєкту.

Ідея Cloudflare полягає у тому, щоб дати можливість видавцям заробляти у час, коли традиційні моделі монетизації перестають працювати і люди частіше звертаються до чатботів, аніж до пошуку через Google. Як зазначає Cloudflare, раніше інтернет працював за принципом спрямування трафіку до першоджерел — сайтів творців контенту. Тепер же краулери ШІ порушують цю модель: вони витягують тексти, статті та зображення, щоб генерувати відповіді на запити без потреби користувача переходити за посиланням на оригінал.

«Краулери AI без обмежень витягують контент із сайтів. Наша мета — повернути контроль у руки творців, водночас залишаючи простір для інновацій у сфері ШІ», — заявив співзасновник і CEO Cloudflare Метью Прінс.

Критики ідеї заявляють, що це крок може суттєво ускладнити тренування моделей AI для розробників, обмежить їх можливості для навчання, що сповільнить розвиток індустрії.