Новий сервіс Cloudflare дозволить сайтам стягувати плату з ботів AI за збирання їнього контенту

З Cloudflare власники сайтів зможуть продавати постачальникам моделей AI доступ для збирання контенту їхніх сайтів.

Маркетплейс є останнім кроком генерального директора Cloudflare Метью Прінса щодо надання видавцям більшого контролю над тим, як і коли боти штучного інтелекту опрацьовують їхні вебсайти.

Чому AI-боти повинні платити за сканування вашого сайту

«Якщо ви не компенсуєте творцям так чи інакше, вони припиняють творити, і це деталь, яку потрібно вирішити», — сказав Метью Прінс, генеральний директор Cloudflare в інтерв’ю TechCrunch.

Як перший крок у своєму новому плані, у понеділок Cloudflare запустив безкоштовні інструменти спостереження для клієнтів під назвою AI Audit.

Власники вебсайтів отримають інформаційну панель для перегляду аналітики про те, чому, коли та як часто моделі штучного інтелекту сканують їхні сайти для отримання інформації.

Cloudflare також дозволить клієнтам блокувати ШІ-ботів на своїх сайтах одним натисканням кнопки.

Власники вебсайтів можуть заблокувати всі вебскребки за допомогою AI Audit або дозволити певним вебскребкам, якщо вони мають угоди або вважають їх вигідним.

Cloudflare AI Audit для керування AI-ботів, що бувають на вашому сайті

Демонстрація AI Audit, надіслана TechCrunch, показала, як власники вебсайтів можуть використовувати цей інструмент, який може бачити, звідки походить кожен скрейпер, який відвідує ваш сайт, і пропонує вибіркові вікна, щоб побачити, скільки разів скребки з OpenAI, Meta, Amazon і інші постачальники моделей ШІ відвідують ваш сайт.

Як конкурувати з AI-ботами

Cloudflare намагається розвʼязати проблему, яка нависла над індустрією штучного інтелекту: як невеликі видавці виживуть в епоху штучного інтелекту, якщо люди будуть переходити на ChatGPT замість їх вебсайту?

Сьогодні постачальники моделей штучного інтелекту збирають тисячі невеликих вебсайтів у пошуках інформації, яка є основою для їхніх LLM.

Хоча деякі великі видавці уклали угоди з OpenAI щодо ліцензування контенту, більшість вебсайтів нічого не отримують, але їхній контент усе ще щодня подається в популярні моделі штучного інтелекту.

Це може порушити бізнес-моделі багатьох вебсайтів, зменшивши трафік, який їм вкрай необхідний.

Видання TechCrunch згадує, що раніше цього літа пошуковий стартап Perplexity на основі штучного інтелекту був звинувачений у збиранні вебсайтів, які навмисно вказали, що вони не хочуть, щоб їх сканували за допомогою протоколу виключення роботів.

Невдовзі після цього Cloudflare випустила кнопку, щоб клієнти могли блокувати всіх ботів ШІ одним натисканням. «Це сталося через розчарування, яке ми чули, коли люди відчували, що їхній контент вкрали», — сказав Прінс.

Атаки ботів штучного інтелекту

Деякі власники вебсайтів розповіли Business Insider, що боти зі штучним інтелектом так сильно стукалися на їхні вебсайти, що здавалося, ніби DDoS-атака руйнує їхні сервери. Обробка вашого вебсайту AI ботами може не тільки засмутити, але й буквально збільшити ваш рахунок за хмару та вплинути на ваші послуги.

Як ChatGPT збирає інформацію з сайтів

Нові інструменти Cloudflare, які запускаються, що дозволять клієнтам блокувати деякі сканери AI, пропускаючи інші. За словами Принса, навіть великі видавці, які уклали ліцензійні угоди з OpenAI, такі як TIME, Condé Nast і The Atlantic, мають відносно мало уявлення про те, наскільки інтенсивно ChatGPT оброблює їхні вебсайти.

Видання TechCrunch зауважує, що багато з них повинні прийняти те, що їм каже OpenAI, але відповідь визначає, чи отримають видавці хорошу ліцензійну угоду, чи ні.

Але маркетплейс Cloudflare, який буде запущено наступного року, має на меті дозволити невеликим видавцям також укладати угоди з постачальниками моделей ШІ.

«Давайте дамо всім вам можливість робити те, що раніше робили лише Reddit, Quora та великі видавці світу», — сказав Прінс. «Що, якби ми дозволили вам фактично встановлювати ціну за доступ до вашого контенту та його розміщення в цих системах».

Хоча це смілива ідея, Cloudflare не ділиться повністю розробленою ідеєю того, як виглядатиме її маркетплейс.

Принс каже, що вебсайти можуть стягувати плату з постачальників моделі штучного інтелекту на основі ставок, за якими вони збирають окремі вебсайти, але незрозуміло, скільки вони справді заплатять.

Крім того, він каже, що вебсайти можуть стягувати грошову ціну, щоб отримати їх, або просто просити лабораторії ШІ надати їм кредит.

Деталі нечіткі. Хоча компанії зі штучним інтелектом можуть спочатку не бути в захваті від того, щоб платити за контент, який вони наразі отримують безкоштовно, генеральний директор Cloudflare каже, що вважає, що це в кінцевому рахунку добре для екосистеми ШІ.

Прінс каже, що нинішня ситуація, коли деякі компанії штучного інтелекту взагалі не платять за контент, є нежиттєздатною.

Джерело: TechCrunch