Patreon, платформа подписок для авторов, ужесточает меры против сбора своего контента ИИ-системами для обучения. В четверг компания сообщила, что сотрудничает с провайдером интернет-инфраструктуры Cloudflare, чтобы напрямую блокировать доступ ИИ-ботам, предназначенным для обучения моделей искусственного интеллекта на работах авторов без разрешения.
По словам компании, усиленные меры стали необходимы, поскольку сбор данных ИИ стал более изощрённым с тех пор, как в 2023 году она впервые ввела меры для сдерживания ИИ-краулеров. Кроме того, платный доступ Patreon уже давно закрывает большую часть контента авторов от краулеров. Однако в последнее время компания представила новые инструменты для поиска и рекомендаций, такие как переработанная домашняя лента и похожие на твиты Quips, которые могут открывать краулерам доступ к большему объёму контента.
Изменения происходят на фоне того, как всё больше онлайн-издателей и создателей контента пытаются разобраться с тем, как ИИ поглощает их работы с целью сделать свои модели умнее. Для борьбы с этим Cloudflare теперь предлагает инструменты, позволяющие издателям сайтов ограничивать ИИ-ботов, включая маркетплейс, который позволяет сайтам взимать плату с ИИ-ботов за скрейпинг и называется Pay Per Crawl. Ранее в этом месяце компания изменила свои правила так, что краулеры «смешанного использования», то есть те, которые одновременно индексируют контент сайта и используют его для обучения, по умолчанию блокируются на любых страницах, где размещается реклама.
Patreon заявляет, что расширяет своё существующее сотрудничество с Cloudflare, чтобы использовать технологию AI Crawl Control компании для обновления своих правил в отношении ИИ и инструментов их соблюдения. Разница здесь в том, что вместо того чтобы просто просить ИИ-краулеры не собирать контент с помощью файлов robots.txt — стандартного способа давать ботам инструкции о том, как они могут использовать сайт, — Patreon теперь активно блокирует ботов, обучающих ИИ.
«Согласие не должно зависеть от того, решит ли скрейпер вести себя добросовестно», — говорится в публикации в блоге Patreon, где объясняются более строгие меры.
Во время тестирования этих функций еженедельные попытки отдельных ИИ-краулеров для обучения получить доступ к Patreon сократились с «тысяч попыток до нуля», отмечается в публикации. Это указывает на то, что ИИ-скрейперы игнорировали файл robots.txt Patreon и всё равно собирали данные с сайта, несмотря на его просьбы.
Однако компания заявила, что будет разрешать работу ботам, которые индексируют страницы и систематизируют информацию, которую можно использовать для направления пользователей обратно на Patreon.
«По мере того как ИИ-агенты становятся всё более мощными и популярными, авторы заслуживают реального права голоса в том, как их работы используются ИИ-компаниями», — отметил в объявлении директор по продукту Patreon Дрю Роуни. «На большей части интернета авторам приходится соглашаться на обучение ИИ на своих работах просто для того, чтобы охватывать и расширять аудиторию. У Patreon другое видение: авторы должны иметь возможность развивать свою аудиторию и контролировать, как используются их работы».
Источник: TechCrunch