Rester indexable tout en bloquant l'entraînement IA

Cloudflare propose une nouvelle méthode permettant aux propriétaires de sites de distinguer l'indexation pour la recherche de l'exploitation pour l'entraînement IA. Ce mécanisme repose sur l'analyse des intentions des crawlers et le blocage sélectif via les fichiers robots.txt ou des règles de firewall. L'objectif est de maintenir la visibilité sur le web sans céder son contenu aux LLM.