La directive Content-Signal ajoutée dans le robots.txt de nombreux sites protégés par Cloudflare n’a aucun effet sur Google, ni, à sa connaissance, sur les autres robots d’exploration et les LLM. C’est John Mueller, de Google, qui l’affirme, en ajoutant qu’elle alourdit inutilement le fichier et complique sa maintenance.
Si vous avez activé ces signaux en pensant interdire l’entraînement des IA sur vos contenus tout en restant visible dans les moteurs, il est temps de vérifier ce que contient réellement votre robots.txt. Voici ce que fait (et ne fait pas) cette directive, et les réglages qui comptent vraiment.
Pour comprendre le rôle du robots.txt dans l’exploration, voir aussi le budget crawl expliqué par Google.
Qu’est-ce que la directive Content-Signal de Cloudflare ?
Content-Signal est une ligne que Cloudflare propose d’ajouter au robots.txt pour exprimer ce que l’éditeur autorise après l’exploration de ses pages : l’indexation pour la recherche, l’utilisation comme source pour des réponses d’IA, ou l’entraînement de modèles. Cloudflare l’a lancée l’an dernier et l’a intégrée à son robots.txt géré, ce qui explique sa présence sur un très grand nombre de sites.
La ligne prend une forme du type Content-Signal: search=yes, ai-input=yes, ai-train=no. Sur le papier, l’idée est séduisante : distinguer la recherche classique de l’usage par l’IA, ce que le robots.txt historique ne sait pas faire, puisqu’il gère l’accès aux URL et non l’usage des contenus.
Pourquoi Google dit qu’elle n’a aucun effet
Google ne lit pas cette directive et, selon John Mueller, aucun robot ni LLM ne l’utilise aujourd’hui. Une instruction qu’aucun robot n’interprète reste une simple déclaration d’intention, sans valeur technique.
Le robots.txt fonctionne par convention. Un robot respecte les règles qu’il comprend (User-agent, Disallow, Allow, Sitemap) et ignore le reste. Content-Signal n’a pas été adoptée par les grands moteurs, elle tombe donc dans la catégorie des lignes ignorées.
John Mueller pointe aussi un coût caché : chaque ligne inutile complique la lecture du fichier. Sur les sites que j’audite comme consultant SEO, je vois régulièrement des robots.txt devenus illisibles à force d’empiler des règles copiées-collées, avec parfois une erreur qui bloque une section entière du site.
Comment contrôler réellement l’usage de vos contenus par l’IA ?
Pour contrôler l’accès des IA à vos contenus, il faut utiliser les agents utilisateurs que chaque acteur documente officiellement, et les directives de page reconnues par Google. Voici ce qui fonctionne aujourd’hui.
- Google-Extended dans le robots.txt : ce jeton permet de refuser que vos contenus servent à entraîner les modèles Gemini et à alimenter certaines de leurs réponses. Selon la documentation de Google, il n’a pas d’effet sur l’indexation ni sur le classement dans la recherche Google.
- Les robots d’OpenAI sont distincts : GPTBot pour l’entraînement, OAI-SearchBot pour la recherche dans ChatGPT. Bloquer le premier sans bloquer le second permet de rester citable dans ChatGPT.
- Les autres acteurs (Anthropic, Perplexity, Common Crawl) publient aussi leurs agents utilisateurs, à cibler individuellement.
- Pour les fonctionnalités d’IA de la recherche Google, comme AI Overviews, ce sont les directives d’extrait qui comptent : nosnippet, data-nosnippet ou max-snippet. Elles limitent aussi l’affichage de vos extraits classiques, d’où un arbitrage délicat (les contrôles IA générative de Search Console ouvrent une autre voie).
Enfin, si votre site est derrière Cloudflare, ses réglages de blocage des robots IA agissent au niveau du pare-feu, ce qui est bien plus contraignant qu’une ligne de robots.txt. Vérifiez ces paramètres : un blocage trop large peut couper des robots dont vous avez besoin pour être cité.
Dans quel ordre relire un robots.txt servi par Cloudflare ?
Quand je reprends un site qui passe par Cloudflare, je ne lis jamais le fichier présent dans le CMS ou sur le serveur : je lis celui que le domaine publie réellement, en ouvrant l’adresse /robots.txt dans le navigateur. Les deux diffèrent souvent, parce que Cloudflare peut ajouter ses propres lignes au moment de servir le fichier. Ensuite, je suis toujours le même ordre.
- Repérer le bloc qui s’applique à tous les robots (User-agent: *) et vérifier qu’aucun Disallow ne ferme une section utile, comme les catégories, les fiches produits ou les fichiers CSS et JavaScript nécessaires au rendu.
- Lister chaque agent utilisateur nommé individuellement et noter, pour chacun, s’il est autorisé ou bloqué. C’est là que je retrouve les choix faits il y a des mois, parfois par un prestataire qui n’est plus là.
- Isoler les lignes qu’aucun robot n’interprète, Content-Signal en tête, et décider de les garder ou non en sachant qu’elles n’ont aucun effet.
- Vérifier que la ligne Sitemap pointe vers une adresse qui répond et qui correspond au domaine principal.
- Remonter dans les réglages Cloudflare pour comparer : un robot autorisé dans le fichier mais bloqué par le pare-feu reste bloqué.
Cette dernière étape est celle qu’on oublie le plus souvent. Je vois régulièrement des robots.txt parfaitement ouverts aux robots de recherche des assistants IA, alors que le pare-feu les refuse en amont. Le fichier dit oui, l’infrastructure dit non, et personne ne comprend pourquoi le site n’est jamais cité.
À l’inverse, je rencontre des sites où un blocage large a été activé « pour protéger les contenus », sans distinguer l’entraînement de la recherche. Sur un site e-commerce ou un site de services, c’est rarement le bon arbitrage.
Je termine par un test dans l’outil de rapport robots.txt de la Search Console, pour m’assurer que Google lit bien la version que je viens de relire, puis je note la date de la vérification. Un robots.txt n’est pas un fichier qu’on règle une fois pour toutes : chaque refonte, chaque changement d’hébergement ou de configuration Cloudflare peut le modifier sans prévenir.
Mon avis : faut-il supprimer la ligne Content-Signal ?
Je la retirerais sur la plupart des sites. Elle ne protège rien et donne un faux sentiment de contrôle, ce qui est pire que pas de règle du tout. Si votre robots.txt est géré par Cloudflare, vérifiez simplement ce qu’il publie et décidez en connaissance de cause.
Surtout, je ne recommande pas de bloquer l’IA par principe. Pour la grande majorité des entreprises que j’accompagne, être cité par ChatGPT, Gemini ou AI Overviews est devenu un enjeu commercial, et l’optimisation pour les moteurs IA un levier à part entière. La vraie question est stratégique : quels contenus voulez-vous voir repris, et par qui ? C’est le travail que je mène en tant que consultant GEO, et un audit de visibilité IA commence presque toujours par une relecture du robots.txt et des règles de pare-feu. Pour les bases techniques côté Google, ma checklist SEO reste un bon point de départ.
Vous ne savez plus vraiment ce que votre robots.txt autorise ou bloque ? Écrivez-moi, je vérifie avec vous ce que voient Google et les robots IA quand ils arrivent sur votre site.
FAQ : Content-Signal, robots.txt et IA
La directive Content-Signal du robots.txt bloque-t-elle l’entraînement des IA ?
Non. Selon John Mueller, de Google, elle n’a aucun effet sur les robots d’exploration ni sur les LLM, qui ne la prennent pas en compte.
Comment empêcher Google d’utiliser mes contenus pour entraîner Gemini ?
En bloquant le jeton Google-Extended dans votre robots.txt. Ce réglage n’affecte pas votre indexation ni votre classement dans la recherche Google.
Bloquer les robots IA fait-il disparaître mon site de ChatGPT ?
Cela dépend du robot bloqué. Bloquer GPTBot concerne l’entraînement ; bloquer OAI-SearchBot empêche votre site d’apparaître dans les résultats de recherche de ChatGPT.