Robots.txt : le guide pour piloter Googlebot et les robots IA

Le fichier robots.txt fait quelques lignes, mais une seule erreur peut couper Google d’une partie de votre site. À l’inverse, beaucoup de sites lui prêtent des pouvoirs qu’il n’a pas, comme cacher une page des résultats de recherche.

Avec l’arrivée des robots d’IA, ce petit fichier redevient un sujet. Google, Bing et OpenAI ont chacun leurs propres robots, et une règle commune pour refuser l’entraînement des IA est en préparation. Voici comment je l’aborde sur les sites que j’accompagne.

À quoi sert vraiment un fichier robots.txt ?

Le robots.txt indique aux robots d’exploration les URL auxquelles ils peuvent accéder sur votre site. Selon la documentation de Google, son objectif principal est d’éviter de surcharger le serveur de demandes.

En pratique, je l’utilise pour trois choses :

• empêcher l’exploration de pages sans intérêt pour le référencement (recherche interne, filtres à l’infini, paniers),
• concentrer le passage de Googlebot sur les pages qui comptent, ce qui rejoint la question du budget de crawl,
• indiquer l’adresse du sitemap.

Le fichier se place obligatoirement à la racine du domaine : https://www.monsite.fr/robots.txt. Un fichier placé dans un sous-dossier n’est pas lu.

Ce que le robots.txt ne fait pas

C’est la confusion que je rencontre le plus souvent en audit. Bloquer une page dans le robots.txt ne la retire pas de Google. Google l’écrit noir sur blanc : une URL bloquée peut toujours être indexée si d’autres pages font des liens vers elle. Elle apparaît alors dans les résultats sans description.

Pour qu’une page n’apparaisse pas sur Google, il faut une balise noindex, une protection par mot de passe ou la suppression de la page. Et attention au piège : si la page est bloquée dans le robots.txt, Googlebot ne peut pas la lire, donc il ne voit jamais la balise noindex.

Autre limite : le robots.txt est une consigne, pas une sécurité. Les robots sérieux le respectent, les autres l’ignorent. Une page confidentielle se protège côté serveur.

Quelles directives utiliser ?

Google prend en charge quatre champs, d’après sa page sur l’interprétation de la spécification robots.txt :

• User-agent : le robot concerné (* pour tous),
• Disallow : le chemin à ne pas explorer,
• Allow : le chemin autorisé, utile pour faire une exception dans un dossier bloqué,
• Sitemap : l’URL complète du sitemap.

Deux caractères spéciaux complètent la syntaxe : * remplace n’importe quelle suite de caractères et $ marque la fin de l’URL. La directive Crawl-delay n’est pas prise en compte par Google.

Quelques règles à connaître :

• les chemins sont sensibles à la casse (/Blog/ et /blog/ sont différents),
• en cas de conflit, Google applique la règle la plus spécifique, et à égalité la moins restrictive,
• le fichier doit être en texte brut UTF-8 et ne pas dépasser 500 Kio,
• Google le garde généralement en cache 24 heures : une modification n’est pas prise en compte immédiatement.

Exemple : voici le robots.txt de ce site, qui bloque la recherche interne sans toucher au reste.

User-agent: *
Disallow: /?s=
Disallow: /*?s=
Disallow: /search/
Disallow: /page/*/?s=

Sitemap: https://www.yoannuzan.com/sitemap_index.xml

J’explique pourquoi ces pages doivent rester hors de Google dans mon article sur les pages de recherche interne.

Comment gérer les robots IA sans perdre Google ?

C’est la question que l’on me pose le plus depuis un an. La réponse tient en une idée : chaque acteur sépare désormais l’exploration pour la recherche de l’utilisation pour l’IA.

Chez Google, le jeton Google-Extended permet de refuser que vos contenus servent à entraîner Gemini ou à l’ancrage dans les applications Gemini. D’après la documentation des robots Google, il n’a aucune incidence sur l’inclusion dans la recherche Google ni sur le classement.

Chez OpenAI, la page officielle des robots distingue :

• GPTBot, utilisé pour l’entraînement des modèles,
• OAI-SearchBot, qui permet d’apparaître dans les résultats de recherche de ChatGPT,
• OAI-AdsBot, qui vérifie les pages de destination des annonces ChatGPT Ads,
• ChatGPT-User, déclenché par une action d’un utilisateur, pour lequel le robots.txt peut ne pas s’appliquer.

Exemple : un e-commerçant qui refuse l’entraînement mais veut être cité dans ChatGPT bloque GPTBot et laisse passer OAI-SearchBot. S’il fait de la publicité sur ChatGPT, il laisse aussi passer OAI-AdsBot.

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Fin octobre 2026, le paysage a encore bougé. Google a annoncé sur son blog Search Central qu’il prendra en charge un jeton commun dans le robots.txt pour refuser l’entraînement des IA, issu des travaux de l’IETF. Si un site l’utilise sans mentionner Google-Extended, Google l’interprétera comme un refus de Google-Extended. La mise en place est prévue avec d’autres acteurs en 2027.

Microsoft va plus loin sur le blog de Bing : il sépare l’entraînement et l’utilisation des contenus pour générer des réponses, avec une prise en compte des nouvelles préférences à partir du 1er février 2027. Le classement dans Bing n’est pas concerné.

Je reviens sur les autres signaux de ce type dans mes articles sur les Content Signals de Cloudflare et sur le fichier llms.txt.

Quelles erreurs voit-on souvent ?

Sur WordPress et sur les boutiques en ligne, je retrouve presque toujours les mêmes :

• un Disallow: / oublié après une préproduction, qui bloque tout le site,
• le blocage des fichiers CSS ou JavaScript, qui empêche Google de comprendre la mise en page,
• des pages bloquées pour les « désindexer », alors qu’elles restent dans l’index sans description,
• des filtres de catégories laissés ouverts, qui génèrent des milliers d’URL quasi identiques, un sujet proche du contenu dupliqué,
• un sitemap absent du fichier ou qui pointe vers une ancienne adresse après une migration.

Le premier point est le plus grave. Je le vérifie systématiquement lors d’une refonte ou d’une migration, car c’est le moment où il se produit.

Un autre cas mérite d’être connu : si le serveur renvoie une erreur 5xx sur le robots.txt, Google arrête d’explorer le site pendant les 12 premières heures. Une erreur 404 sur ce fichier, elle, revient à n’avoir aucune restriction.

Comment tester son robots.txt ?

Trois vérifications suffisent dans la plupart des cas :

• ouvrir votresite.fr/robots.txt dans le navigateur et relire chaque ligne,
• consulter le rapport robots.txt de la Search Console, qui indique la version récupérée par Google et les erreurs éventuelles,
• passer quelques URL importantes dans l’outil d’inspection d’URL pour vérifier qu’elles ne sont pas bloquées.

Après une modification importante, Google indique qu’il est possible de demander une nouvelle exploration du fichier depuis la Search Console.

Mon avis

Je trouve que le robots.txt est souvent soit oublié, soit surchargé. Sur un site de taille moyenne, quelques lignes bien pensées valent mieux qu’une liste de cinquante règles copiées d’un autre site.

Sur la question de l’IA, je conseille de ne pas bloquer à l’aveugle. Refuser l’entraînement est un choix légitime. En revanche, bloquer les robots qui alimentent les réponses de ChatGPT ou de Copilot revient à renoncer à une source de visibilité qui grandit. Il faut décider robot par robot.

Mon retour d’expérience

Le jour d’une mise en ligne, le robots.txt est l’un des premiers fichiers que j’ouvre. Lors de la refonte de ce site, c’est d’ailleurs l’un des points contrôlés avant et après la bascule. Un blocage hérité de la préproduction se corrige en deux minutes, mais la récupération du trafic peut prendre des semaines s’il passe inaperçu.

Sur les boutiques avec de nombreux filtres, je commence par regarder dans la Search Console quelles URL Google explore réellement, avant de décider ce qu’il faut bloquer. C’est ce type de contrôle que je fais dans mes missions de consultant SEO.

FAQ : robots.txt

Le robots.txt est-il obligatoire ?

Non. Sans fichier, les robots considèrent qu’ils peuvent tout explorer. Il devient utile dès que certaines zones du site n’ont pas d’intérêt pour le référencement.

Le robots.txt empêche-t-il l’indexation d’une page ?

Non. Il empêche l’exploration. Pour éviter l’indexation, il faut une balise noindex, et la page ne doit pas être bloquée dans le robots.txt pour que Google puisse la lire.

Faut-il bloquer GPTBot ?

Si vous ne voulez pas que vos contenus servent à entraîner les modèles d’OpenAI, oui. Laissez en revanche OAI-SearchBot si vous voulez apparaître dans les résultats de recherche de ChatGPT.

Bloquer Google-Extended fait-il perdre des positions sur Google ?

Non. Google indique que Google-Extended n’a aucune incidence sur l’inclusion dans la recherche ni sur le classement.

Combien de temps faut-il pour qu’une modification soit prise en compte ?

Google met généralement le fichier en cache 24 heures. Vous pouvez demander une nouvelle exploration depuis la Search Console pour accélérer.

Où placer le fichier robots.txt ?

À la racine du domaine, par exemple https://www.monsite.fr/robots.txt. Chaque sous-domaine a besoin de son propre fichier.