{"id":47786,"date":"2026-11-03T09:00:00","date_gmt":"2026-11-03T07:00:00","guid":{"rendered":"https:\/\/www.yoannuzan.com\/?p=47786"},"modified":"2026-11-03T10:53:38","modified_gmt":"2026-11-03T08:53:38","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/www.yoannuzan.com\/robots-txt\/","title":{"rendered":"Robots.txt : le guide pour piloter Googlebot et les robots IA"},"content":{"rendered":"\n\n
\n \n
\n \n
\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n <\/div>\n \n
\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n <\/div>\n<\/div>\n \n\n
\n Notez cet article<\/span>\n <\/div>\n <\/div>\n

Le fichier robots.txt fait quelques lignes, mais une seule erreur peut couper Google d’une partie de votre site. \u00c0 l’inverse, beaucoup de sites lui pr\u00eatent des pouvoirs qu’il n’a pas, comme cacher une page des r\u00e9sultats de recherche.<\/p>\n

Avec l’arriv\u00e9e des robots d’IA, ce petit fichier redevient un sujet. Google, Bing et OpenAI ont chacun leurs propres robots, et une r\u00e8gle commune pour refuser l’entra\u00eenement des IA est en pr\u00e9paration. Voici comment je l’aborde sur les sites que j’accompagne.<\/p>\n

\u00c0 quoi sert vraiment un fichier robots.txt ?<\/h2>\n

Le robots.txt indique aux robots d’exploration les URL auxquelles ils peuvent acc\u00e9der sur votre site. Selon la documentation de Google<\/a>, son objectif principal est d’\u00e9viter de surcharger le serveur de demandes.<\/p>\n

En pratique, je l’utilise pour trois choses :<\/p>\n