Site icon Freelance SEM

CDN : Google explique comment ne pas bloquer Googlebot ni surcharger son serveur

Illustration 3D holographique bleue d'un globe relié à un réseau de serveurs CDN, avec un petit robot d'exploration qui franchit une porte lumineuse
5/5 - (1 vote)

Passer un site derrière un CDN, c’est en général une très bonne idée : les pages s’affichent plus vite et le serveur est protégé des pics de trafic. Mais les jours qui suivent la mise en place peuvent surprendre. Google vient de publier, le 11 novembre 2026, un article sur ce sujet précis.

Son message tient en deux points : un CDN neuf peut d’abord surcharger votre serveur, et une protection anti-robots trop large peut faire disparaître vos pages de Google. À moins de deux semaines du Black Friday, c’est le bon moment pour vérifier vos réglages.

Que dit Google sur le passage à un CDN ?

Dans son billet du blog Search Central, « Moving to a CDN without overwhelming your origin (or blocking Googlebot) », Google explique un phénomène que beaucoup de propriétaires de sites constatent sans le comprendre : juste après le passage à un CDN, le trafic des robots sur le serveur augmente au lieu de baisser.

La raison tient au fonctionnement de l’exploration. Google surveille en continu les temps de réponse d’un site :

Avec un CDN, les temps de réponse chutent d’un coup. Pour Google, c’est comme si votre serveur venait de recevoir une grosse mise à niveau. Il explore donc plus vite.

Pourquoi le serveur peut-il saturer juste après la mise en place ?

Parce qu’un CDN neuf démarre avec un cache vide. À la première demande d’une URL, le serveur du CDN n’a pas encore de copie : il doit aller la chercher sur votre serveur d’origine. Ce n’est qu’à la demande suivante que la page est servie depuis le cache.

Google souligne une différence importante entre visiteurs et robots :

Résultat : pendant quelques jours, chaque page explorée pour la première fois retombe sur le serveur d’origine, au moment même où Google accélère. Tant que le cache n’est pas rempli, le CDN ne protège pas encore votre serveur.

Un CDN neuf démarre avec un cache vide : chaque première visite d’une page retombe sur le serveur d’origine.

Quel est le risque avec la protection anti-robots ?

Voyant les robots affluer, beaucoup de propriétaires activent la protection anti-robots de leur CDN ou de leur pare-feu applicatif. Google met en garde contre ce réflexe : une règle qui traite tous les robots de la même façon bloque aussi ses propres robots.

Un robot de Google ne sait pas résoudre un CAPTCHA. S’il tombe sur une page de vérification ou une erreur 403, il considère que le site est volontairement restreint ou cassé. Google l’écrit clairement : si la situation dure, ses robots ralentissent, et vos pages comme vos fiches produits Shopping commencent à disparaître de la recherche.

Pour un e-commerçant, l’enjeu ne s’arrête pas au SEO. Google Ads vérifie aussi vos pages avec son robot AdsBot. Une page de destination qui renvoie une erreur à ce robot peut faire refuser une annonce, comme je l’explique dans mon article sur l’erreur 500. Et les robots des moteurs IA, comme ceux de ChatGPT ou de Perplexity, sont souvent bloqués par les mêmes règles, ce que je détaille dans mon article sur le référencement Perplexity.

Ce que Google conseille de faire

Google donne trois recommandations.

1. Autoriser les robots vérifiés

La plupart des CDN et des pare-feu proposent une option ou une règle prête à l’emploi pour laisser passer les robots connus et vérifiés. Google publie ses plages d’adresses IP pour les identifier. Si vous devez bloquer des robots, mieux vaut viser précisément ceux que vous ne voulez pas, avec le robots.txt ou des règles ciblées.

2. Préchauffer le cache

Avant d’envoyer tout le trafic vers le CDN, Google conseille de charger à un rythme contrôlé les pages les plus visitées, celles des prochaines opérations commerciales et les URL les plus explorées. Le cache est alors prêt quand le trafic arrive.

3. Freiner temporairement avec un code 429 ou 503

Si le serveur reste surchargé, Google accepte que vous renvoyiez un code 429 ou 503 pendant une courte période. Sa page sur la réduction de la vitesse d’exploration parle de quelques heures, ou d’un à deux jours au maximum. Ne prolongez pas : Google rappelle que les URL qui renvoient continuellement une erreur de serveur finissent par être supprimées de l’index.

Que faire avant le Black Friday ?

Si votre site est déjà derrière un CDN, voici les vérifications que je fais en priorité :

Et si vous prévoyez de passer à un CDN, évitez de le faire la semaine du Black Friday. Laissez au cache le temps de se remplir.

Mon avis

Je trouve cet article de Google très utile, parce qu’il explique un phénomène que l’on prend souvent pour une attaque. Voir des centaines de requêtes de robots juste après une mise en place pousse à tout bloquer. Selon moi, c’est la pire réaction : on règle un problème de quelques jours en créant un problème de visibilité qui peut durer des semaines.

Mon retour d’expérience

Mon propre site est servi par un CDN depuis sa migration d’octobre 2026. J’ai constaté exactement ce que décrit Google : un serveur plus sollicité les premiers jours, le temps que le cache se remplisse. Un détail m’a d’ailleurs surpris : le préchargement automatique de mon extension de cache remplit le cache du serveur, mais pas celui des serveurs du CDN répartis dans le monde. Les deux ne se réchauffent pas en même temps.

Je filtre les robots au cas par cas, sans bloquer Googlebot. Les rares erreurs restantes viennent de robots tiers qui explorent des dizaines de pages en quelques secondes. Je vérifie simplement que ni les vrais visiteurs, ni le vrai Googlebot ne sont touchés. Je détaille aussi le fonctionnement de l’exploration dans mon article sur le budget de crawl.

FAQ : CDN et exploration Google

Un CDN améliore-t-il le référencement ?

Indirectement. Il accélère les pages, ce qui aide l’expérience utilisateur et les Core Web Vitals, et Google explore plus facilement un site rapide et stable.

Pourquoi Google explore-t-il plus mon site après le passage à un CDN ?

Parce que les réponses deviennent plus rapides. Google y voit un serveur capable d’en supporter davantage et augmente progressivement sa vitesse d’exploration.

Faut-il activer la protection anti-robots de son CDN ?

Seulement avec une exception pour les robots vérifiés. Une protection qui bloque tous les robots peut faire disparaître vos pages de Google.

Combien de temps peut-on renvoyer un code 503 à Google ?

Google parle de quelques heures, ou d’un à deux jours au maximum, pour réduire l’exploration en urgence. Des erreurs qui durent finissent par faire sortir les pages de l’index.

Comment savoir si mon CDN bloque Googlebot ?

Testez une page avec l’outil d’inspection d’URL de la Search Console, et vérifiez les statistiques d’exploration. Une hausse des erreurs 403 ou 5xx est un signal d’alerte.

Quitter la version mobile
Quitter la version mobile