Crawler Google Bot limité à une centaine de megabytes
Jusqu’à présent, Google avait indiqué ne crawler qu’une dizaine de megabytes par page. Pour rappel, le crawler ou spider Google (Google Bot) est un robot logiciel ayant pour fonction d’explorer le contenu des sites de tout Internet. Ces fameux crawlers indexent et étudient les contenus explorés en partant des résultats d’un moteur. Ce fameux crawl permettant ensuite à Google de classer les contenus dans son moteur de recherche. Il semblerait bien que le crawler Google soit à présent passé à une centaine de megabytes. La différence est juste énorme !
We do also have a cut-off for indexing but usually that’s fairly large. So that’s, as far as I remember from the last time I looked at this, a couple hundred megabytes. So if your pages are bigger than that then probably you have other issues than trying to get the text on the bottom of the page.
Pourquoi s’intéresser au Crawler Google ?
La maitrise du crawl Google est un élément important dans votre stratégie SEO ou référencement naturel. La plupart des bons Consultant SEO sont en mesure de mettre en place des techniques permettant d’optimiser le passage du crawler Google et l’optimisation du budget crawl de Google pour les gros sites.
