Robots.txt

Les fichiers d’index Robots.txt contiennent des données sur les informations pouvant être traitées sur le site. Ils vous permettent de limiter le nombre de requêtes d’analyse, ce qui réduit considérablement la charge sur la ressource. Ils gèrent également le trafic des robots de recherche et peuvent exclure le contenu présenté sur la page des résultats de recherche Google.