Robots.txt

Robots.txt indexfiler innehåller data om vilken information som kan behandlas på sajten. De låter dig begränsa antalet skanningsförfrågningar, vilket avsevärt minskar belastningen på resursen. De hanterar också trafiken för sökrobotar och kan utesluta innehållet som presenteras på sidan från Googles sökresultat.