Hej.
Hur utesluter jag enskilda html-filer med robots.txt? Filerna ligger i "roten" så att säga.
Hej.
Hur utesluter jag enskilda html-filer med robots.txt? Filerna ligger i "roten" så att säga.
Skriva bara:
Disallow: /url.html
Men generellt är det att rekommendera att snarare sätta <Meta name="robots" content="noindex"> på sidor du inte vill ha med i Googles index.
Låt oss säga att jag skriver:
Disallow: /fil1.html
Disallow: /fil2.html
Kommer de två att exkluderas? Hur blir det med index.html filen? Kommer den att crawlas så att säga?
Ja, det två URL:erna, och endast de två, kommer blockeras.
Det är för närvarande 1 användare som tittar på det här ämnet. (0 medlemmar och 1 gäster)