Utskriftsvy
Hej,
Vilket har förtur för Google, det som står som Disallow i robots.txt eller om man skriver:
<meta name="robots" content="index,follow">
<META NAME="GOOGLEBOT" CONTENT="INDEX, FOLLOW">
Jag fick nämligen en del sidor som jag inte ville ha indexerade med i Googles index trots att de var blockade i robots.txt.
Vänliga hälsningar
Thomas
Kort svar: robots.txt
Längre svar:
Om filen är listad i robots är spindlarna förbjudna att ladda ner filen vilket gör eventuella meta-taggar irrelevanta. Att dina filer är indexerade trots disallow-direktiv i robots kan bero på att du använder IIS (eller annan webbserver/OS som inte är skiftlägeskänslig). Inlänkar som är skrivna på ett annat sätt än strängen i robots kommer då att "spindlas". ex /index.html och /INDEX.HTML.
Notera också att robots och meta endast säger att filen inte får indexeras. Har den en inlänk kommer google att lagra "vetskap" om att filen existerar (visas i SERP på sökningen site:xyz). Innehållet är dock inte sökbart.
/Sveinung
Jag tror att det kan ha berott på att det i robots.txt stod:
Disallow: filnamn.asp
när det borde ha stått:
Disallow: /filnamn.asp
När jag körde Googles automatiska URL-borttagningssystem så klagade den först på min robots.txt och sade att den ville ha "/" framför filnamnen.