Hej,
Vilket har förtur för Google, det som står som Disallow i robots.txt eller om man skriver:
<meta name="robots" content="index,follow">
<META NAME="GOOGLEBOT" CONTENT="INDEX, FOLLOW">
Jag fick nämligen en del sidor som jag inte ville ha indexerade med i Googles index trots att de var blockade i robots.txt.
Vänliga hälsningar
Thomas