Vissa kataloger/enskilda sidor är ju rätt sjävklara att sätta disallow på, men finns vissa jag inte vet hur man borde hantera. Kan tillägga att jag för tillfället jobbar med en stor sida där väldigt många sidor/kataloger är indexerade (det har inte funnits någon robots.txt-fil tidigare).
Skall man exempelvis tänka att en sida skall ha ett värde för besökaren som ev. kommer in på den via ex. Google i första hand? Gamla nyhetsbrev som finns indexerade borde i så fall tas bort? (Förutsatt att informationen i nyhetsbrevet inte är aktuell givetvis) Eller är det bättre att ha kvar dem ifall de innehåller många ord man vill ranka högt på?
Fråga 1: Hur mycket skall jag begränsa i robot-filen?
Fråga 2: När jag har satt disallow på en sida som redan är indexerad kommer den försvinna ur Googles index efter en tid eller bör man ansöka om borttagning i Webmaster tools själv?