Indexerad sida, disallow i robots.txt - indexering försvinner när?

[seattlegrunge]

Har en sajt där jag glömde sätta disallow i robots.txt på en undersida och denna undersida (endast script i sidan, ingen html) är så klart indexerad i några av sökmotorerna, bl a Google.

För x antal veckor sedan lade jag till en disallow i robots.txt för just den undersidan, ungeför hur lång tid tar det innan den försvinner från Googles (och andra sökmotorers) index? Det var i början av januari, har jag för mig, som jag lade till disallow för undersidan, tycker det har gått rätt lång tid nu

I en av sökmotorerna har denna undersida även "hög status", för när man söker på företagsnamnet kommer den som första träff... sjukt nog! Sidan är ju helt tom på html, inga title eller något... endast php-script och lite javascript.

[Nord]

I Google och Yahoo kan det ta något år, i MSN något snabbare. Normalt går det dock på några veckor. Google har även en snabbare metod via automatic url removal system och då sker exkluderingen direkt.

Det kommer sedan ta 180 dagar innan Google försöker spindla sidan igen.

[seattlegrunge]

Oj, så lång tid alltså!
Tänkte innan använda Googles Remove URL, men tänkte att mha robots.txt så försvinner URL:en efter inte allt för lång tid på respektive sökmotor. Men det får bli att jag använder Googles Remove URL helt enkelt

Tack för svaret Nord!

EDIT: Loggade in nu på Googles Remove URL, för det ska väl fungera med mitt vanliga Google-konto?!? Iaf, när jag loggar in så kommer jag till en helt vit sida och ibland tillbaka till hxxp://services.google.com/urlconsole/controller

Nån annan som kommer in där?

[Da Bear]

Jodå, jag kommer in med mitt vanliga google konto. Prova att tömma cachen i din webbläsare.

[seattlegrunge]

Det hjälpte inte mig... registrerade mig på nytt, men samma uppgifter som mitt befintliga Google-konto... fått ett mail med en aktiveringslänk... den funkar inte... page cannot be displayed.

Däremot fungerar mitt Google-konto som vanligt för att logga in till Googles diverse andra verktyg.

[whyld]

Testade själv att sätta disallow i robots.txt för en onödigt indexerad sida för 3 dagar sedan och den är nu borta.

[seattlegrunge]

Inte här
Men grejen kan vara det att denna fil har indexerats i många olika skepnader eftersom url:en innehåller en querystring... det kan t ex vara fil.php?prod=23 eller fil.php?prod=67 etc... tar antagligen tid att plocka bort alla möjliga kombinationer!??

De versioner jag såg innan jag satte disallow i robots.txt är fortfarande kvar i indexet ser jag... får väl bara vänta och se.

[Nord]

Det beror på hur ofta sajten spindlas whyld. Google checkar HELA din robots.txt VARJE gång de spindlar om din sajt. Det kan dock ta helt absurt lång tid innan en omspindling sker på små sajter. Det vanliga är dock några veckor och kanske inte ett år. :-)

Används urgent removal toolet så säger man alltså åt Googlebot att gå in på sidan och fixa biffen direkt. En direkt order till Googlebotten dvs. man har chansen att leka lite Mat Cutts.

[seattlegrunge]

Nord, tänkte på en sak... Googlebot besöker sajten ifråga i stort sett dagligen, men är det skillnad på vad den gör från besök till besök?
Enligt Google Tools så har Googlebot stött på robots.txt och tagit denna i beaktning, det gjorde den redan första dygnet efter att jag lagt upp robots.txt.

[whyld]

Nord, tänkte på en sak... Googlebot besöker sajten ifråga i stort sett dagligen, men är det skillnad på vad den gör från besök till besök?
Enligt Google Tools så har Googlebot stött på robots.txt och tagit denna i beaktning, det gjorde den redan första dygnet efter att jag lagt upp robots.txt.

Har den aktuella sidan blivit cachad av google efter att du aktiverade disallow?

[seattlegrunge]

Nope, sidan är inte cachad. Övriga sidor på sajten är det dock.

Vet dock inte om den var cachad innan disallow, men det borde den inte ha varit väl?!?

[whyld]

Nu blev jag förvirrad...
Har jag förstått rätt så syns sidan i Googles SERP, normalt (om man inte hindrat detta) så cachar Google sidan vid ett besök (eller anger datum för senaste besök). Mitt antagande är alltså att om du kollar när när senaste cachen/besöket gjordes kan du se om Google besökt sidan efter att du lagt till disallow. Detta bör dock inte vara möjligt.

Hur ser presentationen av sidan ut i SERPEN? Har sidan en rubrik eller består namnet enbart av URLen?
Visas sidan enbart med URLen och inte med sidans titel så har jag för mig att detta är ett sätt för Google att visa att man vet att sidan finns, men att den inte besöks. Dock bör sidans "höga status" försvinna om detta är fallet, och ofta förpassas dessa sidor till supplemental results för att sedan försvinna helt.

Jag hade nog också lagt till metataggen NOINDEX på sidan.

[seattlegrunge]

Jag har haft "noindex,nofollow" som metatagg sen sidan skapades för ett år sedan.

Var kan jag kolla exakt när/om en undersida blivit cachad? Sett över hela sajten så är googlebot på besök varje dag iaf.

Kollar jag i Googles Webbmasterverktyg och tittar på webbadresserna som är begränsade av robots.txt så ligger denna fil där under.

Presentationen i SERPen ser ut som följer:
Namnlös
Bla bla bla, standard-description på cirka 100 tecken
www.doman.se/fil.php?prod=34 Liknande sidor

Alla andra indexerade sidor ser ut som följer:

Unik titel på sidan
Bla bla bla, unik description
www.doman.se/fil.php
Cachad - Liknande sidor

Den enda sida som saknar Cachad-länken är just den filen/urlen som vi diskuterar.

[whyld]

Att det står Namnlös (om det inte är ditt eget namn på sidan ) och att det inte finns en cachelänk tyder på att Google tagit disallow i beaktande.

Var kan jag kolla exakt när/om en undersida blivit cachad

Detta enda sättet jag känner till är att använda cachelänken, vilket dock inte går nu. Men med ovanstående information så bör som sagt Google slutat besöka/cacha sidan.

Så nu är jag säker på att Google reagerat på disallow, och vi har åter kommit fram till att det ibland tar lång tid för Google att få sidan att försvinna helt ur indexet. Lite förvånad är jag dock att sidan fortfarande har "hög status" trots att Google känner till disallow - statusen på de sidor jag gjort detta på tidigare har alltid sjunkit snabbt och hamnat i supplemental.

Tillbaks på ruta 1.

[Da Bear]

Jag tycker Google är kass på att ta bort sidor man har lagt in i robots.txt ur cachen.

Några av mina "Felanmäl" länkar har google snappat upp. Givetvis så hade jag glömt att sätta Disallow i robots.txt men jag gjorde det så fort jag upptäckte att dessa var cachade.

Fortfarande efter 4 månader är en del av sidorna kvar. Ingen katastrof men jag stör mig på det ändå.

[seattlegrunge]

Tack för era svar!
Då har google slutat cachat sidan då... senaste två dygnen har jag märkt att den lägger inte lika stor vikt vid sidan längre... den ligger mycket längre ner i SERPen, tack vare disallow i robots.txt.

Konstigt förresten att den lyder robots.txt men inte noindex i meta-taggen som har stått där hela tiden sedan sidan publicerades för ett år sedan.