Resultat 1 till 16 av 16

Indexerad sida, disallow i robots.txt - indexering försvinner när?

  1. #1
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Har en sajt där jag glömde sätta disallow i robots.txt på en undersida och denna undersida (endast script i sidan, ingen html) är så klart indexerad i några av sökmotorerna, bl a Google.

    För x antal veckor sedan lade jag till en disallow i robots.txt för just den undersidan, ungeför hur lång tid tar det innan den försvinner från Googles (och andra sökmotorers) index? Det var i början av januari, har jag för mig, som jag lade till disallow för undersidan, tycker det har gått rätt lång tid nu

    I en av sökmotorerna har denna undersida även "hög status", för när man söker på företagsnamnet kommer den som första träff... sjukt nog! Sidan är ju helt tom på html, inga title eller något... endast php-script och lite javascript.

  2. #2
    Nords avatar
    Nord Nord är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    mar 2006
    Ort
    Kungsholmen, Stockholm
    Inlägg
    293
    I Google och Yahoo kan det ta något år, i MSN något snabbare. Normalt går det dock på några veckor. Google har även en snabbare metod via automatic url removal system och då sker exkluderingen direkt.

    Det kommer sedan ta 180 dagar innan Google försöker spindla sidan igen.

  3. #3
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Oj, så lång tid alltså!
    Tänkte innan använda Googles Remove URL, men tänkte att mha robots.txt så försvinner URL:en efter inte allt för lång tid på respektive sökmotor. Men det får bli att jag använder Googles Remove URL helt enkelt

    Tack för svaret Nord!

    EDIT: Loggade in nu på Googles Remove URL, för det ska väl fungera med mitt vanliga Google-konto?!? Iaf, när jag loggar in så kommer jag till en helt vit sida och ibland tillbaka till hxxp://services.google.com/urlconsole/controller

    Nån annan som kommer in där?

  4. #4
    Da Bears avatar
    Da Bear Da Bear är inte uppkopplad Lär mig SEO
    Reg.datum
    nov 2006
    Ort
    Eslöv
    Inlägg
    72
    Jodå, jag kommer in med mitt vanliga google konto. Prova att tömma cachen i din webbläsare.

  5. #5
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Det hjälpte inte mig... registrerade mig på nytt, men samma uppgifter som mitt befintliga Google-konto... fått ett mail med en aktiveringslänk... den funkar inte... page cannot be displayed.

    Däremot fungerar mitt Google-konto som vanligt för att logga in till Googles diverse andra verktyg.

  6. #6
    whylds avatar
    whyld whyld är inte uppkopplad Kan SEO rätt bra
    Moderator för alla forumsektioner
    Reg.datum
    jul 2006
    Ort
    Åstorp, Skåne
    Inlägg
    277
    Testade själv att sätta disallow i robots.txt för en onödigt indexerad sida för 3 dagar sedan och den är nu borta.

  7. #7
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Inte här
    Men grejen kan vara det att denna fil har indexerats i många olika skepnader eftersom url:en innehåller en querystring... det kan t ex vara fil.php?prod=23 eller fil.php?prod=67 etc... tar antagligen tid att plocka bort alla möjliga kombinationer!??

    De versioner jag såg innan jag satte disallow i robots.txt är fortfarande kvar i indexet ser jag... får väl bara vänta och se.

  8. #8
    Nords avatar
    Nord Nord är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    mar 2006
    Ort
    Kungsholmen, Stockholm
    Inlägg
    293
    Det beror på hur ofta sajten spindlas whyld. Google checkar HELA din robots.txt VARJE gång de spindlar om din sajt. Det kan dock ta helt absurt lång tid innan en omspindling sker på små sajter. Det vanliga är dock några veckor och kanske inte ett år. :-)

    Används urgent removal toolet så säger man alltså åt Googlebot att gå in på sidan och fixa biffen direkt. En direkt order till Googlebotten dvs. man har chansen att leka lite Mat Cutts.

  9. #9
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Nord, tänkte på en sak... Googlebot besöker sajten ifråga i stort sett dagligen, men är det skillnad på vad den gör från besök till besök?
    Enligt Google Tools så har Googlebot stött på robots.txt och tagit denna i beaktning, det gjorde den redan första dygnet efter att jag lagt upp robots.txt.

  10. #10
    whylds avatar
    whyld whyld är inte uppkopplad Kan SEO rätt bra
    Moderator för alla forumsektioner
    Reg.datum
    jul 2006
    Ort
    Åstorp, Skåne
    Inlägg
    277
    Citat Ursprungligen postat av seattlegrunge
    Nord, tänkte på en sak... Googlebot besöker sajten ifråga i stort sett dagligen, men är det skillnad på vad den gör från besök till besök?
    Enligt Google Tools så har Googlebot stött på robots.txt och tagit denna i beaktning, det gjorde den redan första dygnet efter att jag lagt upp robots.txt.
    Har den aktuella sidan blivit cachad av google efter att du aktiverade disallow?

  11. #11
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Nope, sidan är inte cachad. Övriga sidor på sajten är det dock.

    Vet dock inte om den var cachad innan disallow, men det borde den inte ha varit väl?!?

  12. #12
    whylds avatar
    whyld whyld är inte uppkopplad Kan SEO rätt bra
    Moderator för alla forumsektioner
    Reg.datum
    jul 2006
    Ort
    Åstorp, Skåne
    Inlägg
    277
    Nu blev jag förvirrad...
    Har jag förstått rätt så syns sidan i Googles SERP, normalt (om man inte hindrat detta) så cachar Google sidan vid ett besök (eller anger datum för senaste besök). Mitt antagande är alltså att om du kollar när när senaste cachen/besöket gjordes kan du se om Google besökt sidan efter att du lagt till disallow. Detta bör dock inte vara möjligt.

    Hur ser presentationen av sidan ut i SERPEN? Har sidan en rubrik eller består namnet enbart av URLen?
    Visas sidan enbart med URLen och inte med sidans titel så har jag för mig att detta är ett sätt för Google att visa att man vet att sidan finns, men att den inte besöks. Dock bör sidans "höga status" försvinna om detta är fallet, och ofta förpassas dessa sidor till supplemental results för att sedan försvinna helt.

    Jag hade nog också lagt till metataggen NOINDEX på sidan.

  13. #13
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Jag har haft "noindex,nofollow" som metatagg sen sidan skapades för ett år sedan.

    Var kan jag kolla exakt när/om en undersida blivit cachad? Sett över hela sajten så är googlebot på besök varje dag iaf.

    Kollar jag i Googles Webbmasterverktyg och tittar på webbadresserna som är begränsade av robots.txt så ligger denna fil där under.

    Presentationen i SERPen ser ut som följer:
    Namnlös
    Bla bla bla, standard-description på cirka 100 tecken
    www.doman.se/fil.php?prod=34 Liknande sidor

    Alla andra indexerade sidor ser ut som följer:

    Unik titel på sidan
    Bla bla bla, unik description
    www.doman.se/fil.php
    Cachad - Liknande sidor

    Den enda sida som saknar Cachad-länken är just den filen/urlen som vi diskuterar.

  14. #14
    whylds avatar
    whyld whyld är inte uppkopplad Kan SEO rätt bra
    Moderator för alla forumsektioner
    Reg.datum
    jul 2006
    Ort
    Åstorp, Skåne
    Inlägg
    277
    Att det står Namnlös (om det inte är ditt eget namn på sidan ) och att det inte finns en cachelänk tyder på att Google tagit disallow i beaktande.

    Var kan jag kolla exakt när/om en undersida blivit cachad
    Detta enda sättet jag känner till är att använda cachelänken, vilket dock inte går nu. Men med ovanstående information så bör som sagt Google slutat besöka/cacha sidan.

    Så nu är jag säker på att Google reagerat på disallow, och vi har åter kommit fram till att det ibland tar lång tid för Google att få sidan att försvinna helt ur indexet. Lite förvånad är jag dock att sidan fortfarande har "hög status" trots att Google känner till disallow - statusen på de sidor jag gjort detta på tidigare har alltid sjunkit snabbt och hamnat i supplemental.

    Tillbaks på ruta 1.

  15. #15
    Da Bears avatar
    Da Bear Da Bear är inte uppkopplad Lär mig SEO
    Reg.datum
    nov 2006
    Ort
    Eslöv
    Inlägg
    72
    Jag tycker Google är kass på att ta bort sidor man har lagt in i robots.txt ur cachen.

    Några av mina "Felanmäl" länkar har google snappat upp. Givetvis så hade jag glömt att sätta Disallow i robots.txt men jag gjorde det så fort jag upptäckte att dessa var cachade.

    Fortfarande efter 4 månader är en del av sidorna kvar. Ingen katastrof men jag stör mig på det ändå.

  16. #16
    seattlegrunges avatar
    seattlegrunge seattlegrunge är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    jun 2006
    Ort
    Malmö
    Inlägg
    262
    Tack för era svar!
    Då har google slutat cachat sidan då... senaste två dygnen har jag märkt att den lägger inte lika stor vikt vid sidan längre... den ligger mycket längre ner i SERPen, tack vare disallow i robots.txt.

    Konstigt förresten att den lyder robots.txt men inte noindex i meta-taggen som har stått där hela tiden sedan sidan publicerades för ett år sedan.

Ämnesinformation

Användare som tittar på det här ämnet

Det är för närvarande 1 användare som tittar på det här ämnet. (0 medlemmar och 1 gäster)