Resultat 1 till 6 av 6

problem med robots.txt och google webmaster tools...

  1. #1
    torkels avatar
    torkel torkel är inte uppkopplad Lär mig SEO
    Reg.datum
    jan 2013
    Inlägg
    201
    Har försökt komma tillrätta med detta och googlat en hel del, men har kört fast...

    Det gäller en helt nystartad WP blogg.

    Jag blockerade tillsvidare spindlar, under tiden jag byggde upp sidan. Tog bort spärren för ett par dagar sedan. Lade sedan till sidan i google webmaster tools och verifierade ägarskapet. So far so good.

    När jag submittade sitemapen så fick jag sedermera felmeddelandet "att google inte kan indexera sidan pga robots.txt". jag kollade och den så då ut så här:
    _________________
    User-agent: *
    Disallow: /
    _________________

    Däremot kan jag inte hitta filen på serverneller via FTP (har googlat om detta och förstått att WP använder någonformav "dynamisk robots.txt fil"). Hur uppdaterar man då den?

    Som försök att rätta till detta har jag manuellt lagt till en ny robots.txt fil som ser ut så här:

    _________________
    User-agent: *
    Disallow:

    Sitemap: "http://............../page-sitemap.xml"
    _________________

    Sitemapen skapas av en plugin ("SEO by Yoast") och jag kan inte ändra namnet på något sätt.

    Spelar det någon roll att den heter: "page-..." istället för det normala, endast sitemap.xml?


    Har försökt att resubmittera denna sitemap, men G webmaster tools säger fortfarande att processen blockeras av robots.txt...?!?! När jag kollar sitemapen på "www.mindomän/page-sitemap.xml" så ser det bra ut, och den blockerar inga sidor...

  2. #2
    MGPs avatar
    MGP MGP är inte uppkopplad Lär mig SEO
    Reg.datum
    okt 2011
    Inlägg
    40
    Kanske funkar med detta plugin:
    http://wordpress.org/extend/plugins/pc-robotstxt/
    Går att ändra och lägga till under Inställningar i WP, kolla efter PC Robots.txt.

    Jag brukar flytta upp "Disallow: /wp-admin/" m.m. De ligger längst ned i settings för pluginet (enklare att ha det först/överst).

    Kopia av infotext:
    The “Disallow: /” line means disallow access to the complete domain for whichever “User-agent” is
    listed above it. Unless you want to make specific exceptions you shouldn’t need to edit anything.

    Och för sitemap:
    http://www.arnebrachhold.de/projects...nerator/#P18DL

    Jag är ingen superspecialist när det gäller ovanstående, men dessa plugins funkar perfekt för mig.

  3. #3
    torkels avatar
    torkel torkel är inte uppkopplad Lär mig SEO
    Reg.datum
    jan 2013
    Inlägg
    201
    Tack för tips, men jag vill helst inte lägga till en massa plugins. Försöker hålla installationerna så slimmade som möjligt för att undvika kompatibilitetsproblem framöver...

    Jag har satt upp sidor med WP flera gånger tidigare och det har inte varit några problem.

    Problemet för tillfället är att jag har en sitemap och en robots.txt fil som ser helt ok ut, men ändock rapporterar G webmaster tools att sidan är blockad för indexering...

  4. #4
    MOBs avatar
    MOB MOB är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    sep 2011
    Ort
    Malmö
    Inlägg
    347
    Tjena Torkel.
    Bara för att du har tagit bort blockeringen betyder det inte att Google kommer indexera din sida samma sekund.
    Det kommer fortsätta att stå att den är blockerad tills den har hunnit besöka din sida och uppdatera sin index.

    Logga oxå in på Webmaster Tools -> Status -> Blockerade adresser och kolla efter status på din robots.txt fil.
    Skall vara Status: 200 (Lyckades)

    Konfirmera också att det är den robots.txt fil som du själv manuellt laddade upp.

  5. #5
    torkels avatar
    torkel torkel är inte uppkopplad Lär mig SEO
    Reg.datum
    jan 2013
    Inlägg
    201
    Citat Ursprungligen postat av MOB Visa inlägg
    Tjena Torkel.
    Bara för att du har tagit bort blockeringen betyder det inte att Google kommer indexera din sida samma sekund.
    Det kommer fortsätta att stå att den är blockerad tills den har hunnit besöka din sida och uppdatera sin index.

    Logga oxå in på Webmaster Tools -> Status -> Blockerade adresser och kolla efter status på din robots.txt fil.
    Skall vara Status: 200 (Lyckades)

    Konfirmera också att det är den robots.txt fil som du själv manuellt laddade upp.
    Tack för kommentarer!

    Vet att det tar ett tag innan google verkligen hittar dit. Men tidigare har det gått på ett dygn i alla fall, och jag har inte behövt tänka mer på saken. Nu har det gått flera dagar, och då har jag börjat titta lite närmare på det, och jag känner inte alls igen mönstret.

    Men hur som helst så står det status 200, hade inte kollat det tidigare så vet ej om det ändrats nyligen, men det låter ju lovande i alla fall. Får ha is i magen några dagar till då, innan stålarna börjar forsa in...

  6. #6
    AaronAxelssons avatar
    AaronAxelsson AaronAxelsson är inte uppkopplad SEO-proffs: utökad profil
    Moderator för alla forumsektioner
    Reg.datum
    jun 2010
    Ort
    Örnsköldsvik
    Inlägg
    775
    Google är väldigt sega med att uppdatera informationen om blockerade sidor i Webmaster Tools nu för tiden. Jag skulle säga att de tinte är ovanligt att det tar upp mot en vecka innan en ändringar av Robots.txt eller metainfo om indexering syns i Webmaster Tools.

    Tänk också på att de alltid skriver att sidor blockeras av Robots.txt i de rapporterna, även om de faktiskt blockeras av något annat, som exempelvis meta-taggen noindex.

Ämnesinformation

Användare som tittar på det här ämnet

Det är för närvarande 1 användare som tittar på det här ämnet. (0 medlemmar och 1 gäster)

Liknande ämnen

  1. Duplicate title tags Google Webmaster Tools
    Av jakobia i forum Optimering
    Svar: 4
    Senaste inlägg: 2012-11-09, 21:45
  2. Crawl erros och google webmaster tools
    Av Hercules Rockefeller i forum Optimering
    Svar: 2
    Senaste inlägg: 2010-12-27, 18:57
  3. Svar: 0
    Senaste inlägg: 2008-10-26, 23:28
  4. Dubbla rubriktaggar google webmaster tools
    Av Magnus-SEO i forum Optimering
    Svar: 8
    Senaste inlägg: 2008-07-04, 06:50
  5. Svar: 0
    Senaste inlägg: 2008-04-03, 17:00