problem med robots.txt och google webmaster tools...

Har försökt komma tillrätta med detta och googlat en hel del, men har kört fast...

Det gäller en helt nystartad WP blogg.

Jag blockerade tillsvidare spindlar, under tiden jag byggde upp sidan. Tog bort spärren för ett par dagar sedan. Lade sedan till sidan i google webmaster tools och verifierade ägarskapet. So far so good.

När jag submittade sitemapen så fick jag sedermera felmeddelandet "att google inte kan indexera sidan pga robots.txt". jag kollade och den så då ut så här:
_________________
User-agent: *
Disallow: /
_________________

Däremot kan jag inte hitta filen på serverneller via FTP (har googlat om detta och förstått att WP använder någonformav "dynamisk robots.txt fil"). Hur uppdaterar man då den?

Som försök att rätta till detta har jag manuellt lagt till en ny robots.txt fil som ser ut så här:

_________________
User-agent: *
Disallow:

Sitemap: "http://............../page-sitemap.xml"
_________________

Sitemapen skapas av en plugin ("SEO by Yoast") och jag kan inte ändra namnet på något sätt.

Spelar det någon roll att den heter: "page-..." istället för det normala, endast sitemap.xml?


Har försökt att resubmittera denna sitemap, men G webmaster tools säger fortfarande att processen blockeras av robots.txt...?!?! När jag kollar sitemapen på "www.mindomän/page-sitemap.xml" så ser det bra ut, och den blockerar inga sidor...

Kanske funkar med detta plugin:
http://wordpress.org/extend/plugins/pc-robotstxt/
Går att ändra och lägga till under Inställningar i WP, kolla efter PC Robots.txt.

Jag brukar flytta upp "Disallow: /wp-admin/" m.m. De ligger längst ned i settings för pluginet (enklare att ha det först/överst).

Kopia av infotext:
The “Disallow: /” line means disallow access to the complete domain for whichever “User-agent” is
listed above it. Unless you want to make specific exceptions you shouldn’t need to edit anything.

Och för sitemap:
http://www.arnebrachhold.de/projects...nerator/#P18DL

Jag är ingen superspecialist när det gäller ovanstående, men dessa plugins funkar perfekt för mig.

Tack för tips, men jag vill helst inte lägga till en massa plugins. Försöker hålla installationerna så slimmade som möjligt för att undvika kompatibilitetsproblem framöver...

Jag har satt upp sidor med WP flera gånger tidigare och det har inte varit några problem.

Problemet för tillfället är att jag har en sitemap och en robots.txt fil som ser helt ok ut, men ändock rapporterar G webmaster tools att sidan är blockad för indexering...:confused:

Tjena Torkel.
Bara för att du har tagit bort blockeringen betyder det inte att Google kommer indexera din sida samma sekund.
Det kommer fortsätta att stå att den är blockerad tills den har hunnit besöka din sida och uppdatera sin index.

Logga oxå in på Webmaster Tools -> Status -> Blockerade adresser och kolla efter status på din robots.txt fil.
Skall vara Status: 200 (Lyckades)

Konfirmera också att det är den robots.txt fil som du själv manuellt laddade upp.

Citat:

---

Ursprungligen postat av MOB

Tjena Torkel.
Bara för att du har tagit bort blockeringen betyder det inte att Google kommer indexera din sida samma sekund.
Det kommer fortsätta att stå att den är blockerad tills den har hunnit besöka din sida och uppdatera sin index.

Logga oxå in på Webmaster Tools -> Status -> Blockerade adresser och kolla efter status på din robots.txt fil.
Skall vara Status: 200 (Lyckades)

Konfirmera också att det är den robots.txt fil som du själv manuellt laddade upp.

---

Tack för kommentarer!

Vet att det tar ett tag innan google verkligen hittar dit. Men tidigare har det gått på ett dygn i alla fall, och jag har inte behövt tänka mer på saken. Nu har det gått flera dagar, och då har jag börjat titta lite närmare på det, och jag känner inte alls igen mönstret.

Men hur som helst så står det status 200, hade inte kollat det tidigare så vet ej om det ändrats nyligen, men det låter ju lovande i alla fall. Får ha is i magen några dagar till då, innan stålarna börjar forsa in...;)

Google är väldigt sega med att uppdatera informationen om blockerade sidor i Webmaster Tools nu för tiden. Jag skulle säga att de tinte är ovanligt att det tar upp mot en vecka innan en ändringar av Robots.txt eller metainfo om indexering syns i Webmaster Tools.

Tänk också på att de alltid skriver att sidor blockeras av Robots.txt i de rapporterna, även om de faktiskt blockeras av något annat, som exempelvis meta-taggen noindex.