Har försökt komma tillrätta med detta och googlat en hel del, men har kört fast...
Det gäller en helt nystartad WP blogg.
Jag blockerade tillsvidare spindlar, under tiden jag byggde upp sidan. Tog bort spärren för ett par dagar sedan. Lade sedan till sidan i google webmaster tools och verifierade ägarskapet. So far so good.
När jag submittade sitemapen så fick jag sedermera felmeddelandet "att google inte kan indexera sidan pga robots.txt". jag kollade och den så då ut så här:
_________________
User-agent: *
Disallow: /
_________________
Däremot kan jag inte hitta filen på serverneller via FTP (har googlat om detta och förstått att WP använder någonformav "dynamisk robots.txt fil"). Hur uppdaterar man då den?
Som försök att rätta till detta har jag manuellt lagt till en ny robots.txt fil som ser ut så här:
_________________
User-agent: *
Disallow:
Sitemap: "http://............../page-sitemap.xml"
_________________
Sitemapen skapas av en plugin ("SEO by Yoast") och jag kan inte ändra namnet på något sätt.
Spelar det någon roll att den heter: "page-..." istället för det normala, endast sitemap.xml?
Har försökt att resubmittera denna sitemap, men G webmaster tools säger fortfarande att processen blockeras av robots.txt...?!?! När jag kollar sitemapen på "www.mindomän/page-sitemap.xml" så ser det bra ut, och den blockerar inga sidor...