Robots.txt & forum phpBB3

Hej på er!
Jag tänkte höra lite kring hur ni tycker att man bör resonera kring robots.txt
Vi har en relativt stor sajt med reaktionellt material samt ett aktivt phpBB3 forum.

Jag har en gammal robots.txt som finns kvar sedan vi använde en äldre version av phpBB och därför har jag nu raderat robots filen.

Vore supertacksam ifall någon ville förklara vad vi bör ha med i robots alltså vad vi bör exkludera och om det är nödvändigt över huvudtaget.

Något speciellt man bör tänka på när det gäller phpBB3 tex som man bör skriva i sin robots.txt?

Vissa sajter har med en länk till sin sitemap har jag sett, varför gör man så?

Citat:

---

Vissa sajter har med en länk till sin sitemap har jag sett, varför gör man så?

---

Man brukar ange i robots.txt URLen till sin XML-sitemap. Sökmotorerna finner då reda på att du har en XML-sitemap och var den ligger. Man kan ju även registrera den i webmaster tools och liknande kontrollpanerna för de andra sökmotorerna men om man bara registrerar den i Googles webmaster tools kan man ange den i robots.txt för de andra som jag brukar göra för nya sajter.

Resten kan jag inte svara på eftersom jag inte har någon erfarenhet med phpBB.

Tack för svaret, dum fråga kanske men "bör" man ha en robots.txt oavsett om vi väljer att inte exkludera någon mapp eller fil?

Tex

User-agent: Mediapartners-Google*
disallow:

Vad ska det stå i min robots.txt om jag vill ge bootarna full åtkomst till hela sajten?

Citat:

---

Ursprungligen postat av Jim Westergren

Man brukar ange i robots.txt URLen till sin XML-sitemap. Sökmotorerna finner då reda på att du har en XML-sitemap och var den ligger. Man kan ju även registrera den i webmaster tools och liknande kontrollpanerna för de andra sökmotorerna men om man bara registrerar den i Googles webmaster tools kan man ange den i robots.txt för de andra som jag brukar göra för nya sajter.

Resten kan jag inte svara på eftersom jag inte har någon erfarenhet med phpBB.

---

Citat:

---

Tack för svaret, dum fråga kanske men "bör" man ha en robots.txt oavsett om vi väljer att inte exkludera någon mapp eller fil?

---

Ja det tycker jag. Sökmotorerna kommer ju kolla den och det är ju onödigt att få 404 errors.

Vill du inte exkludera något och inte heller ange någon XML-sitemap så är en robots.txt som är helt blank bättre än inget alls.

Citat:

---

Tex

User-agent: Mediapartners-Google*
disallow:

---

Mediapartners-Google är en bot av Google som kollar innehållet för AdSense. "disallow: " betyder ingenting eftersom det inte står något.

Citat:

---

Vad ska det stå i min robots.txt om jag vill ge bootarna full åtkomst till hela sajten?

---

Det ska inte stå någonting, förutom kanske adressen till din XML-sitemap.

Kan förresten rekommendera att du läser min artikel Robots.txt & meta-robots: förklaring och guide om du inte redan gjort det.