Hej på er!
Jag tänkte höra lite kring hur ni tycker att man bör resonera kring robots.txt
Vi har en relativt stor sajt med reaktionellt material samt ett aktivt phpBB3 forum.
Jag har en gammal robots.txt som finns kvar sedan vi använde en äldre version av phpBB och därför har jag nu raderat robots filen.
Vore supertacksam ifall någon ville förklara vad vi bör ha med i robots alltså vad vi bör exkludera och om det är nödvändigt över huvudtaget.
Något speciellt man bör tänka på när det gäller phpBB3 tex som man bör skriva i sin robots.txt?
Vissa sajter har med en länk till sin sitemap har jag sett, varför gör man så?