Utskriftsvy
ska lägga in samma robotsfil på många av mina sajter och vill undvika arbetet att skriva in varje unik domän i url:n undrar om det går att göra den avslutande raden med sitemap "generell" dvs utan url med bara filens namn:
vet att dessa två nedanstående ej fungerar, finns där någon som har någon ide?
Sitemap: /sitemap.xml
eller
Sitemap: sitemap.xml
Du måste tyvärr ha filens fullständiga URL, enligt sitemaps.org:
Citat:
You can specify the location of the Sitemap using a robots.txt file. To do this, simply add the following line including the full URL to the sitemap:
Sitemap: http://www.example.com/sitemap.xml
ok, synd där inte finns någon rationellare lösning..
Mäste även fråga om delay tiden för bottarnas besök, är 30s max?
ser att en del skriver upp till 500..
någon som har en bra robots.txt fil att dela med sig av? (med de olika bottarna)
ser att bingbot och sembot tar upp oerhört mycket av loggarna i mina sajter.
En "ful" lösning är att använda .htaccess för att peka om robots.txt till t.ex. robots_txt.php som i sin tur genererar ett lämpligt resultat för den aktuella domänen.