Robots.txt vs enterprise-lösning?

Utskriftsvy

2010-11-08, 18:20
adamsdotter

Robots.txt vs enterprise-lösning?

Hej hej!

Jag har en Enterprise-lösning på en site, dvs, det är 6 siter utåt, mysite.se, mysiteagain.se, mysite2.se, myweb.se osv.
Alla siter ligger i samma root-katalog på FTP:n och redirectas till rätt mapp när går till urlen.

Det jag undrar är hur jag ska göra med robots.txt när det är flera "siter" fastän det egentligen bara är en. Hur gör jag med sitemapen?
Kan jag länka in till de olika xml-sitemapsen eller hur fungerar det?

Frågan är alltså hur jag ska få in alla olika sitemaps som ligger i samma root.
Kan min robots.txt se ut så här?:

Sitemap: http://mysite.se/SearchEngineSitemaps/SiteMapIndex.aspx
Sitemap: http://myweb.se/SearchEngineSitemaps/SiteMapIndex.aspx
Sitemap: http://myotherside.se/SearchEngineSi...eMapIndex.aspx
Sitemap: http://mythirdsite.se/SearchEngineSi...eMapIndex.aspx
Sitemap: http://mysite2.se/SearchEngineSitema...eMapIndex.aspx
Sitemap: http://mysite3.se/SearchEngineSitema...eMapIndex.aspx

Tack på förhand!
/ P
2010-11-08, 20:00
Jonathan Björkskog

sätt en robots.txt i varje undermapp!? eftersom det är olika domäner så kommer ju sökmotorerna att se det som olika hemsidor.. rätta mig gärna om jag har fell :)
2010-11-09, 10:25
adamsdotter

Citat:

Ursprungligen postat av JonathanB

sätt en robots.txt i varje undermapp!? eftersom det är olika domäner så kommer ju sökmotorerna att se det som olika hemsidor.. rätta mig gärna om jag har fell :)

Men robots.txt måste ju ligga rakt in i rooten väl?
Och undermappar finns inte. Strukturen sätts upp i CMS:et..
2010-11-09, 19:02
Tobias Nyholm

Så här är det. robots.txt ska ligga i webroten. Hur det ser ut på din FTP-server är ointressant i många fall.
Man kan inte ha en robots.txt i varje undermapp. Det avviker från standarden. (Däremot kan man ha en .htaccess fil i under mapparna)

Du ska placera din robots.txt fil så att du når den genom att skriva http://www.example.com/robots.txt

Om det skulle vara så att http://www.example1.com/robots.txt och http://www.example2.com/robots.txt leder till samma fil så måste du separera robots.txt(arna) på något sätt så det ser ut som om det inte leder till samma fil.
Till exempel kan man göra det med .htaccess. Man skriver typ:

Kod:

"Om det är www.example1.com/robots.txt, så gå till robots_example1.txt"

(Om du har det så att http://www.example1.com/robots.txt och http://www.example2.com/robots.txt leder till samma fil så kan jag ge dig ett kodexempel, säg bara till)
2010-11-09, 20:59
adamsdotter

Grymt tack för det!

I dagsläget har jag bara en robots.txt eftersom allt ligger i samma rootkatalog.

Jag noterade att googles robots.txt innehåller

Kod:

Sitemap: http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml Sitemap: http://www.google.com/hostednews/sitemap_index.xml Sitemap: http://www.google.com/ventures/sitemap_ventures.xml Sitemap: http://www.google.com/sitemaps_webmasters.xml Sitemap: http://www.gstatic.com/trends/websites/sitemaps/sitemapindex.xml Sitemap: http://www.gstatic.com/dictionary/static/sitemaps/sitemap_index.xml

så kanske jag kan skriva likadant i min?

Kod:

Sitemap: http://mysite.se/SearchEngineSitemaps/SiteMapIndex.aspx Sitemap: http://myweb.se/SearchEngineSitemaps/SiteMapIndex.aspx Sitemap: http://myotherside.se/SearchEngineSi...eMapIndex.aspx Sitemap: http://mythirdsite.se/SearchEngineSi...eMapIndex.aspx Sitemap: http://mysite2.se/SSearchEngineSitem...eMapIndex.aspx Sitemap: http://mysite3.se/SearchEngineSitema...eMapIndex.aspx

Eller vad säger du?
2010-11-09, 22:24
Tobias Nyholm

Jag har inte sett någon skriva sådär. Men om google gör det är det säkert OK. Google webmaster tools kommer att klaga om det är fel har jag för mig.

Testa.