www.hemsida.com/robots.txt

[dorfie]

Hej allesammans,

vill indexera bort filtypen html i en vis katalog utan att göra det på alla underkataloger.

Är detta lösning korrekt eller kommer jag även indexera bort /mapp/(Alla mappar inuti)


User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /mapp/*.html
Allow: /

Som sagt vill jag bara indexera bort alla html filer i "mapp" utan att den kollar upp alla kataloger inuti mappen.

Sen om ni har tips om förslag på att lägga till något eller något jag missat. så vore det tacksamt.

Anledningen till att jag vill ta bort dessa html filer är för att det är dubbletter.
Använder enkla verktyg för att göra hemsida som gör att jag inte behöver koda något.


Tack i förhand

[Mathias GBM]

I webbmaster tools har du en funktion som heter "Hämta som Googlebot" denna ska du kunna använda för att se så det fungerar som de ska. Det du vill göra kan lösas på flera sätt men det som du skrivit ovan ska fungera.

[dorfie]

I webbmaster tools har du en funktion som heter "Hämta som Googlebot" denna ska du kunna använda för att se så det fungerar som de ska. Det du vill göra kan lösas på flera sätt men det som du skrivit ovan ska fungera.

Tack för hjälpen, uppskattas verkligen.

"Hämta som googlebot" är samma sak som fetch as googlebot?

Har min på engelska

[Mathias GBM]

Japp !

[dorfie]

tack för hjälpen

[MOB]

Prova detta, du väljer fil eller mapp du vill blockera och den skriver ut en robots.txt automatiskt åt dig:

http://www.searchenginepromotionhelp.com/m/robots-text-creator/simple-robots-creator.php