Finns det något kommando i HTML som man kan sätta för att exkludera ett specifikt innehåll i en del av ett HTML-dokument för sökmotorernas robtar.
På mitt företags sajt så finns en selectbox med landets alla kommuner. Den ligger alltid med i översta menyn. Jag använder nedanstående verktyg för att granska vad sökmotorerna ser på sidan.
Observera att jag inte vill exkludera ett helt dokument, som man gör i robot.txt, utan alltså bara vissa delar i dokumentet.
http://www.xml-sitemaps.com/se-bot-simulator.html