Hej!
är inte säker på huruvida detta är rätt forum, annars skulle det uppskattas om det kunde flyttas rätt
fråga 1. vad är fördelen/nackdelen att använda robotinstruktioner direkt i koden kontra att använda en robot.txt fil? example:
<meta name="robots" content="index, follow" />
<meta name="googlebot" content="index, follow" />
fråga 2. Vad är skillnaden på att ge generella regler för alla robots och för googlebot? varför gör man det? (exemplet ovan är hämtat ifrån en större sites source code)