Sedan BigDaddy har ett nytt crawl-system införts på Google med en central cache för varje sida.

MediaBot som är till för AdSense hjälper nu till att cacha för indexet - MEN enligt vad Google skriver ska det inte hjälpa på något sätt att få snabbare crawl etc.

Här är full beskrivning av Matt Cutts:
http://www.mattcutts.com/blog/crawl-caching-proxy/