Bing gestisce tre crawler:
bingbot
adidxbot
msnbot
Bingbot è il crawler standard e gestisce la maggior parte del crawling che avviene ogni giorno.
Adidxbot è il crawler adCenter responsabile per la scansione ads e in seguito per il controllo qualità.
MSNbot era il vecchio crawler prima che bingbot arrivasse sulla scena. MSNbot gestisce alcune funzioni multimediali ad oggi, anche se andrà presto in pensione. Bingbot assumerà tutti i compiti MSNbot da quel momento in poi.
Bing non condivide gli indirizzi IP deii crawler, ma nei log si trova traccia del loro passaggio 😉
Per controllare come i crawler interagiscono con il sito web, abbiamo due opzioni:
File robots.txt può essere configurato per dire ai crawler come interagire con il sito
Attraverso Bing Webmaster Tools è possibile controllare i tempi per eseguire la scansione
Per la serie non esiste solo Google 😀