Che cos’è l’AhrefsBot?
Non è altro che un crawler web con il compito di esplorare il World Wide Web metodicamente e in modo automatico.
Altri termini per i crawler web sono
- indicizzatori automatici
- bot
- spider
- robot Web
Questo processo è chiamato Web crawling o spidering.
Un Web crawler è un tipo di bot, o un agente software.
Il processo inizia con un elenco di URL da visitare.
Come il crawler visita questi URL, identifica tutti i collegamenti ipertestuali nella pagina e li aggiunge alla lista di URL da visitare.
Questi URL sono ricorsivamente visitati.
Chi è solito guardare i log di un sito web ogni tanto lo incontra 😀 e a te è capitato di leggere AhrefsBot?
Se vuoi eliminarlo perchè pensi possa consumare la tua banda dati ti basta mettere queste due righe nel file robots.txt :
user-agent: AhrefsBot
disallow: /
ed il problema è risolto 🙂