Robots.txt ed il suo Monitoraggio

Perchè monitorare il robots.txt ?

Credo sia pensiero comune pensare che una volta creato il robots.txt non subisca cambiamenti o almeno non da parte nostra.

Ma pensate ai vari plugin per wordpress che hanno accesso al file, che succederebbe se ci fosse in testa al file :

User-agent: *
Disallow: /

Paura di tutto il mondo SEO 😀

Scherzavo…Robotto fà un check sullo STATUS del robots.txt e la prima email che riceverete sarà :

Robotto has detected the following changes in the robots.txt filefor w2o.it.

status
status has changed 0 to 200

View file history

Accedendo alla “file history” avremo le seguenti informazioni :

1. Discovery date
2. Status
3. Description
4. Duration
5. Size
6. Directives
7. User agents
8. View file
9. View changes

Quindi, per evitare incubi notturni basta andare su “robotto.semetrical.com” inserire il nome a dominio da monitorare, un’email dove ricevere l’alert e la password per iscriversi al servizio.

Una volta inseriti questi dati si avrà accesso ad un pannello di controllo dove sarà possibile inserire ulteriori domini da monitorare 😉

Nel dubbio ho inserito i miei e tu ?