Perchè monitorare il robots.txt ?
Credo sia pensiero comune pensare che una volta creato il robots.txt non subisca cambiamenti o almeno non da parte nostra.
Ma pensate ai vari plugin per wordpress che hanno accesso al file, che succederebbe se ci fosse in testa al file :
User-agent: *
Disallow: /
Paura di tutto il mondo SEO 😀
Scherzavo…Robotto fà un check sullo STATUS del robots.txt e la prima email che riceverete sarà :
Robotto has detected the following changes in the robots.txt filefor w2o.it.
status
status has changed 0 to 200View file history
Accedendo alla “file history” avremo le seguenti informazioni :
- Discovery date
- Status
- Description
- Duration
- Size
- Directives
- User agents
- View file
- View changes
Quindi, per evitare incubi notturni basta andare su “robotto.semetrical.com” inserire il nome a dominio da monitorare, un’email dove ricevere l’alert e la password per iscriversi al servizio.
Una volta inseriti questi dati si avrà accesso ad un pannello di controllo dove sarà possibile inserire ulteriori domini da monitorare 😉
Nel dubbio ho inserito i miei e tu ?