Più volte ho parlato del Robotx.txt sul sito, ma questa volta voglio parlare del suo aspetto che potremmo definire ludico 😀
Tutti sappiamo il suo scopo e sappiamo che è un file di testo, quindi al suo interno (preceduto dal simbolo di commento cancelletto “#”) potremmo andare ad inserire ciò che vogliamo.
Sicuramente vi sarà capitato di aprirne alcuni particolare, bhè iniziamo dal mio :
(Immagine : Robots.txt di W2O.it)
Poi ce ne sono alcuni in cui ci sono delle indicazioni per chi vuole essere autorizzato alla lettura dei contenuti e allo stesso tempo fa dei disallow delle pagine puntuali per ogni crawler :
(Immagine : Robots.txt di Facebook)
Vi consiglio di passare in rassegna TUTTI i robots.txt dei siti che normalmente frequentate, potreste trovare delle piacevoli sorprese 😉
Voglio lasciarvi con questo ultimo robots, non posto la foto altrimenti sarebbe da inserirlo tutto, che sicuramente vi lascierà stupiti :
http://explicitly.me/robots.txt
Di tutti quelli che negli anni ho visto questo è il migliore, non credi? 😀