Quando acquistate un piano host per il vostro sito web spesso leggete “banda illimitata”, ma non è spesso così.
Per evitare spiacevoli sorprese, sospensione host, a causa di un consumo elevato di banda causato non dai molti utenti che visitano il sito, ma bensì da accessi “indesiderati” è possibile bloccare degli User-Agent che nel tempo si sono rilevati INUTILI e “succhia banda”.
Eccone una lista (aspetto un vostro contributo 🙂 ) :
- VCI
- Szukacz/1.4
- QueryN Metasearch
- Openfind data gathere
- Openfind
- Xenu’s Link Sleuth 1.1c
- Xenu’s
- Zeus
- RepoMonkey Bait & Tackle/v1.01
- RepoMonkey
- Zeus 32297 Webster Pro V2.9 Win32
- Webster Pro
- EroCrawler
- LinkScan/8.1a Unix
- Kenjin Spider
- Cegbfeieh
- Teleport Pro/1.29.1718
- Teleport Pro/1.29.1632
- Teleport Pro/1.29.1590
- Teleport Pro/1.29
Questi vanno inseriti nel robots.txt con un bel disallow :
User-agent: “xxx”
Disallow: /
Personalmente non amo liste infinite da inserire in giro, robots o htaccess, questo perchè finchè riesco a tenere sotto controllo (tramite cpanel o altro) il consumo di banda controllando il suo andamento preferisco mantenerli puliti.