Disconoscere cattivi programmi robots.txt non impedire a tutti i sito web di scaricare, in quanto molti programmi cattivi semplicemente ignorare il contenuto del file robots.txt e fare ciò che vogliono fare.
Un altro metodo è quello di escludere il download di programmi user-agent in httpd.conf.
Aggiungi ogni agente che si desidera escludere a httpd.conf:
User-Agent SetEnvIfNoCase ^ HTTrack keep_away
User-Agent SetEnvIfNoCase ^ Offline Explorer keep_away
User-Agent SetEnvIfNoCase ^ psbot keep_away
User-Agent SetEnvIfNoCase ^ Teleport keep_away
User-Agent SetEnvIfNoCase ^ WebCopier keep_away
User-Agent SetEnvIfNoCase ^ WebReaper keep_away
User-Agent SetEnvIfNoCase ^ Webstripper keep_away
Ordine Consenti, Nega
Lasciare da tutti
Nega da env = keep_away
User agent anche il blocco non impedisce il download di tutti i sito web, perché l'utente può cancellare il suo agente o un utente di spoofing sembrano essere Internet Explorer o un altro comune browser.
Se il contenuto che si sta tentando di proteggere è in PHP, si può essere interessati a bloccare l'utente agente tecnica descritta in
Bookmark Come faccio a impedire che in tutto il Download del mio sito web?
Ultimi post sul blog