Qual è robots.txt?
robots.txt è un file di testo che può essere utilizzato per restringere web robot per l'accesso al tuo sito web solo in modalità di cui si approva.
Questo file robots.txt blocchi di Google Imagebot da tutto il sito web:
User-agent: Googlebot-Image Disallow: /
Per ulteriori informazioni su robots.txt, leggere uno standard per l'esclusione robot.
Controllare la sintassi del tuo file robots.txt
Diversi strumenti basati sul web sono disponibili, che recuperare il file robots.txt del tuo sito web e controllare la presenza di errori di sintassi.
Bad Robot
Alcuni web robot utilizzare notevoli quantità di larghezza di banda e le risorse di sistema, mentre il ritorno di poca o nessuna utilità pratica per il sito web proprietario.
Per la vostra convenienza, abbiamo un elenco di alcuni di questi cattivi robot in formato robots.txt.
 |
Bookmark Qual è robots.txt?
