Avete un nuovo sito? Non dimenticate di creare il file robots.txt

Volete scalare rapidamente la classifica dei motori di ricerca con il vostro ultimo, meraviglioso sito o blog?

Non dimenticate la buona pratica di inserire un file denominato Robots.txt nella directory principale del vostro sito.

Leggete cosa dice Wikipedia in merito… e quando siete convinti della validità di questa cosa potete usare questa web application per generare il file robots.txt in automatico.

http://www.yellowpipe.com/yis/tools/robots.txt/

] marcomkc [

Da Wikipedia, l’enciclopedia libera.
Vai a: Navigazione, cerca

Il file robots.txt contiene delle regole utilizzate dai crawler (detti anche spider) per applicare restrizioni di analisi sulle pagine di un sito internet.

I web crawler sono dei software automatici programmati per effettuare ricerche ed indicizzazioni periodiche. Nella prima fase di analisi di un sito web controllano l’esistenza del file robots.txt per applicare eventuali restrizioni richieste dal webmaster del sito.

Robots.txt – Wikipedia