Il robots.txt è un file di testo che viene utilizzato per fornire alcune indicazioni ai motori di ricerca, nello specifico agli spider (definiti spesso anche bot o crawler…) dei motori di ricerca.
All’interno di questo file è possibile inserire delle righe di testo per indicare ai motori di ricerca quali pagine e quali sezioni del sito non sono accessibili a loro. Queste indicazioni spesso vengono utilizzate anche per evitare che i motori di ricerca perdano tempo e sprechino risorse su pagine e sezioni non particolarmente rilevanti.
Il file robots.txt non deve essere assolutamente utilizzato per evitare che alcune pagine del tuo sito non compaiono tra i risultati di ricerca di Google o di altri motori. Per fare ciò ci sono altri metodi e, se si tratta di informazioni riservate, è decisamente meglio proteggere con una password o altri sistemi le pagine in questione.