File robots txt, che cos’è?
È vero; puoi manipolare chi esegue la scansione e l’indicizzazione del tuo sito, anche fino alle singole pagine. Per controllarlo, dovrai utilizzare un file robots.txt. Robots.txt è un semplice file di testo che risiede nella directory principale del tuo sito web. Informa i robot che vengono inviati dai motori di ricerca quali pagine scansionare e … Leggi tutto