Spesso quando creiamo un sito web , aggiungiamo informazioni riservate o pagine esterne per prova o mille altri motivi , e vorremmo che queste non vengano indicizzate e di conseguenza invisibili ai motori di ricerca . Come si può fare tutto ciò ? Le soluzioni sono più di una , vediamo le più semplici :
Utilizzare una restrizione con il robots.txt
Durante il passaggio dello spieder/crawler esso viene letto nel suo contenuto in modo da vedere quale pagine seguire e quali bloccare .
Facendo un esempio pratico avremo :
Blocchiamo tutto il sito :
Disabilitiamo una pagina o cartella :
Un’altro metodo può essere il tag noindex:
Nel codice html della pagina tra <head> e </head> basterà aggiungere il seguente codice :
Nel caso che le modifiche vengano apportate in seguito a pagine già indicizzate occorre attendere qualche giorno prima che le pagine scompaiano , o segnalare il link tramite l’apposito strumento in google webmasters tools.
e se lo faccio dal meta della pagina è uguale o peggio ?
Se vorrei toglierla proprio dagli indici ?
Con il robot o facendo richiesta tramite il webmaster tools .