Le fichier robots.txt permet de donner des directives aux spiders - crawlers - bots concernant ce qu'ils ont le droit d'indexer ou non sur votre site.
Le fichier robots.txt permet de donner des directives aux spiders - crawlers - bots concernant ce qu'ils ont le droit d'indexer ou non sur votre site.