Robots.txt je textový soubor umístěný v kořenovém adresáři webové stránky, který poskytuje pokyny pro vyhledávací roboty (crawlers) ohledně toho, které části webu mají nebo nemají procházet a indexovat.
Tento soubor může obsahovat direktivy, které omezují přístup k určitým stránkám nebo sekcím webu, například administrativním oblastem nebo dočasným souborům. Robots.txt také může specifikovat cestu k souboru sitemap.xml, který pomáhá robotům lépe porozumět struktuře webu. I když robots.txt může omezit přístup pro většinu vyhledávačů, není to absolutní ochrana proti procházení, protože některé roboty tyto pokyny nemusí respektovat.
Správná konfigurace souboru robots.txt je důležitá pro zajištění, že vyhledávače indexují pouze relevantní a veřejně přístupný obsah, což může ovlivnit SEO a celkovou viditelnost webu.
