Die robots.txt ist eine einfache Textdatei, die im Hauptverzeichnis (Root-Verzeichnis) einer Website hinterlegt wird (z. B. ihredomain.de/robots.txt). Sie dient als wichtiges Instrument der Suchmaschinenoptimierung (SEO) und des Web-Managements. Die Datei kommuniziert direkt mit den automatisierten Web-Crawlern (auch Bots oder Spiders genannt) von Suchmaschinen wie Google oder Bing. Über standardisierte Befehle (das sogenannte Robots Exclusion Protocol) gibt sie den Crawlern Anweisungen darüber, welche Bereiche, Verzeichnisse oder einzelnen Seiten einer Website durchsucht (gecrawlt) werden dürfen und welche explizit ignoriert werden sollen.
Die Steuerung der Crawler erfolgt über einfache, zeilenbasierte Anweisungen: