Wie man an der Endung erkennen kann handelt es sich bei robots.txt um eine Textdatei. Diese Datei ist sehr hilfreich im Bereich der Suchmaschinenoptimierung. Sie vermittelt Informationen an die Suchmaschine, welche Elemente einer Seite von der Indexierung ausgeschlossen werden können. So können z.B. doppelte Inhalte, Bildpfade, irrelevante Seiten oder auch ganze Robots direkt ausgeschlossen werden.