• A
• B
• C
• D
• E
• F
• G
• H
• I
• J
• K
• L
• M
• N
• O
• P
• Q
• R
• S
• T
• U
• V
• W
• X
• Y
• Z
• Gesamtes Glossar

Definition robots.txt

robots.txt ist eine Datei, die Crawler von Suchmaschinen darüber informiert, welche Webseiten oder Bereiche einer Internetpräsenz nicht in den Index aufgenommen werden sollen. Sie wird im Wurzelverzeichnis einer Website abgelegt, also dort, wo auch die Startseite (index.html) einer Internetpräsenz abgelegt ist.

Hier erfahren Sie genau, wie Sie eine robots.txt erstellen.