Robots.txt ist eine Textdatei, in der festgelegt werden kann, welche Bereiche einer Domain von einem Webcrawler gecrawlt werden dürfen und welche nicht.
Durch robots.txt können komplette Verzeichnisse, einzelne Dateien in einem Verzeichnis, aber auch Unterverzeichnisse oder ganze Domains vom Crawling ausgeschlossen werden.
Dies kann verwendet werden, um bestimmte Teile einer Website vor dem Zugriff durch Suchmaschinen zu schützen oder um sicherzustellen, dass nur relevante Inhalte von Suchmaschinen gefunden werden.
Robots.txt wird im Root der Domain hinterlegt und ist das erste Dokument, das ein Bot abruft, wenn er eine Webseite besucht.
Obwohl die Robots.txt-Datei nicht zwingend ist, empfehlen viele Websitebetreiber sie zu verwenden, um ihre Website für die Suchmaschinen zu optimieren.
Mehr Begriffserklärungen findest du in unserem Glossar: SEO-Wissen!
Wenn Sie Unterstützung in Ihrem digitalen Projekt benötigen,
dann besuchen Sie uns
Bleiben Sie am Ball. Neues Wissen immer parat mit unserem Newsletter