X-robots-tag

X-robots-tag ist ein HTTP-Header-Feld, das verwendet wird, um Suchmaschinen Anweisungen zum Crawling und Indexieren von Webseiteninhalten zu geben.

Dieses Feld kann verwendet werden, um anzugeben, ob eine Seite indexiert werden soll oder nicht, ob Links auf der Seite gefolgt werden sollen oder nicht und ob die Seite in der Suchergebnisseite als Snippet angezeigt werden soll oder nicht. X-robots-tag ist ähnlich wie das Robots.txt-File, bietet jedoch mehr Flexibilität und Kontrolle, da es auf Seitenebene statt auf Domainebene angewendet werden kann. Es wird häufig von Suchmaschinen verwendet, um die Relevanz und Vertrauenswürdigkeit von Webseiteninhalten zu bewerten.

Mehr Begriffserklärungen findest du in unserem Glossar: SEO-Wissen!