Meta-Tags - Inhaltsbeschreibung nicht nur für Menschen

Suchen und Finden im Web

Die effiziente Suche nach bestimmten Internet-Inhalten ist oft kein einfaches Unterfangen. Suchmaschinen wie Google, Bing (Microsoft) oder Yahoo durchkämmen mit verschiedenen Suchprogrammen die Internet-Inhalte auf Millionen von Web-Servern weltweit.

Damit die Suchmaschinen oder Suchroboter auf Such-Fragen im Internet auch «die richtigen Seiten» anzeigen können, brauchen sie aber etwas Unterstützung von den Webmastern - den Leuten, welche die Internet-Inhalte pflegen und aktualisieren. In sogenannten «Meta-Informationen» können Webmaster oder «Web-Seiten-Produzenten» verschiedene, beschreibende Anweisungen für WWW-Server, WWW-Browser und automatische Suchprogramme im Internet (sogenannte «Robots» oder «Spider») notieren.

Weiterhin können Meta-Angaben aber auch Informationen zum Autor und zum Inhalt der Publikation bzw. der publizierten Informationen (Texte, Fotos, Videos) enthalten. Sie können zudem auch HTTP-Befehle absetzen, zum Beispiel zur automatischen Weiterleitung des Browsers zu einer anderen Adresse. Die Meta-Informationen werden - typisch für HTML - in sogenannten Meta-Tags festgehalten. Der HTML 4.x-Standard beschreibt lediglich den grundsätzlichen Aufbau eines solchen Meta-Tags, die Meta-Angaben selbst sind aber nicht standardisiert.

Meta-Tags beschreiben Inhalte

Alle Meta-Tags (Informationen über die publizierten Informationen) werden in der HEAD-Sektion eines HTML-Dokumentes (Sektion = Abschnitt) eingetragen. Die wichtigsten Attribute sind:

<head>
<meta name="description" content="Beschreibungstext der bei einer Suchmaschine erscheinen soll">
<meta name="author" content="Firma / Vorname und Name">
<meta name="keywords" content="Stichwort 1, Stichwort 2, Stichwort 3, Stichwort n">
<meta name="date" content="2010-01-10T08:00:05+00:00">
</head>

  • In der «description» kann eine Beschreibung zum Inhalte der Webseite angegeben werden.
  • Die Bezeichnung für den Verantwortlichen des Seiteninhaltes wird über das Meta-Tag «author» eingetragen
  • Die «keywords» beschreiben die relevanten Schlüsselwörter des Inhaltes. Sie sind wichtig für die Zuordnung einer publizierten Seite zu bestimmten Worten, welche als Suchbegriffe in den Suchmaschinen eingegeben werden
  • Das Meta-Tag «date» gibt an, wann die Datei publiziert wurde. Im obigen Beispiel ist 2010 die Jahreszahl, 01 der Monat, 10 der Tag, 08 die Stunden, 00 die Minuten und 05 die Sekunden. Die Angabe 00:00 hinter dem Pluszeichen ist die Abweichung der Zeit von der London/Greenwich-Zeit in Stunden und Minuten, im Beispiel keine Abweichung. Wenn Sie nur das Datum, aber keine Uhrzeit angeben wollen, notieren Sie nur den Teil der Datumsangabe bis vor dem grossen T (für Time).

Anweisungen für Suchmachinen ROBOTS.TXT

Wenn ein Roboter einer Suchmaschine einen Server besucht, so «hangelt» er sich von Verzeichnis zu Verzeichnis und indexiert einerseits die Meta-Tags sowie bestimmte Stichworte (je nach Roboter). Findet der Roboter im Root-Verzeichnis eines Web-Servers eine Datei mit dem Namen ROBOTS.TXT so wird der Inhalt interpretiert - dies gilt als ungeschriebenes Gesetz für alle Suchmaschinen.

Wie die Endung der Datei mit «.txt» bereits anzeigt, handelt es sich um eine reine ASCII-Text-Datei, die mit einem entsprechenden Text-Editor erstellt werden und per FTP im ASCII-Modus übertragen werden muss. Die Datei muss dabei in das Haupt-Verzeichnis (Root) des Webservers transferiert (http://www.stefan-lenz.ch/robots.txt) werden.

Die Steuerungsdatei ROBOTS.TXT wird von den Robots (oder auch «Spiders») der Suchmaschinen angefordert und enthält Anweisungen der Webmaster, wie diese sich verhalten sollen. Über bestimmte Steuerbefehle («disallow») lassen sich beispielsweise verschiedene Verzeichnisse vom Index ausschliessen. Es ist auch möglich, einem bestimmten Roboter (im Beispiel: «stalker») den Zugang zum Server ganz zu verwehren oder allen User-agents (*) bestimmte Verzeichnisse für den Index zu sperren. 

# ----------------------------------------------------------
# Datei: robots.txt
# Datum: 23. Maerz 20xx
# Autor: Stefan Lenz # Mail: info-at-stefan-lenz.ch
# ----------------------------------------------------------
User-agent: stalker
Dissallow: /

User-agent: SpiderJack
Disallow: /

User-agent: thesubot
Disallow: /

User-agent: *
Disallow: /cgi-bin
Disallow: /images
Disallow: /imail

Hinter dem Befehl «User-agent» folgt die Bezeichnung des Spiders bzw. des Such-Roboters, für den der folgende Abschnitt mit Steuerbefehlen wie «Disallow» gilt. Die Inhalte von ROBOTS.TXT werden leider nicht von allen Web-Robotern unterstützt, eine Mehrzahl hingegen hält sich an die Vorgaben.

Weitere Informationen zur professionellen Anwendung der Steuerdatei «ROBOTS.TXT» - mit zahlreichen Details auch zu Suchmaschinen - finden Sie unter der Adresse der Organisation «link externrobotstxt.org».