Sitemaps-XML-Format

Springen zu:
XML-Tag-Definitionen
Entity-Escaping
Verwenden von Sitemap-Indexdateien
Andere Sitemap-Formate
Position der Sitemap-Datei
Validieren Ihrer Sitemap
Erweitern des Sitemapprotokolls
Informieren von Suchmaschinen-Crawlern

Dieses Dokument beschreibt das XML-Schema für das Sitemapprotokoll.

Das Format des Sitemapprotokolls besteht aus XML-Tags. Sämtliche Datenwerte in einer Sitemap müssen Entity-escaped sein. Die Datei selbst muss in UTF-8 codiert sein.

Die Sitemap muss Folgendes erfüllen:

Mit einem öffnenden <urlset>-Tag beginnen und mit einem schließenden </urlset>-Tag enden.
Legen Sie den Namespace (Protokollstandard) innerhalb des <urlset>-Tags an.
Fügen Sie für jede URL einen <url>-Eintrag als übergeordnetes XML-Tag ein.
Fügen Sie für jedes übergeordnete <url>-Tag einen untergeordneten <loc>-Eintrag ein.

Alle anderen Tags sind optional. Die Unterstützung dieser optionalen Tags hängt von der jeweiligen Suchmaschine ab. Weitere Informationen erhalten Sie in der Dokumentation der entsprechenden Suchmaschine.

Alle URLs in einer Sitemap müssen von einem Einzelhost stammen, zum Beispiel www.example.com oder store.example.com. Weitere Informationen erhalten Sie im Speicherort der Sitemap-Datei

Beispiel für eine XML-Sitemap

Das folgende Beispiel zeigt eine Sitemap, die nur eine URL enthält und in der alle optionalen Tags verwendet werden. Die optionalen Tags sind kursiv angezeigt.


<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>

      <loc>http://www.example.com/</loc>

      <lastmod>2005-01-01</lastmod>

      <changefreq>monthly</changefreq>

      <priority>0.8</priority>

   </url>

</urlset>

Vergleichen Sie dazu auch unser Beispiel für mehrere URLs.

XML-Tag-Definitionen

Die verfügbaren XML-Tags werden unten beschrieben.

Attribut		Beschreibung
`<urlset>`	erforderlich	Fasst die Datei zusammen und verweist auf den aktuellen Protokollstandard.
`<url>`	erforderlich	Übergeordnetes Tag für die einzelnen URL-Einträge. Die übrigen Tags sind diesem untergeordnet.
`<loc>`	erforderlich	URL der Seite. Diese URL muss mit dem Protokoll beginnen (z.B. "http") und mit einem abschließenden Schrägstrich enden, sofern vom Webserver benötigt. Dieser Wert darf höchstens 2.048 Zeichen lang sein.
`<lastmod>`	Optional	Datum der letzten Änderung der Datei. Dieses Datum sollte das W3C Datetime-Format aufweisen. Mit diesem Format können Sie die Uhrzeit weglassen und JJJJ-MM-TT verwenden. Beachten Sie, dass das Datum auf das Datum der letzten Änderung der verlinkten Seite gesetzt werden muss, nicht auf den Zeitpunkt der Erstellung der Sitemap. Dieses Tag ist vom "If-Modified-Since"-Header (304), den der Server zurückgeben kann, unabhängig. Suchmaschinen können die Informationen von beiden Quellen unterschiedlich verwenden.
`<changefreq>`	Optional	Die Häufigkeit, mit der sich die Seite voraussichtlich ändern wird. Dieser Wert gibt Suchmaschinen allgemeine Informationen. Er steht nicht unbedingt mit der Häufigkeit in Zusammenhang, mit der Sie die Seite durchsuchen. Gültige Werte sind: always hourly daily weekly monthly yearly never Der Wert "always" wird zur Beschreibung von Dokumenten verwendet, die sich bei jedem Zugriff verändern. Der Wert "never" dient zur Beschreibung archivierter URLs. Der Wert dieses Tags wird als Tipp aufgefasst, nicht als Befehl. Die Suchmaschinen-Crawler können diese Information zwar bei ihren Entscheidungen berücksichtigen, sie durchsuchen jedoch Seiten, die mit "hourly" gekennzeichnet sind, eventuell seltener als stündlich, oder Seiten, die mit "yearly" gekennzeichnet sind, häufiger als jährlich. Selbst mit "never" gekennzeichnete Seiten können von den Crawlern in regelmäßigen Zeitabständen durchsucht werden, um unerwartete Änderungen an solchen Seiten zu erkennen.
`<priority>`	Optional	Die Priorität dieser URL gegenüber anderen URLs auf Ihrer Website. Gültige Werte liegen zwischen 0,0 und 1,0. Dieser Wert hat keinen Einfluss auf einen Vergleich Ihrer Seiten mit Seiten auf anderen Websites. Er informiert die Suchmaschinen lediglich darüber, welche Seiten für die Crawler die höchste Priorität haben. Die Standardpriorität einer Seite ist 0.5. Beachten Sie, dass die Priorität, die Sie einer Seite zuordnen, wahrscheinlich keinen Einfluss auf die Position Ihrer URLs in den Ergebnisseiten einer Suchmaschine hat. Diese Information wird unter Umständen von den Suchmaschinen lediglich zur Auswahl zwischen URLs derselben Website genutzt. Die Verwendung dieses Tags erhöht somit die Wahrscheinlichkeit, dass Ihre wichtigsten Seiten im Suchindex aufgeführt werden. Beachten Sie auch, dass es unsinnig ist, sämtlichen URLs Ihrer Website hohe Priorität zuzuordnen. Da die Priorität relativ ist, dient sie nur zur Auswahl zwischen URLs auf Ihrer Website.

Zurück nach oben

Entity-Escaping

Ihre Sitemap-Datei muss in UTF-8 codiert sein (das können Sie im Allgemeinen beim Speichern der Datei angeben). Wie bei XML-Dateien üblich, müssen alle Datenwerte (einschließlich URLs) Entity-Escape-Codes für die in der nachfolgenden Tabelle aufgeführten Zeichen verwenden.

Zeichen		Escape-Code
Kaufmännisches Und-Zeichen	&	`&`
Einfaches Anführungszeichen	'	`'`
Doppeltes Anführungszeichen	"	`"`
Größer als	>	`>`
Kleiner als	<	`<`

Darüber hinaus müssen alle URLs (einschließlich der URL Ihrer Sitemap) URL-escaped und codiert werden, damit der Webserver, auf dem sie gespeichert sind, sie lesen kann. Falls Sie jedoch ein Skript, Tool oder eine Protokolldatei zum Erzeugen Ihrer URLs verwenden, also alles außer einer manuellen Eingabe von URLs, erfolgt dies in der Regel automatisch. Stellen Sie sicher, dass Ihre URLs dem Standard RFC-3986 für URIs, dem Standard RFC-3987 für IRIs und dem XML-Standard entsprechen.

Es folgt ein Beispiel für eine URL, die ein Zeichen verwendet, das kein ASCII-Zeichen ist (ü), sowie ein Zeichen, das Entity-Escaping (&) erfordert:

http://www.example.com/ümlat.html&q=name

Weiter unten folgt dieselbe URL, in ISO-8859-1 codiert (für das Hosting auf einem Server, der diese Codierung verwendet) und URL-escaped:

http://www.example.com/%FCmlat.html&q=name

Weiter unten folgt dieselbe URL, in UTF-8 codiert (für das Hosting auf einem Server, der diese Codierung verwendet) und URL-escaped:

http://www.example.com/%C3%BCmlat.html&q=name

Es folgt dieselbe URL, jedoch mit Entity-Escaping:

http://www.example.com/%C3%BCmlat.html&amp;q=name

Beispiel für eine XML-Sitemap

Das folgende Beispiel zeigt eine Sitemap im XML-Format. Die Sitemap in dem Beispiel enthält einige URLs, die jeweils andere optionale Parameter verwenden.


<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>

      <loc>http://www.example.com/</loc>

      <lastmod>2005-01-01</lastmod>

      <changefreq>monthly</changefreq>

      <priority>0.8</priority>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=12&amp;desc=vacation_hawaii</loc>

      <changefreq>weekly</changefreq>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=73&amp;desc=vacation_new_zealand</loc>

      <lastmod>2004-12-23</lastmod>

      <changefreq>weekly</changefreq>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=74&amp;desc=vacation_newfoundland</loc>

      <lastmod>2004-12-23T18:00:15+00:00</lastmod>

      <priority>0.3</priority>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=83&amp;desc=vacation_usa</loc>

      <lastmod>2004-11-23</lastmod>

   </url>

</urlset>

Zurück nach oben

Verwenden von Sitemap-Indexdateien (zum Gruppieren mehrerer Sitemap-Dateien)

Sie können mehrere Sitemap-Dateien bereitstellen, jedoch darf eine Sitemap-Datei nicht mehr als 50.000 URLs enthalten und nicht größer als 50 MB (52,428,800 Byte) sein. Falls Sie möchten, können Sie Ihre Sitemap-Dateien mit gzip komprimieren, um Ihren Bandbreitenbedarf zu verringern, die nicht komprimierte Sitemap-Datei darf jedoch nicht größer als 50 MB sein. Bei Angabe von mehr als 50.000 URLs müssen Sie mehrere Sitemap-Dateien erstellen.

Falls Sie mehrere Sitemaps bereitstellen, sollten Sie jede einzelne Sitemap-Datei in einer Sitemap-Indexdatei aufführen. Sitemap-Indexdateien dürfen nicht mehr als 50.000 Sitemaps beinhalten, nicht größer als 50 MB (52,428,800 Byte) sein und können komprimiert werden. Sie können mehrere Sitemap-Indexdateien haben. Das XML-Format einer Sitemap-Indexdatei ist dem XML-Format einer Sitemap-Datei sehr ähnlich.

Die Sitemap-Indexdatei muss folgende Bedingung erfüllen:

Mit einem öffnenden <sitemapindex>-Tag beginnen und mit einem schließenden </sitemapindex>-Tag enden.
Fügen Sie für jede Sitemap einen <sitemap>-Eintrag als übergeordnetes XML-Tag ein.
Fügen Sie für jedes übergeordnete <sitemap>-Tag einen untergeordneten <loc>-Eintrag ein.

Das optionale <lastmod>-Tag ist für Sitemap-Indexdateien ebenfalls verfügbar.

Hinweis: In einer Sitemap-Indexdatei können nur Sitemaps aufgeführt werden, die sich auf derselben Website befinden wie die Sitemap-Indexdatei. Beispielsweise darf http://www.yoursite.com/sitemap_index.xml Sitemaps auf http://www.yoursite.com enthalten, nicht jedoch Sitemaps auf http://www.example.com oder http://yourhost.yoursite.com. Wie Sitemaps muss auch die Sitemap-Indexdatei UTF-8-codiert sein.

Beispielindex für eine XML-Sitemap

Das folgende Beispiel zeigt einen Sitemap-Index, der zwei Sitemaps aufführt:


<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <sitemap>

      <loc>http://www.example.com/sitemap1.xml.gz</loc>

      <lastmod>2004-10-01T18:23:17+00:00</lastmod>

   </sitemap>

   <sitemap>

      <loc>http://www.example.com/sitemap2.xml.gz</loc>

      <lastmod>2005-01-01</lastmod>

   </sitemap>

</sitemapindex>

Hinweis: Sitemap-URLs müssen, wie alle Werte in Ihren XML-Dateien, Entity-escaped sein.

Sitemap-Index XML Tag-Definitionen

Attribut		Beschreibung
`<sitemapindex>`	erforderlich	Fasst Informationen zu allen Sitemaps in der Datei zusammen.
`<sitemap>`	erforderlich	Fasst Informationen zu einer einzelnen Sitemap zusammen.
`<loc>`	erforderlich	Gibt den Speicherort der Sitemap an. Dieser Ort kann eine Sitemap, eine Atom-Datei, eine RSS-Datei oder eine einfache Textdatei sein.
`<lastmod>`	Optional	Gibt den Zeitpunkt an, an dem die zugehörige Sitemap-Datei geändert wurde. Dieser entspricht jedoch nicht dem Zeitpunkt von Änderungen an Seiten, die in der Sitemap aufgelistet sind. Der Wert für das lastmod-Tag hat das Format W3C Datetime. Durch Angabe des Zeitstempels der letzten Änderung ermöglichen Sie es Suchmaschinen-Crawlern, nur eine Untermenge der Sitemaps im Index abzurufen, d.h., ein Crawler ist in der Lage, nur solche Sitemaps abzurufen, die nach einem bestimmten Datum geändert wurden. Dank dieses inkrementellen Sitemap-Abrufverfahrens können neue URLs auf sehr umfangreichen Websites schnell entdeckt werden.

Zurück nach oben

Andere Sitemap-Formate

Im Sitemap-Protokoll können Sie Details zu Ihren Seiten angeben, die von Suchmaschinen gelesen werden sollen. Dies ist sehr empfehlenswert, da es Ihnen ermöglicht, außer den URLs weitere Informationen zu den Seiten Ihrer Website anzugeben. Es werden jedoch außer dem XML-Protokoll auch RSS-Feeds und Textdateien unterstützt, in denen Sie Informationen in begrenzterem Maße bereitstellen können.

Syndication-Feed

Sie können RSS (Real Simple Syndication) 2.0- oder Atom 0.3- oder Atom 1.0-Feeds senden. Im Allgemeinen verwenden Sie dieses Format nur dann, wenn Ihre Website bereits über einen Syndication-Feed verfügt. Unter Umständen werden den Suchmaschinen mit dieser Methode nicht alle URLs Ihrer Website übermittelt, da der Feed möglicherweise nur Informationen zu den neu hinzugekommenen URLs liefert. Die Suchmaschinen können jedoch anhand dieser Informationen trotzdem während des Crawling-Prozesses durch Nachverfolgen der Links auf den im Feed enthaltenen Seiten die anderen Seiten Ihrer Website ermitteln. Stellen Sie sicher, dass sich der Feed auf der höchsten Verzeichnisebene befindet, die die Suchmaschinen durchsuchen sollen. Die im Feed enthaltenen Informationen werden von Suchmaschinen folgendermaßen extrahiert:

Der Eintrag <link> gibt die URL an.
Der Eintrag modified date (<pubDate> für RSS-Feeds und das updated für Atom-Feeds) zeigt an, wann die einzelnen URLs zuletzt geändert wurden. Die Verwendung des Änderungsdatums ist optional.

Textdatei

Sie können uns eine einfache Textdatei senden, die eine URL pro Zeile enthält. Bei der Textdatei müssen diese Richtlinien beachtet werden:

Die Textdatei darf nur eine URL pro Zeile enthalten. Die URLs dürfen keine eingebetteten Zeilenumbrüche beinhalten.
Geben Sie die URLs vollständig an, einschließlich des vorangestellten "http"
Jede Textdatei kann maximal 50.000 URLs enthalten und darf nicht größer als 50 MB (52,428,800 Bytes) sein. Wenn Ihre Website mehr als 50.000 URLs umfasst, können Sie die Liste in mehrere Textdateien aufteilen und diese einzeln hinzufügen.
Die Textdatei muss in UTF-8 codiert sein. Die Codierung geben Sie beim Speichern der Datei an (beispielsweise im Texteditor im Menü "Codierung" des Dialogfelds "Speichern unter").
Die Textdatei sollte lediglich die Liste der URLs enthalten.
Die Textdatei sollte keine Kopf- oder Fußzeileninformationen enthalten.
Falls Sie möchten, können Sie Ihre Sitemap-Dateien mit gzip komprimieren, um Ihren Bandbreitenbedarf zu verringern.
Sie können die Textdatei beliebig benennen. Stellen Sie sicher, dass Ihre URLs dem Standard RFC-3986 für URIs und dem Standard RFC-3987 für IRIs entsprechen.
Laden Sie die Textdatei auf die höchste Verzeichnisebene hoch, die die Suchmaschinen durchsuchen sollen. Stellen Sie außerdem sicher, dass Sie in der Textdatei keine URLs auflisten, die auf einer höheren Ebene gespeichert sind.

Beispieleinträge für die Textdatei werden weiter unten angezeigt.

http://www.example.com/catalog?item=1




http://www.example.com/catalog?item=11

Zurück nach oben

Position der Sitemap-Datei

Vom Speicherort der Sitemap-Datei hängt ab, welche URLs in diese Sitemap aufgenommen werden können. Eine Sitemap-Datei am Speicherort http://example.com/catalog/sitemap.xml kann URLs beginnend mit http://example.com/catalog/ enthalten, jedoch keine URLs beginnend mit http://example.com/images/.

Falls Sie die Berechtigung zum Ändern von http://example.org/path/sitemap.xml besitzen, wird davon ausgegangen, dass Sie auch über die Berechtigung zur Informationsbereitstellung für URLs mit dem Präfix http://example.org/path/ verfügen. Gültige URLs in http://example.com/catalog/sitemap.xml umfassen:


http://example.com/catalog/show?item=23

http://example.com/catalog/show?item=233&user=3453

Zu URLs, die in http://example.com/catalog/sitemap.xml nicht als gültig angesehen werden, gehören:


http://example.com/image/show?item=23

http://example.com/image/show?item=233&user=3453

https://example.com/catalog/page1.html

Dies bedeutet, dass alle in der Sitemap aufgeführten URLs dasselbe Protokoll verwenden müssen (in diesem Beispiel "http") und sich auf demselben Host befinden müssen wie die Sitemap. Falls sich die Sitemap auf http://www.example.com/sitemap.xml befindet, kann sie keine URLs von http://subdomain.example.com enthalten.

URLs, die nicht als gültig angesehen werden, werden nicht weiter berücksichtigt. Es wird dringend empfohlen, Ihre Sitemap im Stammverzeichnis Ihres Webservers abzulegen. Wenn Ihr Webserver sich beispielsweise bei example.com befindet, sollte Ihre Sitemap-Indexdatei bei http://example.com/sitemap.xml sein. In bestimmten Fällen kann es erforderlich sein, verschiedene Sitemaps für verschiedene Pfade zu erstellen, z.B. wenn aufgrund von Sicherheitsregeln in Ihrem Unternehmen der Schreibzugriff auf verschiedene Verzeichnisse aufgeteilt wird.

Falls Sie beim Einreichen einer Sitemap einen Pfad mit einer Portnummer verwenden, muss diese Portnummer Teil des Pfads jeder in der Sitemap-Datei aufgelisteten URL sein. Beispiel: Falls Ihre Sitemap unter http://www.example.com:100/sitemap.xml aufgeführt ist, muss jede in der Sitemap aufgelistete URL mit "http://www.example.com:100" beginnen.

Sitemaps & Einreichen über Kreuz

Zum Einreichen von Sitemaps für mehrere Hosts von einem einzigen Host müssen Sie Ihren Besitz des/der Hosts, für den/die URLs in einer Sitemap eingereicht werden, "beweisen". Hier finden Sie ein Beispiel. Sie möchten beispielsweise Sitemaps für 3 Hosts einreichen:


www.host1.com mit Sitemap-Datei sitemap-host1.xml

www.host2.com mit Sitemap-Datei sitemap-host2.xml

www.host3.com mit Sitemap-Datei sitemap-host3.xml

Außerdem möchten Sie alle drei Sitemaps auf einem einzigen Host: www.sitemaphost.com ablegen. Die Sitemap-URLs lauten somit wie folgt:


http://www.sitemaphost.com/sitemap-host1.xml

http://www.sitemaphost.com/sitemap-host2.xml

http://www.sitemaphost.com/sitemap-host3.xml

Standardmäßig wird das den Fehler "Einreichen über Kreuz" zur Folge haben, da Sie versuchen, URLs für www.host1.com über die Sitemap, die auf www.sitemaphost.com gehostet wird, einzureichen (und einige für die anderen beiden Hosts). Eine Möglichkeit, den Fehler zu vermeiden, besteht darin, zu beweisen, dass Sie www.host1.com besitzen (d. h. zum Ändern der Dateien autorisiert sind). Dazu können Sie die Datei "robots.txt" auf www.host1.com ändern, sodass sie auf die Sitemap auf www.sitemaphost.com verweist.

In diesem Beispiel würde die Datei "robots.txt" unter http://www.host1.com/robots.txt die Zeile "Sitemap: http://www.sitemaphost.com/sitemap-host1.xml" enthalten. Durch die Änderung der Datei "robots.txt" auf www.host1.com und den Verweis auf die Sitemap auf www.sitemaphost.com haben Sie ausdrücklich bewiesen, dass Sie www.host1.com besitzen. Mit anderen Worten vertraut jeder, der die Datei "robots.txt" auf www.host1.com steuert, darauf, dass die Sitemap unter http://www.sitemaphost.com/sitemap-host1.xml URLs für www.host1.com enthält. Der gleiche Vorgang kann auch für die anderen beiden Hosts wiederholt werden.

Sie können jetzt die Sitemaps auf www.sitemaphost.com einreichen.

Wenn die Datei "robots.txt" eines bestimmten Hosts, zum Beispiel http://www.host1.com/robots.txt auf eine Sitemap oder einen Sitemap-Index auf einen anderen Host verweist, ist zu erwarten, dass für jede Ziel-Sitemap, wie zum Beispiel http://www.sitemaphost.com/sitemap-host1.xml, alle URLs zu dem Host gehören, auf den sie verweisen. Der Grund dafür besteht darin, dass eine Sitemap, wie bereits erläutert, URLs nur von einem einzigen Host haben sollte.

Zurück nach oben

Validieren Ihrer Sitemap

Die folgenden XML-Schemata definieren die Elemente und Attribute, die in Ihrer Sitemap-Datei auftreten können. Dieses Schema können Sie über die folgenden Links herunterladen:

Für Sitemaps: http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd
Für Sitemap-Indexdateien: http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd

Es sind zahlreiche Tools verfügbar, mit denen Sie die Struktur Ihrer Sitemap auf Basis dieses Schemas validieren können. Eine Liste mit XML-Tools finden Sie an folgenden Orten:

http://www.w3.org/XML/Schema#Tools
http://www.xml.com/pub/a/2000/12/13/schematools.html

Um Ihre Sitemap oder Ihre Sitemap-Indexdatei hinsichtlich eines Schemas zu überprüfen, benötigt die XML-Datei zusätzliche Header, wie unten dargestellt.

Sitemap:


<?xml version='1.0' encoding='UTF-8'?>

<urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"

         xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>

      ...

   </url>

</urlset>

Sitemap-Indexdatei:


<?xml version='1.0' encoding='UTF-8'?>

<sitemapindex xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd"

         xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <sitemap>

      ...

   </sitemap>

</sitemapindex>

Zurück nach oben

Erweitern des Sitemap-Protokolls

Sie können das Sitemap-Protokoll mithilfe Ihres eigenen Namensraums erweitern. Geben Sie diesen Namensraum einfach im Root-Element an. Zum Beispiel:


<?xml version='1.0' encoding='UTF-8'?>

<urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"

         xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

         xmlns:example="http://www.example.com/schemas/example_schema"> <!-- namespace extension -->

   <url>

      <example:example_tag>

         ...

      </example:example_tag>

      ...

   </url>

</urlset>

Zurück nach oben

Informieren von Suchmaschinen-Crawlern

Nachdem Sie die Sitemap-Datei erstellt und auf Ihrem Webserver abgelegt haben, müssen Sie den Suchmaschinen, die dieses Protokoll unterstützen, den Speicherort mitteilen. Dazu haben Sie folgende Möglichkeiten:

Einreichen über die Schnittstelle der Suchmaschine
Angeben des Speicherorts in der robots.txt-Datei Ihrer Website
Senden einer HTTP-Anforderungt

Daraufhin können die Suchmaschinen Ihre Sitemap abrufen und stellen die URLs ihren Crawlern zu Verfügung.

Einreichen einer Sitemap über die Schnittstelle der Suchmaschine

Wie Sie Ihre Sitemap direkt bei den einzelnen Suchmaschinen einreichen (wodurch Sie Statusinformationen und eventuelle Fehlerinformationen erhalten) erfahren Sie in der Dokumentation der betroffenen Suchmaschinen.

Angeben des Speicherorts der Sitemap in der robots.txt-Datei

Sie können den Speicherort der Sitemap mithilfe einer robots.txt-Datei angeben. Fügen Sie dazu einfach die folgende Zeile ein:

Sitemap: http://www.example.com/sitemap.xml

Diese Regel steht in keinem Bezug zur Zeile "user-agent", daher können Sie sie an einer beliebigen Stelle in die Datei einfügen. Falls Sie eine Sitemap-Indexdatei haben, können Sie auch nur den Speicherort dieser Datei angeben. Sie brauchen nicht jede einzelne in der Indexdatei aufgelistete Sitemap anzugeben.

Sie können mehrere Sitemap-Dateien pro Datei "robots.txt" angeben.

Sitemap: http://www.example.com/sitemap-host1.xml

Sitemap: http://www.example.com/sitemap-host2.xml

Einreichen der Sitemap über eine HTTP-Anforderung

Senden Sie die Anforderung an die folgende URL, um Ihre Sitemap mithilfe einer HTTP-Anforderung einzureichen (ersetzen Sie <searchengine_URL> mit der von der Suchmaschine bereitgestellten URL):

<searchengine_URL>/ping?sitemap=sitemap_url

Beispiel: Befindet sich die Sitemap an der Adresse http://example.com/sitemap.gz, so lautet die URL:

<searchengine_URL>/ping?sitemap=http://www.example.com/sitemap.gz

URL-codieren Sie den gesamten Teil ab /ping?sitemap=:

<searchengine_URL>/ping?sitemap=http%3A%2F%2Fwww.ihrewebsite.de%2Fsitemap.gz

Die HTTP-Anforderung können Sie mit wget, curl oder einer anderen Methode Ihrer Wahl absenden. Bei erfolgreicher Ausführung der Anforderung wird der HTTP-Antwortcode 200 zurückgegeben. Falls Sie eine andere Antwort erhalten, reichen Sie die Anforderung nochmals ein. Der HTTP-Antwortcode 200 gibt lediglich an, dass die Suchmaschine die Sitemap erhalten hat. Er besagt nicht, dass die Sitemap oder die in ihr enthaltenen URLs gültig sind. Besonders einfach geht dies, indem Sie einen automatisierten Auftrag einrichten, der regelmäßig Sitemaps erstellt und einreicht.
Hinweis: Wenn Sie eine Sitemap-Indexdatei einreichen, müssen Sie lediglich eine HTTP-Anforderung mit Angabe des Speicherorts der Sitemap-Indexdatei absenden, d. h. es ist nicht notwendig, für jede im Index aufgeführte Sitemap eine eigene Anforderung zu senden.

Zurück nach oben

Ausschließen von Content

Anhand des Sitemap-Protokolls teilen Sie den Suchmaschinen mit, welcher Content indiziert werden soll. Falls bestimmter Content nicht indiziert werden soll, geben Sie dies in einer robots.txt-Datei oder einem Robots-Meta-Tag an. Weitere Informationen zum Ausschließen von Content aus Suchmaschinen finden Sie unter robotstxt.org.

Zurück nach oben

Letzte Aktualisierung: 21. November 2016