Ihr aktueller Standort:

Website-Marketing

Sitemaps und Crawler Pages

Da 

• trotz gegenteiliger Versicherung die Robots der großen Suchmaschinen sich nicht von Link zu Link durch die Web-Site arbeiten und alle Seiten "freiwillig" indizieren,

• das "Gewicht" der Site (die Anzahl der indizierten Seiten einer Web-Site) in den Suchmaschinen aber aus vielen Gründen für den Erfolg beim Kampf um einen Platz an der Sonne wichtig ist,

• Frames oder andere Hindernisse das Indizieren der Seiten "in der Tiefe" für die Suchmaschinen oft schwierig oder unmöglich machen (s. "Umleitungen"),

ist es sinnvoll, den Suchmaschinen eine Seite anzubieten, auf der alle Seiten meiner Web-Site mit Titel und Link vertreten sind. Diese Seite, oft Crawler Page genannt, weil sie ausschließlich den "Crawlern"/Spidern/Robots der Suchmaschinen als "Blindenführer" dient, bleibt dem User verborgen, es führt kein Link auf, sondern alle Links nur von dieser Seite und die Robots werden angewiesen, diese Seite ihrerseits nicht zu indizieren sondern nur als Durchgangsstation zu benutzen (per sogenanntem robots.txt, der so aussieht

 <meta name="robots" content="noindex">.)

Von dieser Crawler Page aus verfolgen die Robots jeden Link auf die einzelnen Seiten (tatsächlich gibt es hier ja nur eine "hierarchische Ebene") und indizieren deren Inhalte. Bei Seiten im Frameset muss dabei darauf geachtet werden, dass über ein eingebautes Javascript der/die Frame(s) (in der Regel ja die Navigation) dann nachträglich aufgerufen wird/werden, damit der User nicht in eine Navigations-lose Sackgasse gerät.

Diese Technik ähnelt den besprochenen Brückenseiten und hat auch deren Nachteile.

Diese Nachteile vermeidet man, wenn man ohne große Umstände die SiteMap, die ja ohnehin fester Bestandteil jeder Web-Site sein sollte als einzelne Seite bei den Suchmaschinen anmeldet. 

Der Effekt ist der gleiche wie bei den Crawler Pages - vorausgesetzt die SiteMap ist eine einfache, statische HTML-Seite. Diese besonders sorgfältig für die Suchmaschinen präparierte SiteMap selbst kann nicht nur sondern sollte bevorzugt von den Suchmaschinen indiziert und als Fundstelle ausgewiesen werden, denn hier wird ja auch dem User eine wertvolle, gut designte Seite angeboten, die ihm oft besser als die inhaltslosen Schmuck-Homepages den Weg in die tiefen der Web-Site weist.