Ihr aktueller Standort:

Website-Marketing

Umleitungen für dynamische Seiten

Wichtiger und schwieriger zu lösen ist das Problem der "dynamischen Seiten". Dynamische, aus Versatzstücken aus Datenbanken zusammengefügte, Seiten werden von den meisten Suchmaschinen nicht akzeptiert. Ausnahme derzeit Google (in Grenzen) bestimmte Paid Inclusion (bezahlte Index-Einträge, sog. XML-Feeds) Programme einiger Suchmaschinen wie Altavista und Inktomi (neuerdings Yahoo!).

Warum die Suchmaschinen etwas gegen dynamische Seiten haben
Bei dynamischen, d.h. bei jedem Zugriff aus der Datenbank neu "komponierte" Seiten, wird mit der URL ein "Kompositionsbefehl" an die Seite übermittelt, der die zu erledigende Aufgabe: "Hole Komponente X, Y und Z aus der Datenbank und füge sie in den Seitenrahmen, Template o.ä. ein!"  beschreibt. Erst nach dem Zusammensetzen "serviert" der Server dem Browser des Besuchers diese Seite genau wie eine "statische" HTML-Seite.

Da nun jede "dynamische" Seite jedesmal bei Aufruf neu "komponiert" wird, ist - zumindest theoretisch - eine Indizierung durch die Suchmaschinen in der Tat Unsinn, weil die indizierten Seiten in dieser Form gar nicht "existieren".  Der User, der die von der Suchmaschine ausgewiesene URL ansteuert, bekommt u.U. eine völlig andere Seite, als die von der Suchmaschine ursprünglich indizierte. Alle Bemühungen der Suchmaschinen um Relevanz und sinnvolles Ranking wären damit vergeblich.

Schlimmer noch für die Suchmaschinen: Mit Hilfe dynamischer URLs können praktisch unendlich viele Seitenadressen für immer die gleiche oder fast gleiche Seite kreiert werden. ein Robot, der sich in diesen Dschungel verirrt, findet möglicherweise nicht wieder hinaus und verbringt Stunden seiner kostbaren Zeit mit der Aufnahme nutzloser "Seiten" (das nennt man "Spider-Falle", spider trap)

Das Dilemma: Die dynamischen Seiten sind gar nicht "dynamisch"
In Wirklichkeit aber ist es beileibe nicht so, dass immer wieder neue Inhalte auf den dynamischen Seiten erscheinen. Vielmehr wird die Verlegung der einzelnen Seiten-Komponenten in Datenbanken aus technischen und Gründen der Arbeitsökonomie gemacht. Die Seiten selbst ändern sich nicht unbedingt häufiger als statische HTML-Seiten auch.

Damit werden gerade die inhaltsreichen, großen (und schon aus diesen Gründen "dynamischen") Web-Sites, eigentlich doch die "Lieblinge" der Suchmaschinen, ausgegrenzt.

Was tun?

In diesem einen Fall ist es nicht nur sinnvoll sondern - auch im Interesse der Suchmaschinen selbst und ihres "Ordnungsauftrags" im Netz - zwingend, die Robots zu überlisten.

Dafür gibt es verschiedene Lösungsansätze. Im Prinzip laufen alle darauf hinaus, den Suchmaschinen dynamische als statische HTML-Seiten zu "verkaufen".

(Die folgende Kurzdarstellung verzichtet auf technische Details. Wer es genauer wissen will kann z.B. den sehr präzisen und doch leicht fasslich geschriebenen Beitrag von Thomas Eppler auf dem ohnehin sehr hilfreichen Contentmanagement Server nachlesen).

Statische "Vorhang-Seiten"
Die einfachste Methode ist das Vorschalten von statischen Übersichtsseiten, die in die - dann dynamische - Web-Site einführen und verlinken. 

Diese statischen Vorhang- oder Eingangsseiten (s. auch -->Brückenseiten), für die Aufnahme in die Suchmaschinen optimiert und dennoch für den Nutzer als "Homepage" akzeptabel, können dann bei den Suchmaschinen angemeldet und von den Web-Promotern "einjustiert" werden.

Das einfachste Verfahren ist sicher, die bisher dynamische Leitseite (die Seite, die einen Überblick über den Inhalt der Site und ihre Highlights gibt und zu den einzelnen Angeboten weiterverweist) als statische Seite umzuschreiben. Bei einer komplexen Web-Site mit vielen Themen sollte das auch mit den Rubriken-Seiten oder "Seiteneingängen" passieren.

Nachteil dieser Methode:

• Jede wichtige Änderung im Inhalt der Web-Site, die sich ja auf der Leitseite spiegelt (spiegeln sollte), muss jetzt "per Hand" in die statische Seite eingearbeitet werden - bei sehr lebhaften, aktuellen Sites eine ziemliche Belastung.
• Es werden immer nur noch die statischen und nicht alle Seiten der Web-Site in den Suchmaschinen-Index aufgenommen. Das "Gewicht" der Site leidet also immer noch und damit die Chance, in die Champions-League der Web-Sites aufzusteigen (mehr dazu -->hier)

Warum die Robots bereit sind, von statischen Seiten verlinkte dynamische Seiten zu indexieren ist leicht verständlich: Wenn ein Webmaster ausdrücklich auf eine (dynamische) Seite verweist, kann man darauf vertrauen, dass es diese Seite in permanent der gleichen Form mit gleichem Inhalt - und das nur einmal - gibt.

Nach der gleichen Logik indexieren Robots auch dynamische Seiten, auf die per Link von anderen Websites verwiesen wird - ein weiteres Argument für eine aggressive aber wohldurchdachte Link-Strategie.

URL-Rewrite, Agent Delivery und IP-Umleitung
Die Suchmaschinen-Robots/Spider erkennen eine dynamische Seite an der Schreibweise der URL. Der Befehl (technisch gesehen die Parameter), die dem Script mitteilen, welche Seitenbestandteile aus der Datenbank zu holen und in die Seite einzufügen, erscheint in der URL abgetrennt durch solche Zeichen wie "?" oder "&" oder als Pfadangabe "cgi-bin...". 

Sobald die Robots diese Signale erkennen, drehen sie wieder ab bzw. schneiden die URL an dieser Stelle ab.

Es kommt also darauf an, den Suchmaschinen eine "saubere" URL zu präsentieren und die "Hole!-"Befehle an anderer Stelle zu verstecken.
Das funktioniert nur durch Eingriffe auf der Server-Seite:

Bei den weitverbreiteten Apache-Servern gibt es dafür das "mod_rewrite" Modul, bei den Windows-Servern ISAPI_Rewrite, mit dem in der Tat die URLs vor der Übergabe an die Robots "umgeschrieben" werden können. Das "Übersetzungsprogramm" wird auf dem Server definiert, der abrufende Browser (also auch der Robot) merkt davon also nichts.
(Für die "Techies" unter Ihnen: Eine detaillierte Anleitung für alle Rewrite-Lebenslagen finden Sie unter: http://soysal.com/article5.html. )

Der gleiche Effekt wird beim Agent Delivery bzw. IP-Delivery erzeugt (auch als "Cloaking" bezeichnet und oft als Abwehr gegen feindliche Späh-Attacken der Konkurrenz eingesetzt -->ausführliche Darstellung und aktuellste Listen der Spider-Namen -->IP Delivery, Fantomaster, Spiderhunter):

Hier werden die IP-Adressen der anfragenden Browser bzw. die Namen der Suchmaschinen-Robots erkannt und anders weiterverarbeitet als die der "gemeinen User". Den Suchmaschinen-Robots werden auch hier statische Seiten "vorgespiegelt".

Das Prinzip lässt sich auch einsetzen für die schon erwähnten Brückenseiten (Doorway Pages. Entry Pages): die Suchmaschine bekommt die Keyword-optimierten Seiten, der User die "richtigen" Seiten serviert.

Religionskriege ums "Cloaken"
Diese Techniken sind kein "Spamdexing", weil sie ja nur dazu dienen, vorhandene Inhalte richtig dazustellen und indizieren zu lassen.

Dennoch werden Vertreter der Suchmaschinen-Industrie nicht müde auf die Verwerflichkeit des "Cloaking" zu verweisen und Strafen (bis zum Ausschluss aus dem Index) anzudrohen.

Da 

• alle diese Techniken eben auch zum Austricksen der Suchmaschinen und der User genutzt werden können (ein zwar völlig albernes, bereits mittelfristig konterproduktives, aber leider immer noch häufiges Spiel unseriöser Anbieter im Netz), und

• alle Robots halt "dumm" sind und nicht zwischen legitimem und verwerflichem Cloaking unterscheiden kann,

versuchen die Suchmaschinen, nun ihrerseits wieder Abwehrstrategien zu entwickeln, die hier dann auch die Unschuldigen treffen:

Bevor der Robot, dessen Namen natürlich bekannt ist, eine Site besucht, schickt der Suchmaschinenbetreiber eine einfache Browserabfrage sozusagen als Späher vorweg. Wenn dann die gelieferten URLs bei Browser und Spider unterschiedlich ausfallen, ist die Site "überführt" und wird mit unterschiedlicher Strenge abgestraft.

Manche Suchmaschinen, aber nicht alle, stoßen sich auch an den Bezeichnungen der File-Namen, also .php3 oder .pl oder .cgi, weil sie hier dynamische Seitengenerierung vermuten. Auch dafür gibt es Umwege, die hier zu weit führen würden.

Eine sehr anschauliche Darstellung dieses Hase-Igel-Wettlaufs im einem Interview des Fantomaster- Mitbegründers Ralph Tegtmeier im - ohnehin lesenwerten - SearchengineBlog.