Wer bereits eine etwas größere Website betreibt, kennt das Problem sicher. Man hat viele interessante Webseiten erstellt, aber nur die Hälfte davon landet im Index von Google. Der Grund dafür ist, dass der Crawler von Google in vielen Fällen nur Seiten findet, die maximal 2 Klicks von der Startseite entfernt sind. Um Google dabei zu helfen, alle Seiten auf der eigenen Website zu finden, ist es sinnvoll, eine Sitemap zu erstellen. Ein sehr gutes Programm für diesen Zweck ist meiner Meinung nach GSiteCrawler von SOFTplus.

Mit dem GSiteCrawler lassen sich für beliebig viele Websites Sitemaps erstellen. Im Gegensatz zu den meisten Online-Sitemap-Generatoren ist dabei die Anzahl der Seiten, die gecrawlt (durchsucht) werden können, unbeschränkt. GSiteCrawler bietet eine Unzahl von Einstellungsmöglichkeiten zur Erstellung einer eigenen Sitemap. Das macht das Tool natürlich sehr gut konfigurierbar, hat aber auch andererseits den Nachteil, dass man eine gewisse Zeit braucht, bis man sich richtig in das Programm eingearbeitet hat. Deshalb gebe ich hier einige Tipps, die den Einstieg etwas erleichtern sollen.

GSiteCrawler im Administratormodus ausführen

Der wichtigste Tipp gleich mal vornweg. Wer Windows Vista oder Windows 7 als Betriebssystem verwendet, sollte GSiteCrawler im Administratormodus starten, da sonst nicht alle Websites gecrawlt werden können. Dazu geht man in das Programmverzeichnis, klickt die Datei GSiteCrawler.exe mit der rechten Maustaste an und wählt im erscheinenden Kontextmenü den Menüpunkt “Eigenschaften” an. Im Tab “Kompatibilität” klickt man dann bei Berechtigungsstufe “Programm als ein Administrator ausführen” an. Den gleichen Vorgang wiederholt man noch für die Dateien “DbCompress.exe” und “Unwise.exe”.

Ein neues Projekt erstellen

Nach dem Start erstellt man ein neues Projekt, indem man links unten auf den Neu-Button klickt. Dann startet der GSiteCrawler-Wizard für neue Websites. Auf der ersten Seite braucht man nur seine Domain und einen beliebigen Projektnamen einzugeben. Die vorgegebenen Einstellungen auf der zweiten Seite sind im Normalfall sinnvoll und sollten daher so belassen werden. Die dritte Wizard-Seite bietet die Möglichkeit seine FTP-Dateien einzugeben, damit die Sitemap automatisch auf den eigenen Webspace hochgeladen werden kann. Auch die vorgegebenen Einstellungen auf der vierten Seite sind sinnvoll und sollten nicht geändert werden. Wer allerdings noch einige Feineinstellungen vornehmen möchte, sollte den Haken bei “Diese Website jetzt lesen und crawlen” entfernen.

Automatik-Modus von GSiteCrawler in einer Verknüpfung aktivieren

Der Automatik-Modus

Meiner Ansicht nach die interessanteste Funktion, die GSiteCrawler bietet, ist der Automatik-Modus, den man unter Einstellungen/Automation findet. Wenn man dort “Vereinfachte Automation aktivieren” anwählt, wird sofort nach dem Programmstart ohne weiteres Zutun die Sitemaperstellung gestartet. Wenn die Sitemap erzeugt wurde, lädt sie GSiteCrawler automatisch auf den Webspace hoch und meldet Google, dass eine neue Sitemap erstellt wurde.

Ich habe es bei mir so gemacht, dass ich mir 2 Verknüpfungen angelegt habe. Eine um das Tool ganz normal zu starten und eine für den Auto-Modus. Um diesen zu starten, klickt man die Verknüpfung mit der rechten Maustaste an und wählt Eigenschaften. Im Register “Verknüpfung” gibt man dann hinter dem Programmaufruf den Parameter /auto an, also z. B. so “C:\Programme\SOFTplus\GSiteCrawler\GSiteCrawler.exe” /auto”. So kann man das Tool wahlweise im Normal-Modus starten, um z. B. Veränderungen vorzunehmen oder im Auto-Modus, wenn man nur aktuelle Sitemaps erstellen möchte.

Umfangreiche Filterfunktionen

Sehr umfangreich sind auch die Filterfunktionen, die GSiteCrawler bietet. Es können komplette Verzeichnisse, aber auch einzelne Dateien angegeben werden, die nicht gecrawlt werden sollen. Auch Session-Ids kann man entfernen. Außerdem wird in einem Fenster die URL-Liste angezeigt. Dort kann man dann einzelne URLs von Hand löschen, bevor man eine Sitemap-Datei erzeugt.

Einfache HTML-Sitemaps

Neben XML-Sitemaps, die für Google verwendet werden, können mit GSiteCrawler auch HTML-Sitemaps erstellt werden, die als Orientierungshilfe für die Besucher auf der eigenen Website eingebunden werden können. Diese sind allerdings sehr einfach gehalten, so dass ein Einbau nur auf kleinen Websites sinnvoll ist.

Nachtrag: Auf Grund einer Nachfrage im Homepage-Forum erkläre ich noch kurz, wie man eine solche HTML-Sitemap erstellt. Leider ist diese Funktion ziemlich gut versteckt, so dass man sie nicht auf Anhieb findet.

Wenn man ein Projekt gecrawlt hat, wählt man im Menü “Erstellen” den Menüpunkt “URL-Liste in div. Formaten” an. Dort wählt man dann “Simple site map.htm” an und kann die erstellte Liste als HTML-Sitemap auf der Festplatte speichern.

Fazit: GSiteCrawler bietet alles, was das Herz begehrt, wenn es um das Erstellen von Sitemaps geht. Durch die Komplexität des Programms braucht man zwar eine etwas längere Einarbeitungszeit. Hat man diese aber hinter sich gebracht braucht man für die regelmäßige Verwendung dank des hervorragenden Automatik-Modus nur noch einen Mausklick. Den Rest erledigt das Tool dann von selbst. Offene Fragen werden in der GSite-Crawler-Google-Group (englisch) sehr zügig beantwortet.