robots.txt für Magento-Onlineshops
Mit der Datei robots.txt kann gesteuert werden, welche Inhalte von welcher Suchmaschine indexiert werden dürfen, und welche nicht. Die Datei stellt ein nützliches Tool bei der Suchmaschinenoptimierung dar.
Ein Beispiel
Mit einfachen Anweisungen können damit gewisse Inhalte für gewisse Suchaschinen explizit erlaubt oder nicht erlaubt werden. Eine Beispieldatei könnte zum Beispiel wie folgt aussehen:
User-agent: Bingbot Disallow: / User-agent: Googlebot Disallow: /intern/ Allow: * User-agent: Googlebot-Image Allow: /bilder/ Disallow: *
Auf den ersten beiden Zeilen werden für den "Bingbot" von Microsoft's Bing.com sämtliche Inhalte gesperrt. Auf den nächsten drei Zeilen werden für Google's "Googlebot" sämtliche Inhalte erlaubt, bis auf das Verzeichnis /intern/ welches nicht-öffentliche Inhalte beinhaltet. Und auf den letzten drei Zeilen werden für Google's Bildersuche sämtliche Inhalte gesperrt, bis auf das Verzeichnis /bilder/, in welchem sich unsere Bilder befinden.
Weitere allgemeine Informationen zur robots.txt findet man übrigens direkt bei der Google-Hilfe.
Wichtige Punkte bei der robots.txt-Datei für Magento
Mit der robots.txt kann gesteuert werden welche Inhalte bei Google indexiert werden sollen - und welche nicht.
Beim Erstellen einer robots.txt für Magento gibt es verschiedene Punkte zu beachten:
System-Dateien und interne Dateien und Verzeichnisse sollten nicht indexiert werden
Diese Magento-internen Dateien sind nicht für die Öffentlichkeit bestimmt und bieten Ihren Besuchern keinen Mehrwert. Sie können also ohne Bedenken von den Suchresultaten ausgeschlossen werden.
Eventuelle Administrationstools (z.B. phpMyAdmin) sollten nicht indexiert werden
Verwenden Sie externe Werkzeuge, um Ihren Shop zu verwalten, wie zum Beispiel das Datenbankmanagementskript phpMyAdmin? Solche Werkzeuge können ebenfalls von den Suchresultaten ausgeschlossen werden, da sie Ihren Besuchern keinen Mehrwert liefern.
Es sollten nur suchmaschinenfreundliche URLs indexiert werden
Magento bietet für verschiedene Inhalte unterschiedliche URLs an, wobei nicht alle URLs sehr suchmaschinenfreundliche sind. Ein Produkt kann zum Beispiel über die URL mein-shop.ch/catalog/products/12345 oder auch mein-shop.ch/t-shirt-rot aufgerufen werden. Es versteht sich von selbst dass nur die zweite URL in den Suchresultaten von Google & Co. erscheinen sollte.
Kundenspezifische Inhalte sollten nicht indexiert werden
Diverse Funktionen im Shop, wie zum Beispiel das Kundenkonto, beinhalten keine Informationen, welche über die Suchmaschinen erreichbar sein sollten. Wichtig sind vor allem die Inhalte welche Ihren Shop einzigartig machen, wie zum Beispiel die Produkte, Kategorien und CMS-Seiten. Weitere Inhalte wie das eben genannte Kundekonto oder die Suchresultate beinhalten keine Zusatzinformationen welche von den Suchmaschinen erfasst werden sollten.
Javascript- und CSS-Dateien sollten indexiert werden
Vor einigen Jahren wurde davon noch abgeraten, inzwischen wird von Google jedoch explizit empfohlen dass auch Javascript- und CSS-Dateien indexiert werden sollten.
Der Checkout-Prozess sollte ebenfalls indexiert werden
Gemäss diversen Online-Quellen (beispielsweise bei Inchoo.net) versucht Google seit einiger Zeit die Qualität eines Onlineshops anhand dessen Checkout-Prozess zu beurteilen. Ein Shop, der zum Beispiel zu viele private Informationen abfragt, würde also idealerweise schlechter bewertet als einer, der sich an die gängigen Datenschutzregeln hält. Da Magento's Checkout-Prozess keine unnötigen Informationen abfragt und auch sonst gut optimiert ist, sollte der Checkout-Prozess also auf jeden Fall auch indexiert werden.
Bösartige und nervie Suchroboter können per robots.txt blockiert werden
Während ein Suchroboter eine Webseite indexiert ruft er inner kurzer Zeit sehr viele Seiten ab. Gerade bei einem Onlineshop kann dies einen spürbaren Einfluss auf die Auslastung des Servers haben und im schlimmsten Fall zu einer Beeinträchtigung der anderen Besucher und somit zu einer Senkung Ihres Umsatzes führen. Aus diesem Grund versuchen die meisten Suchroboter die Indexierung einer Webseite möglichst der Kapazität des jeweiligen Servers anzupassen. Leider gibt es aber immer wieder schwarze Schafe unter den Suchrobotern welche entweder schlecht programmiert oder sogar bösartig sind. Diese können gegebenenfalls mit einem entsprechenden Eintrag in der robots.txt blockiert werden.
robots.txt für Magento
Basierend auf den obigen Ratschlägen sowie der Erfahrung aus diversen Projekten haben wir nachfolgend eine beispielhafte robots.txt für Magento zusammengestellt:
# Die nachfolgenden Regelen sollen für ALLE Suchroboter gelten User-agent: * # Interne Verzeichnisse Disallow: /404/ Disallow: /app/ Disallow: /cgi-bin/ Disallow: /downloader/ Disallow: /errors/ Disallow: /includes/ Disallow: /lib/ Disallow: /magento/ Disallow: /media/ Disallow: /pkginfo/ Disallow: /report/ Disallow: /scripts/ Disallow: /shell/ Disallow: /stats/ Disallow: /var/ Disallow: /debug/ # Interne Dateien Disallow: /cron.php Disallow: /cron.sh Disallow: /error_log Disallow: /install.php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Disallow: /STATUS.txt # Magento-Inhalte ohne Mehrwert für die Suchergebnisse Disallow: /index.php/ Disallow: /catalog/product_compare/ Disallow: /catalog/category/view/ Disallow: /catalog/product/view/ Disallow: /catalogsearch/ Disallow: /control/ Disallow: /contacts/ Disallow: /customer/ Disallow: /customize/ Disallow: /newsletter/ Disallow: /poll/ Disallow: /review/ Disallow: /sendfriend/ Disallow: /tag/ Disallow: /wishlist/ Disallow: /catalog/product/gallery/ # Suchmaschinenfreundliche URLs Disallow: /*.php$ Disallow: /*?SID=
Sie können die obigen Regeln kopieren und als robots.txt benannt im Hauptverzeichnis Ihres Servers abspeichern. Beachten Sie jedoch dass es sich auf jeden Fall lohnt diese Datei an Ihr Projekt anzupassen, um einen maximalen Nutzen für die Suchmaschinenoptimierung Ihres Magento-Shops zu erreichen, und um kritische Fehler zu vermeiden.
Falls Sie Hilfe bei der Einrichtung Ihrer robots.txt oder Ihres Shops allgemein benötigen stehen wir natürlich gerne zur Verfügung. Füllen Sie einfach das unten stehende Kontaktformular aus und wir melden uns gerne bei Ihnen.