Eine tobots.txt erstellen

Damit Ihre Website automatisch in den bekannten Suchmaschinen gelistet wird, ist es sinnvoll eine robots.txt anzulegen. Dabei können Sie bestimmen welche Suchmaschinen Ihre Homepage spidern bzw. crawlen dürfen und welche Bereiche Sie, für die Indexierung, freigeben.

Sofern Sie Ihr gesamtes Verzeichnis für alle Suchmaschinen und Spider freigeben wollen, können Sie sich hier eine robots.txt downloaden und dann legen Sie diese in Ihren Hauptverzeichnis in Ihren Webspace ab.

robots.txt downloaden (in Zip-Datei komprimiert)

(oben)

drucken          vollständige Arbeit