OnkelSeosErbe
18
Nov

OnkelSeosErbe

Robots.txt - Part 1

Author Mr. OnkelSeo
erstellt am 2011-11-04 15:27:33

OnkelSeosErbe Tutorial robots.txt

Was ist das und wofür benötige ich sie?

Suchmaschinen suchen mitnichten in Echtzeit, denn wenn die Bots auf Grund jeder Suchanfrage erst Milliarden von Webseiten und Unterseiten durchstöbern müssten, würde es Tage dauern bis eines Tages einmal die Suchergebnisse angezeigt werden könnten.

Deshalb bedienen sich die Suchmaschinen kleiner Programme. Diese Programme alias Bot oder Suchmaschinenspider genannt, crawlen regelmäßig Websites und folgen gegebenenfalls den darauf beinhalten Links um abermals frische Webseiten zu finden, so ist jener Spider den ganzen Tag am durchsuchen und speichern von Internetseiten bzw. der Treffer Angaben. Jene Ergebnisse werden in so genannten „RZ’s“ Rechenzenter gespeichert. Dadurch vermögen die Suchmaschinen mit dem der Benutzer sucht, innerhalb weniger Sekunden mit den entsprechenden Ergebnissen dienen.

Und präzise für solche Crawler benötigen unsereins die Datei Robots.txt, denn das aller Erste was der Spider auf dem Webspace sucht ist jene Datei. In dieser Datei werden Regeln für die Suchmaschinen Crawler angegeben.

Wie sieht diese Datei aus und welche Daten müssen dort herein?

Die robot.txt Datei ist eine Textdatei, welches Sie vergleichsweise trivial mittels

Contextmenu (rechte Maustaste) -> Neu -> Textdokument -> umbenennen in "robots.txt"
(Der Namen muss klein geschrieben werden.)

in jedem Ordner auf Ihrem Computer erstellen können. Geöffnet und bearbeitet wird dieses Textdokument im ganz normalen Texteditor.

to top