Robots.txt Generator

Standard - Alle Robots sind:

Crawl-Verzögerung (Damit kannst du Traffic von Suchmaschinen reduzieren, der Server wird entlastet. Diese Option ist nur sinnvoll, wenn du Traffic sparen musst):

Sitemap: (Leer lassen, wenn du keine Sitemap hast)

Search Robots (Du kannst hier bestimmte Spider vom Crawlen ausschließen):	Google
	Google Image
	Google Mobile
	MSN Search
	Yahoo
	Yahoo MM
	Yahoo Blogs
	Ask/Teoma
	GigaBlast
	DMOZ Checker
	Nutch
	Alexa/Wayback
	Baidu
	Naver
	MSN PicSearch

Zugangsbeschränkte Verzeichnisse / Dateien (Lege fest, welche Verzeichnisse + Seiten keine Spider indexieren soll):	Der Pfad ist relativ zum Root und muss einen Trailing Slash (Schrägstrich) beinhalten. Bitte verwende für jedes Verzeichnis / Datei eine eigene Zeile. "/"

Klicke nun "Create and Save as Robots.txt". Es wird eine Textdatei erstellt, die du auf deinen PC herunterladen kannst. Nach dem Download lade diese in das Root Verzeichnis deines Hostingaccount via FTP.

Robots.txt Generator

Robots.txt Generator

Weitere Infos - Robots.txt Generator