Robots.txt Generator

Padrão - todos os robôs são:	Permitido Recusou
Atraso de rastreamento:	Padrão - sem atraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mapa do site: (deixe em branco se você não tiver)
Robôs de pesquisa:	Google	O mesmo que o padrão Permitido Recusou
	Google Image	O mesmo que o padrão Permitido Recusou
	Google Mobile	O mesmo que o padrão Permitido Recusou
	MSN Search	O mesmo que o padrão Permitido Recusou
	Yahoo	O mesmo que o padrão Permitido Recusou
	Yahoo MM	O mesmo que o padrão Permitido Recusou
	Yahoo Blogs	O mesmo que o padrão Permitido Recusou
	Ask/Teoma	O mesmo que o padrão Permitido Recusou
	GigaBlast	O mesmo que o padrão Permitido Recusou
	DMOZ Checker	O mesmo que o padrão Permitido Recusou
	Nutch	O mesmo que o padrão Permitido Recusou
	Alexa/Wayback	O mesmo que o padrão Permitido Recusou
	Baidu	O mesmo que o padrão Permitido Recusou
	Naver	O mesmo que o padrão Permitido Recusou
	MSN PicSearch	O mesmo que o padrão Permitido Recusou
Diretórios restritos:	O caminho é relativo ao root e deve conter uma barra final "/"

Agora, crie o arquivo 'robots.txt' no seu diretório raiz. Copie o texto acima e cole no arquivo de texto.

Robots.txt file Generator tool will create Robots.txt file for your website fast and effortlessly.

CoderDuck Free SEO Tools:

Online Robots.txt files Generator generate fast and effortlessly robots.txt file for your website and assist the search engines like google, yahoo, bing and other search engines are which directories they should and shouldn't crawl and index your pages by using robots.txt file.