Como criar um arquivo robots.txt, para bloquear os motores de busca para que não indexem determinadas pastas do seu site

Published 6 de junho de 2010 |

Olá! Se é novo por aqui, acho que talvez queira assinar nosso feed RSS para ficar por dentro das notícias e dos nossos artigos sobre mundo da tecnologia.

Olá internautas! Estamos agoras, ensinando como criar um arquivo robots.txt para bloquear motores de busca para que não indexem determinadas pastas do seu site.

Exemplo de um arquivo robots.txt:

User-agent: *
Allow: /
Sitemap:http://www.meusite.com.br/sitemap.xm
Disallow: /arquivos_confidenciais
Bom, explicando o que são estes allow, disallow, e sitemap.

“Allow: /”: Indica que os motores de busca devem indexar todas as páginas do seu site.
“User-agent: *”: Indique que as regras de permissão e negação são aplicáveis à todos os motores de busca, se desejar escolher um apenas, digite o nome do buscador, exemplo: Googlebot
“Disallow: / arquivos_confidenciais”: Indique que tudo que estiver dentro da pasta “arquivos_confidenciais”, não deverá ser indexado.
“Sitemap: /sitemap.xml”: Mostra ao google o local de onde está seu sitemap.

Depois de criar um arquivo baseado no acima, salve-o como “robots” com a extenção “.txt”, e envie para a pasta raiz de seu servidor.

Posted in SEO |

Tagged robots.txt, SEO

kampanie AdWords
Nice site and great text.
http://www.infosecom.net Henrique Dantas
Hi!
Well, you need a distribution of Linux, that you can switch, between English, and Japanese languages. But, i looked for the theme, and i only found a distribution that supports Japanese and english languages, but you need to restart your computer, or logoff and login again. I use Windows 7, and i can switch between these languages, but i need to logoff.
My tip is: install this distribution: “Mandrake 10.1″, and install a virtual machine. Configure the installed version to English, and the virtual machine version to Japanese, and use both.
I use and recommend Virtual box. It can be downloaded here. Select: “All distribution” in the list, than, download the version correspondig to your computer. After download, follow the instructions in the same page above.
Thanks! Any doubt please do not hesitate to send an e-mail to: contato@infosecom.net
http://www.n0dez.com/ Emily N.
Hi, I’m very interested in Linux but Im a Super Newbie and I’m having trouble deciding on the right distribution for me (Havent you heard this a million times?) anyway here is my problem, I need a distribution that can switch between reading and writing in English and Japanese (Japanese Language Support) with out restarting the operating system.
http://www.infosecom.net/podcast/2010/06/infocast-tecnicas-de-seo-otimizacao-dos-motores-de-busca/ [InfoCast] Técnicas de SEO (Otimização dos motores de busca) | InfoSeCom!
[...] Como criar o robots.txt [...]

D	S	T	Q	Q	S	S
« mai				jul »
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30

InfoSeCom!

Informática Sem Complicação!

Como criar um arquivo robots.txt, para bloquear os motores de busca para que não indexem determinadas pastas do seu site

Pesquise

Curta nossa página!

Translate this Website

Posts Recentes