Pesquisa Illustrated: Bloqueio de motores de busca com Robots.txt

A+ A-


Enquanto a maior parte do tempo, queremos motor de pesquisa indexadores para agarrar e índice tanto conteúdo dos nossos sites quanto possível, há situações em que queremos evitar rastreadores de acessar certas páginas ou partes de um web site. Por exemplo, você não quer crawlers bisbilhotando em partes não-públicas de seu web site. Nem você quer que eles tentando scripts do índice, utilitários ou outros tipos de código. E, finalmente, você pode ter conteúdo duplicado em seu site, e queremos garantir que um rastreador só recebe uma cópia (a versão “canônica”, em busca jargão do motor).

Hoje Pesquisa Illustrated ilustra como você pode usar o arquivo “robots.txt” como um aviso “manter fora” para cawlers motor de pesquisa:


robots_txt_explained_500w.gif

Gráfico pelo Elliance, uma empresa de eMarketing especializada em marketing baseada em resultados do motor de busca, web design do site e campanhas de eMarketing saída. A empresa é o criador do kit de ferramentas de marketing on-line ennect. A coluna Pesquisa Illustrated aparece terças-feiras no Search Engine Land (e hoje apenas, na quarta-feira ... :-).


As opiniões expressas neste artigo são as do autor convidado e não necessariamente Search Engine Land. Autores pessoal aqui.


Ads

Compartilhar