Configurar robots.txt para obter mais tráfego de pesquisa

Muitos blogueiros e webmasters ignorar arquivo robots.txt. Saiba porque é que este arquivo é importante para SEO e como ele pode aumentar o tráfego de busca em seu site.

A+ A-

Bons leitores TechWelkin tarde. Hoje, eu estou indo para falar sobre a importância de um pequeno arquivo de texto chamado robots.txt no contexto do search engine optimization (SEO) . No mês passado, eu estava fazendo SEO para um cliente. Meu objetivo era aumentar o tráfego motor de busca no site do cliente.

Quando analisei seu site, eu encontrei a maioria das coisas estavam em ordem, mas houve alguns problemas óbvios também. Após a análise, eu aconselhou-os a ligar alguns buracos a partir da qual busca ranking estava vazando. Agora, depois de um mês, em que o site, o tráfego de busca pegou e ainda está indo para cima.

Um dos principais problemas que eu notei com que o site foi ausência de arquivo robots.txt. Vamos ver como esse arquivo pode afetar a visão do Google de seu site.

O que é robots.txt?
robots.txt é um arquivo de texto simples que diz motores de busca que a rastejar eo que deixar em seu servidor web. Este arquivo contém directivas para motores de busca bots, como o Googlebot. Estas directivas dizer a um bot sobre arquivos e diretórios que ele tem permissão para rastrear. Resto das coisas são colocadas fora do alcance dos bots.

Este arquivo é chamado de robôs porque lida com a pesquisa (ro) bots. Pesquisa bots (aka robôs) são programas automáticos que rastreiam sites e fazer um índice de que eles encontram lá.

Os motores de busca honrar robots.txt?
Motores de busca bons e responsáveis ​​(como o Google , Bing, Yahoo! etc.) não honrar os seus comandos escritos neste arquivo. No entanto, este arquivo não pode forçar a parada de um bot de pesquisa se é inclinado a spidering / rastejando os locais não permitidos.

instruções robots.txt procurar bots, como o Google, sobre o que o índice do servidor.

instruções robots.txt procurar bots, como o Google, sobre o que o índice do servidor.

Por robots.txt é importante para SEO?
Em anos recentes, os motores de busca têm sido cada vez mais com foco na qualidade de um site . Todo mundo fala sobre a qualidade do conteúdo e é verdade, sem um pingo de dúvida, que o conteúdo de alta qualidade é o maior fator determinante de classificação de pesquisa do seu site. Você escreve excelente material em seu website. Mas se você acha que motor de busca só pode encontrar o que você postar em seu site -Você está errado! Se você não tem um robots.txt corretamente configurado no lugar -os motores de busca podem serpenteiam todos os arquivos e diretórios presentes no seu servidor.

Esses arquivos não contêm material que você quer oferecer a seus usuários do website. Mas os motores de busca índice-los, no entanto; porque você não está parada deles. Em seguida, após análise, os motores de busca podem encontrar o conteúdo desses arquivos irrelevantes para o tema geral do seu site. Como resultado dessa irrelevância, seu tanque irá classificar.

Vamos entender isso com um exemplo.
Você foi trabalhar em seu blog por vários meses e agora, vamos dizer, você tem 100 boas mensagens. Os motores de busca indexada todos eles. Mas porque robots.txt está ausente, robôs de busca também pode ser indexar seus "arquivos de sistema" (por exemplo, arquivos de tema, arquivos CMS etc.) e outros arquivos que tenham colocado no servidor ... agora assumindo que você tem 100 desses arquivos disponíveis no servidor: o número total de entradas no índice de pesquisa poderia ser tão elevada como 200 (100 lugares + 100 outros arquivos presentes no servidor). Destas entradas, 50% são irrelevantes para os usuários do seu site e que você gostaria de obtê-los removido do índice do Google . Para isso, você deve configurar o arquivo robots.txt

É por isso que é muito importante para bloquear certas partes do seu servidor web de robôs de busca; de modo que só o índice que você realmente quer mostrar aos seus visitantes.

Se o Google indexou significativamente grande número de entradas do que o número de suas mensagens reais, então você iria querer olhar para ele. Você deve fazer uma análise profunda do que o Google indexou eo que ele deve realmente ser indexação.

Eu espero que você teve a idéia por que você precisa ter um robots.txt bem configurado -Você vai definitivamente ver bons resultados se você configurá-lo corretamente. Deixe-me saber se você tiver quaisquer perguntas ou comentários.

Ads

Compartilhar