Este é um postagem um pouco mais técnico que os outros que escrevi nesta série. Assim como trata-se de um método que tem que ser utilizado com extremo cuidado, uma vez que ele podes fazer com que todas as páginas do seu blog desapareçam dos resultados da procura do Google - o que seria desastroso.
Como nos excessivo artigos, é relevante que você entenda os conceitos envolvidos antes de fazer a configuração do jeito em seu web site. No post Como Apresentar-se no Google? Google indexa e “armazena” as páginas que ele pode demonstrar em seus resultados de buscas. Em linhas gerais, se ele chegar até o seu web site, ele conseguirá ler todas as suas páginas e mostrá-las nos resultados. Mas, ele não funciona desta maneira. O arquivo robots.txt é muito primordial pro Google e novas ferramentas de pesquisa. Nele, o dono de um web site ou site poderá apontar quais são as páginas que necessitam ser mostradas nos resultados das buscas e quais não necessitam. Assim, primeiro o Google lê o teu arquivo robots.txt para só depois averiguar as tuas páginas. Uma informação valiosa é que seu blog no Blogger a todo o momento teve um arquivo robots.txt. Por ti conhecê-lo, basta acessar o endereço do teu web site acrescido de “/robots.txt” no encerramento.
O conteúdo do arquivo podes ser um tanto diferenciado de blog para blog caso as opções de “Privacidade” do website estejam definidas para que ele não esteja reconhecível para os mecanismos de buscas. Até prontamente, não tínhamos acesso para modificar diretamente este arquivo. É isso o que o Blogger passou a permitir. User-agent: Identifica pra qual mecanismo de rastreamento serão dadas as próximas instruções. No exemplo acima, do meu arquivo, o único mecanismo identificado é o “Mediapartners-Google”. ”, isso significa que as próximas instruções valerão para todos os rastreadores.
Disallow: Informa quais páginas não precisam ser analisadas pelos rastreadores. Allow: Informa quais páginas necessitam ser analisadas pelos rastreadores. O símbolo “/” identifica que todas as além da medida páginas serão analisadas. Sitemap: Mostra a localização do sitemap do seu web site, essencial para que os rastreadores encontrem os novos postagens do seu web site. Falei a respeito de no postagem Google Webmasters: Sitemap. Interpretando o meu arquivo original, produzido pelo Blogger, a conclusão é que o rastreador “Mediapartners-Google” verá todas as minhas páginas.
Trata-se do rastreador do Google AdSense, responsável por averiguar as páginas dos websites estipular que anúncios serão exibidos. Todos os além da conta rastreadores verão todas as minhas páginas, com exceção das páginas de “buscas”. Por que o Blogger faz isso? Pra evitar que o texto de um artigo seja lido pelo Google em mais de um endereço desigual.
Isto faria com que teu website ficasse com assunto duplicado, algo que o Google odeia. Então, neste caso as restrições no robots.txt servem como proteção pra impossibilitar que você tenha problemas com o Google. Vale a pena personalizar o arquivo robots.txt? Só realmente compensa fazer a personalização se você souber exatamente o que está fazendo.
O arquivo robots.txt é bastante sensível e, como citei no começo do postagem, uma má configuração pode remover todo o teu tema do Google. A única modificação que considerei conveniente fazer (e que está fase de testes no Gerenciando Website) foi pra remover do Google as visualizações execuções. Como o endereço de todas elas começa com “/view”, adicionei essa restrição propriamente pra impossibilitar o tema duplicado. O plano também será benéfico se existem páginas em seu website que você não quer deixar disponíveis para mostrar-se nos resultados da pesquisa. Pode ser uma página com assunto pessoal ou novas informações que você queira que fiquem restritas. Novamente, o alerta: tome o máximo cuidado ao fazer esta variação.
Sugiro que você leia e entenda o restante desse post pra poder tomar sua decisão. 2. Clique no nome do seu site. 3. Encontre a área “Configurações” / “Preferências de pesquisa”. 4. Clique na opção “Editar” próximo a “robots.txt personalizado”. 5. Possibilidade a opção “Sim” para fazer a alteração.
0 
Star