Saltar para o conteúdo
EUID Serviço de auditoria & selo, Página inicial
Mandar auditar o seu sítio

Esta tradução ainda não foi revista editorialmente. A versão alemã é vinculativa. Deutsche Fassung

Indexação

O que pertence a um robot.txt e o que não pertence?

Um robots.txt inclui algumas linhas: para quem as regras se aplicam, quais áreas os rastreadores não devem recuperar e onde o mapa do site está localizado. O site de uma pequena empresa vem com quatro linhas. Não incluídos são bloqueios em arquivos de estilo e script, instruções como Noindex, que o Google não lê lá, e caminhos que devem permanecer secretos, porque o arquivo pode abrir qualquer um. Se o arquivo estiver faltando inteiramente, o Google assume que não há restrições.

As linhas que o Google lê

Google lê estes campos: O usuário-agente diz para qual rastreador as seguintes regras se aplicam; A estrela representa todos. Disallow chama um caminho que o rastreador não deve recuperar. Deixe tirar parte dele novamente. Mapa do site indica o endereço completo do mapa do site e fica em qualquer lugar, independentemente dos grupos. Outros campos Google não lê, linhas inválidas ignora. O que não atinge uma linha não permitida pode ser recuperado. Os comentários começam com um rhombus. O arquivo deve ser chamado de robots.txt, armazenado como um arquivo de texto em UTF-8 e no diretório principal.

Como um Crawler Aplica as Regras

O arquivo só se aplica ao host, protocolo e porta sob o qual ele está localizado: O robots.txt de www.ihre-domínio.at não regula nada para shop.ihre-domínio.at. Se várias regras se aplicam a um endereço, aquele com o caminho mais longo se aplica; se duas são do mesmo comprimento, a permissão se aplica de acordo com a norma RFC 9309. Os caminhos diferem em maiúsculas e minúsculas e aplicam-se desde o início do endereço: Desallow: /search também atende /search-and-finde.html. Se um rastreador tem seu próprio grupo, ele não lê mais o grupo geral sob a estrela no Google. Google lê no máximo 500 KiB do arquivo e geralmente o mantém no armazenamento de cache por até 24 horas.

O que é significativamente bloqueado

Google cita como o propósito do arquivo principalmente para salvar o servidor de muitas recuperações. Portanto, blocos são úteis para áreas que geram muitos endereços sem seu próprio conteúdo para a busca: as páginas de resultados da busca interna, o carrinho de compras, o checkout. Para um site com algumas dezenas de páginas, muitas vezes nenhum bloco é necessário. Em seguida, o arquivo consiste no grupo para todos os rastreadores e da linha sitemap.

O que não pertence nele

Bloquear pastas com arquivos de estilo e script: O Google precisa desses arquivos para exibir a página. Linhas como Noindex ou Crawl-delay: Google não as lê, e um noindex pertence à página em si. Caminhos para Áreas Confidenciais: RFC 9309 afirma que caminhos listados são públicos e, portanto, achados e que as regras não são controle de acesso. E bloquear páginas que devem desaparecer da pesquisa: Google ainda pode gravar um endereço bloqueado se outros sites se conectarem a ele.

Exemplos

robots.txt de um site da empresa

Não encontrado
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10
Realizado
User-agent: *
Disallow: /suche/
Disallow: /warenkorb/

Sitemap: https://www.ihre-domain.at/sitemap.xml

A primeira versão bloqueia a pasta de arquivos de estilo e script, nomeia publicamente um caminho confidencial, e contém duas linhas que o Google não lê. O segundo bloqueia duas áreas sem seu próprio conteúdo para pesquisa e chama o sitemap.

  • Ir para her-domain.at/robots.txt e passar pela linha de arquivo por linha: Para cada bloco, alguém deve ser capaz de dizer para que serve.
  • Após cada alteração, verifique se a homepage, arquivos de estilo e scripts podem ser recuperados ainda mais.

Mais informações sobre este tema

Deutsche Fassung dieser Seite

  • Selo Digitale Barrierefreiheit
  • Selo Daten & Recht
  • Selo Technische Qualität
  • Selo Digital Excellence
  • Selo Cyberversicherung

Auditado. Por um futuro digital melhor.euid.com