Esta tradução ainda não foi revista editorialmente. A versão alemã é vinculativa. Deutsche Fassung
Indexação
Quais são as armadilhas na indexação de danos do robots.txt?
O robots.txt diz aos motores de busca quais áreas não devem recuperar. Dois tipos de entradas causam mais danos do que eles evitam. Primeiro, bloqueando para folhas de estilo, scripts e pastas de ativos: O Google renderiza páginas como um navegador, e sem esses arquivos, ele vê um display desintegrado, avalia erroneamente a simpatia com dispositivos móveis e não consegue encontrar conteúdo recarregado. Em segundo lugar, diretrizes que o Google não lê: Noindex, Nofollow ou crawl-delay no robots.txt; Google tem suporte para isso no dia 1. Setembro 2019 terminou, e as linhas fingem uma segurança que não existe. A área de teste de indexação lê robots.txt e relata ambos.
Os conjuntos padrão Permitir e Negar, mais linhas cada rastreador lê de acordo com sua própria regra
RFC 9309, o padrão de Internet para robots.txt a partir de setembro de 2022, define as linhas User-agent, Allow and Disallow: para qual rastreador uma regra se aplica, o que é permitido recuperar e o que não. Um rastreador pode ler mais linhas, ele não precisa. Portanto, a mesma linha não funciona para um serviço e para o outro. O Google lista como campos suportados User-agent, Allow, Disallow e Sitemap e escreve que outros campos, como o atraso de rastreamento, não são suportados; Linhas inválidas são passadas. Crawl-delay pretende abrandar as chamadas de um rastreador. Bing descreveu em 2012 que seu rastreador presta atenção a esta linha, e aconselha contra valores elevados, porque então ele recupera menos páginas. Uma linha de noindex não aparece no padrão ou na lista do Google.
Uma página bloqueada pode estar no resultado da pesquisa, apenas sem uma descrição
Uma trava no robots.txt proíbe a recuperação, não a exibição. Google escreve: Uma página bloqueada ainda pode inserir o índice se outros sites link para ele; no resultado da pesquisa é o endereço, mas sem descrição. O Console de Busca lista casos como "Indexed, embora bloqueado pelo arquivo robots.txt". Isto cria uma armadilha de duas partes: Quem fecha um lado e ao mesmo tempo dá-lhe um noindex, atinge o oposto do pretendido. O Google lê o noindex apenas quando a página é recuperada, e a recuperação proíbe o bloco. Para arquivos de script bloqueados, de acordo com o Google: não os executa, e o que eles recarregam não chega ao Google.
Sem os bloqueios, o Google pode carregar os mesmos arquivos que o navegador de seus visitantes
O Google está na 27. Outubro 2014 nas suas orientações técnicas: Aqueles que proíbem a recuperação de arquivos de script e estilo imediatamente deterioram o quão bem o Google exibe e registra o conteúdo, e isso pode levar a rankings piores. A introdução de hoje ao robots.txt coloca desta forma: Arquivos sem os quais o rastreador entende mais a página não devem ser bloqueados. Se as linhas forem removidas, o Google pode carregar os mesmos arquivos que um navegador na próxima recuperação. O resultado pode ser visualizado: A verificação de URL do Console de Pesquisa mostra após "Testar URL ao vivo" em "Mostrar página testada" uma foto de tela da página como Google exibe.
Cada linha é legível publicamente
Os robots.txt podem ser abertos por qualquer pessoa no navegador. RFC 9309 afirma em suas instruções de segurança: Quem lista caminhos nos robôs. o txt torna-os públicos e, portanto, acessíveis, e o arquivo não substitui medidas de proteção eficazes. Assim, uma linha como Disallow: /internal/ ou Disallow: /backup/ é exatamente a pasta que ninguém deve encontrar. Os que seguem as regras não os chamam; Qualquer outro pode digitar o endereço. O Google dá duas maneiras para páginas que não devem ser pesquisadas: um noindex na página ou uma senha. O que é confidencial pertence por trás de um registro.
Uma proibição geral aplica-se também aos rastreadores de busca dos serviços de IA
Os rastreadores de fornecedores de IA ler o mesmo arquivo, e isso adiciona duas armadilhas. O primeiro: A Disallow: / under User-agent: *, cerca de um restante da operação de teste, também se aplica aos rastreadores de busca dos serviços de IA. OpenAI escreve que um site que exclui o OAI SearchBot não é mostrado nas respostas de busca do ChatGPT; Anthropic escreve que seus rastreadores prestam atenção aos robôs.txt. O segundo: um rastreador segue apenas o grupo que mais precisamente corresponde ao seu nome; É assim que o Google descreve para seus rastreadores e Bing para Bingbot. Qualquer um que cria seu próprio grupo para um rastreador de IA deve, portanto, repetir todas as regras que devem aplicar-se a ele, porque o grupo geral sob a estrela é então eliminado para ele. O Google-Extended afeta apenas os modelos de IA do Google e, de acordo com o Google, não altera a inclusão na pesquisa.
O que é uma armadilha
Armadilhas de renderização incluem fechaduras cujo caminho termina em arquivos de estilo ou scripts, bem como fechaduras de pastas de ativos típicas: wp-conteúdo e wp-inclui em WordPress, ativos, estática, css, js, imagens, mídia, arquivoadmin e tipo3conf em outros sistemas. Um bloqueio na área interna, busca ou carrinho de compras não é uma armadilha e não é mencionado. As linhas que o Google não lê são Noindex, Nofollow e Crawl-delay. O Crawl-Delay avisa o Bing, onde a linha trava as chamadas. Google descontinua suporte não oficial para Noindex em robots.txt 2019; Se você quiser manter uma página do índice, você precisa de uma meta tag ou um cabeçalho na própria página. O resultado indica as linhas afetadas. Não altera o valor do ponto porque o conjunto de regras idx-v1 permanece inalterado; aparece no relatório e na lista de tarefas.
Por que as barreiras são principalmente dos tempos antigos
Antes de 2015, era considerado bom estilo para bloquear tudo, exceto o conteúdo para economizar orçamento rastejar. Uma vez que o Google renderiza páginas completamente, o oposto é verdadeiro: tudo o que pertence à apresentação deve ser recuperável. Muitos arquivos robots.txt ainda contêm as entradas antigas porque eles foram copiados de modelos e nunca foram verificados. A correção é a remoção das linhas; quem realmente precisa proteger diretórios individuais faz isso através de direitos de acesso, não através do robots.txt. Para intenções noindex, a instrução pertence à página: como uma meta tag no cabeçalho ou como o cabeçalho de tag do servidor X-Robots.
- Remova bloqueios em pastas e arquivos que pertencem ao display: CSS, JS, imagens, pastas de ativos.
- Substituição Você noindex linhas no robots.txt através de um meta tag robôs com noindex nas páginas relevantes.
- Use a ferramenta de verificação de URL do Google Search Console para verificar se a visualização renderizada está completa.
- Mantenha o robots.txt curto: referência sitemap, exclusões reais, nada mais.
- Contagens de capital e minúsculas no caminho: Desallow: /Internal/ não bloqueia /internal/. Verifique cada bloqueio com a ortografia na barra de endereços.
- Um bloqueio sem barra na extremidade atinge mais longe do que parece: Desallow: /image também trava /image/ e /formation.html. Com o slash, ou seja, desallow: /picture/, ela só atinge a pasta.
- Se seu robots.txt tem seus próprios grupos para rastreadores individuais, leia cada grupo como se os outros não existissem. Se um bloco que está sob a estrela está faltando em um grupo, ele não se aplica a este rastreador.
- Com sistemas modulares como o Wix, o robots.txt muitas vezes não pode ser processado diretamente, de acordo com o Google. Em seguida, procure as configurações do sistema para visibilidade para motores de busca.
- Não tire robots.txt de um modelo ou de outro site. Para cada linha, sua agência deve ser capaz de dizer o que é lá para.




