Em uma publicação recente no LinkedIn, Gary Illyes, analista do Google, questionou uma convicção antiga em relação à forma de posicionar arquivos txt de robôs.
Durante muito tempo, a crença comum era que os robôs de um site deveriam ter seu arquivo txt localizado no domínio principal (por exemplo, example.com/robots.txt).
Entretanto, Illyes explicou que esse não é um requisito obrigatório e mencionou um aspecto menos familiar do Protocolo de Exclusão de Robôs (REP).
Maleabilidade do ficheiro Robots.txt
Os robôs podem estar localizados em qualquer parte do domínio, não necessariamente no diretório raiz (example.com/robots.txt).
Segundo Illyes, é aceitável ter dois robôs distintos, com arquivos txt, alojados em domínios diferentes – um no website principal e outro em uma rede de entrega de conteúdo (CDN).
Illyes explica que os sites têm a opção de concentrar seus robôs em um arquivo txt no CDN, ao mesmo tempo em que mantêm o controle do rastreamento para o site principal.
Por exemplo, um site pode possuir dois arquivos robot.txt em diferentes locais, como em https://cdn.example.com/robots.txt e https://www.example.com/robots.txt.
Essa estratégia possibilita manter um único e completo arquivo de robôs.txt em seu CDN, direcionando as solicitações do seu domínio principal para esse arquivo centralizado.
Illyes nota que os bots que seguem o RFC9309 vão acompanhar o redirecionamento e utilizarão o arquivo de robots.txt do novo domínio como o arquivo de robots.txt do domínio original.
Refletindo sobre três décadas de arquivos de robôs.
À medida que o Protocolo de Exclusão de Robôs completa três décadas, a declaração de Illyes ressalta a evolução contínua dos padrões da internet.
Ele chega a questionar se o nome do arquivo deve ser “robots.txt”, indicando a possibilidade de alterações na forma como as diretrizes de rastreamento são controladas.
De que forma isso pode beneficiar você.
Seguir as instruções de Illyes pode ser benéfico de diversas formas.
- Centralização da gestão: Ao agrupar os robôs e as regras de texto em um único local, é possível manter e atualizar as diretrizes de rastreamento de forma eficiente em todo o ambiente online.
- Melhoria na Consistência: Uma fonte única e confiável para os robôs. O arquivo de regras txt diminui a possibilidade de haver diretrizes em conflito entre o seu site principal e a CDN.
- Flexibilidade: Essa abordagem possibilita ajustes mais versáteis, sobretudo para sites com estruturas complexas ou que façam uso de múltiplos subdomínios e CDNs.
Uma maneira simples de administrar robôs é através do uso de arquivos txt, o que pode aprimorar a gestão de sites e SEO.
Destaque para a imagem fornecida por BestForBest/Shutterstock.
