Robôs de IA podem acessar um site para finalidades diferentes: encontrar conteúdo para busca, coletar material que pode ser usado em treinamento ou abrir uma página a pedido de uma pessoa. Identificar a finalidade ajuda a decidir quais acessos permitir e quais páginas devem permanecer privadas.
Uma visita de robô não é uma visita de cliente, uma citação ou uma venda. Ela é um sinal técnico de acesso ao conteúdo, que precisa ser interpretado junto às demais informações.
Entenda a finalidade
A OpenAI distingue o OAI-SearchBot, voltado à busca, do GPTBot, associado a conteúdo que pode ser usado em treinamento. Também descreve o ChatGPT-User, usado em determinadas ações solicitadas por usuários. As configurações de busca e treinamento são independentes. Consulte a documentação dos robôs da OpenAI.
Na Perplexity, o PerplexityBot é voltado a resultados de busca, enquanto o Perplexity-User atende a solicitações de usuários. Veja a documentação dos robôs da Perplexity.
Esses exemplos mostram por que uma regra genérica para “todos os robôs de IA” pode não corresponder à decisão que a empresa quer tomar.
Revise as páginas públicas
Escolha páginas que a empresa deseja tornar encontráveis: apresentação, produtos, preços e guias. Peça ao responsável técnico para confirmar que elas abrem corretamente e entregam o conteúdo esperado.
Faça a revisão por finalidade e por caminho. Uma página de documentação pública tem um objetivo diferente de uma área de cliente ou de um documento interno.
Confira os controles
| Camada | O que verificar |
|---|---|
| Página | O conteúdo público abre sem exigir login? |
| robots.txt | As regras correspondem à política escolhida? |
| Proteção do site | Há bloqueios indevidos aos acessos legítimos? |
| Resposta do servidor | A URL entrega a página esperada? |
| Identificação do robô | O acesso foi validado conforme o provedor? |
A Perplexity recomenda combinar a identificação do agente com os endereços de rede publicados ao configurar exceções de proteção. Não confie apenas no nome declarado pelo visitante nem remova a proteção do site inteiro para liberar uma página.
Preserve as áreas privadas
Use autenticação e autorização para proteger o que exige controle de acesso. O arquivo robots.txt orienta robôs que o respeitam; não deve ser tratado como uma senha para arquivos privados.
A OpenAI e a Perplexity observam que visitas solicitadas por usuários podem ter tratamento diferente do rastreamento automático em relação ao robots.txt. Por isso, não presuma que uma regra desse arquivo substitua controles de acesso.
Interprete a visita
Se um robô acessou uma página, confira qual página, quando e com que resultado. O acesso não prova que o conteúdo foi selecionado para uma resposta ou recomendado a alguém.
Para observar citações, leia as fontes apresentadas nas respostas. Para observar pessoas que chegaram ao site, acompanhe visitas e resultados comerciais. Para revisar o conteúdo, use o guia para ser citado.
Dúvidas frequentes
Busca exige liberar treinamento?
Na OpenAI, as configurações do OAI-SearchBot e do GPTBot são independentes. Confira a documentação de cada provedor antes de aplicar essa distinção a outros serviços.
O robô veio. Vou ser citado?
O acesso não garante citação. Ele mostra que houve uma visita técnica; a seleção de uma página como fonte precisa ser observada nas respostas.
Devo liberar todos os robôs?
Defina a política da empresa por finalidade e preserve as áreas privadas. Peça ao responsável técnico que configure e valide os acessos necessários, sem remover proteções indiscriminadamente.