Notícias

Bloquear treino de IA no seu site sem sumir do Google

Saiba como bloquear treino de IA no seu site com a nova regra __usage_ai-training de Google, OpenAI, Microsoft e Anthropic sem perder tráfego.

O Pacto Inédito do robots.txt: Como Bloquear Treino de IA no Seu Site Sem Sumir das Buscas

Tentar bloquear treino de IA no próprio site parecia, até ontem, um jogo infinito de enxugar gelo às duas da manhã.

Quem mantém um projeto editorial independente no ar — como eu faço todos os dias aqui no Minha Dose de IA — conhece bem a frustração de abrir os relatórios do servidor e dar de cara com dezenas de robôs desconhecidos devorando anos de tutoriais originais sem devolver um único clique.

Pior do que ver textos autorais virarem matéria-prima gratuita para modelos bilionários era o medo constante de errar uma linha na configuração e sumir do Google da noite para o dia. Bastava uma barra invertida fora do lugar para transformar proteção de direitos autorais em suicídio de tráfego orgânico.

Entre os dias 30 e 31 de outubro de 2026, porém, aconteceu algo raro no Vale do Silício: rivais ferrenhos sentaram na mesma mesa. Google, OpenAI, Microsoft e Anthropic anunciaram um compromisso conjunto histórico para adotar um comando único e padronizado no arquivo robots.txt: a diretiva User-Agent: __usage_ai-training.

Por dentro do comando __usage_ai-training: o fim da colcha de retalhos no robots.txt

Para entender por que esse anúncio muda a rotina de blogueiros, portais de notícias, lojas virtuais e criadores, basta lembrar a bagunça dos últimos três anos. Cada empresa inventou um crachá próprio para seus robôs, forçando donos de sites a manterem listas quilométricas na raiz do domínio: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent, Applebot-Extended e dezenas de variações.

Sempre que um laboratório rebatizava seu coletor, sua barreira ficava defasada em silêncio. Pior: essa colcha de retalhos multiplicava acidentes graves, com produtores copiando listas em fóruns, errando um bloco User-agent: * e desindexando páginas estratégicas por semanas sem perceber.

Colcha de retalhos caótica de fios convergindo para um único microchip luminoso organizado simbolizando a unificação do robots.txt com __usage_ai-training
A nova diretiva __usage_ai-training substitui dezenas de bloqueios fragmentados por um único sinal padronizado reconhecido pelas gigantes da IA.

O novo pacto ataca exatamente a raiz dessa desordem. A solução nasceu de uma proposta técnica (Internet-Draft) intitulada Machine-Readable Training Preference Signal, submetida ao grupo de trabalho AIPREF (AI Preferences) da IETF (Internet Engineering Task Force) por Kevin Kelley, líder de padrões técnicos da Anthropic. Em vez de tentar adivinhar o nome comercial de cada rastreador do planeta, o protocolo inverte a lógica.

Desde 1994, o venerável robots.txt funcionava fazendo apenas uma pergunta na portaria do servidor: “Quem é você?”. O prefixo duplo sublinhado de __usage_ai-training inaugura uma abordagem baseada em finalidade: “O que você pretende fazer com os dados desta página?”. Trata-se de um marcador reservado especificamente para sinalizar preferência de uso, desenhado para jamais colidir com o nome real de nenhum robô existente.

Na prática, uma única instrução passa a comunicar sua decisão diretamente aos quatro maiores laboratórios de fronteira do mundo. E o melhor: ela preserva toda a flexibilidade clássica de diretórios e subpastas. Você pode vedar a raspagem dos seus artigos profundos e estudos de caso, mas liberar uma pasta institucional para que os sistemas saibam descrever corretamente quem é a sua empresa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Essa granularidade toca direto em debates urgentes sobre colonialismo digital e soberania de dados na internet. Quando um criador passa horas refinando tutoriais originais ou ensinando como preservar um tom de voz humano e autoral, nada mais justo do que decidir qual fatia do seu trabalho pode alimentar bancos estatísticos corporativos e qual fatia pertence exclusivamente ao leitor humano.

Treinamento vs. busca ao vivo: como proteger seu acervo sem matar o tráfego orgânico

Sempre que converso com outros donos de sites sobre proteção de acervo, a primeira dúvida vem carregada de receio legítimo: “Rodrigo, se eu fechar a porta para esses modelos, meu site vai desaparecer do Google, do Bing e até das respostas com link no ChatGPT e no Claude?”. A resposta curta — e o grande trunfo deste acordo de outubro de 2026 — é não.

Para configurar seu domínio com segurança, é fundamental separar dois processos técnicos completamente distintos que antes viviam misturados na cabeça do público (e, convenhamos, propositalmente embaralhados por algumas big techs):

  • Treinamento de Modelos Generativos (Pré-treinamento e Fine-tuning): Ocorre quando o laboratório baixa seus textos em massa para calibrar permanentemente os bilhões de pesos matemáticos internos de uma próxima geração neural — como um futuro GPT-7 ou sucessores da linha Claude Fable 5.1 e modelos especializados. Uma vez diluído nos parâmetros da rede, seu conhecimento vira resposta nativa da máquina sem link de origem, sem crédito e sem visita ao seu site.
  • Busca ao Vivo, Indexação e Grounding (RAG): Ocorre quando um indexador tradicional ou assistente conectado consulta sua página em tempo real para responder à dúvida pontual de um usuário, exibindo citação direta e link clicável para a fonte original. É o trabalho executado por rastreadores como Googlebot, bingbot, OAI-SearchBot e Claude-SearchBot.
Biblioteca protegida por domo translúcido conectada a fluxos abertos de busca luminosa simbolizando bloqueio de treino de IA sem perder tráfego orgânico
Separar o bloqueio de treinamento da indexação e citação ao vivo protege seu acervo autoral sem fazer seu site desaparecer do Google ou das respostas com links.

O comando __usage_ai-training governa exclusivamente o treinamento de modelos. Ao ativá-lo, você manda um recado cirúrgico: “Não engula meus artigos para treinar sua próxima rede neural, mas fique à vontade para ler minha página ao vivo, ranqueá-la nas buscas e citar meu link quando alguém pesquisar sobre este tema”.

É a maneira madura de bloquear treino de IA sem abrir mão da descoberta orgânica nem das visitas vindas de mecanismos conversacionais.

Dois detalhes técnicos anunciados pelas gigantes merecem atenção redobrada de quem cuida de SEO. Primeiro, o Google confirmou que a restrição declarada via __usage_ai-training será mapeada automaticamente para o comportamento do token Google-Extended na documentação oficial da Busca, a menos que o administrador escreva uma regra separada para Google-Extended sobrescrevendo a escolha. O Googlebot principal continua livre para indexar tudo normalmente.

Segundo, a Microsoft anunciou um passo que editores cobravam há anos: o desacoplamento oficial entre o opt-out de treinamento e o sistema de grounding (fundamentação ao vivo) do Bing e do Copilot. Antes, barrar a coleta de treino da empresa podia prejudicar a visibilidade das páginas nas respostas conectadas do ecossistema Microsoft; com a nova arquitetura, os dois papéis finalmente se separam.

Da mesma forma, a novidade preserva interações legítimas iniciadas pelo próprio leitor — seja ao consultar a busca do ChatGPT, seja ao usar navegadores com IA agêntica como Atlas e Comet para resumir uma aba aberta no computador. Também vale lembrar que proteger o lado público do seu domínio complementa os cuidados individuais que já detalhamos sobre privacidade e uso de dados digitados dentro do ChatGPT.

“Separar o direito de indexar para citar do direito de absorver para substituir é a trégua arquitetural mais importante da web aberta desde a criação do próprio robots.txt em 1994. Sem tráfego de retorno e sem consentimento claro, nenhum ecossistema humano continua produzindo conhecimento novo para as máquinas lerem amanhã.”

— Análise editorial Minha Dose de IA sobre o pacto IETF AIPREF (Outubro de 2026)

Cronograma real de adoção (2026–2027): por que apagar suas regras antigas hoje seria um erro

Aqui entra o conselho prático de quem vive com a mão na massa no WordPress: não apague suas regras antigas de bloqueio hoje achando que três linhas de __usage_ai-training já resolvem 100% do problema neste fim de outubro. Embora o anúncio político seja conjunto, a engenharia de rastreamento de cada gigante segue um calendário escalonado de ativação.

Se você remover GPTBot ou Google-Extended agora mesmo, abrirá uma janela temporária onde coletores de pré-treinamento ainda não atualizados para ler a nova chave interpretarão a ausência do bloqueio antigo como sinal verde. Confira na tabela abaixo o cronograma real confirmado por cada empresa e quais identificadores continuam ativos na transição:

Empresa / GrupoInício do Suporte ao __usage_ai-trainingBot Legado de Treino (Manter na Transição)Bot de Busca / Citação (Deixar Liberado)
AnthropicImediato (Outubro de 2026)ClaudeBotClaude-SearchBot
OpenAIPróximos meses (Final de 2026 / Início de 2027)GPTBotOAI-SearchBot
GoogleInício de 2027 (Mapeia para Google-Extended)Google-ExtendedGooglebot
Microsoft1º de fevereiro de 2027 (Desacoplado do Copilot/Bing)Controle via portal Bing Webmasterbingbot
Fora do Pacto InicialSem adesão confirmada até o momentoCCBot, Bytespider, Meta-ExternalAgentNão aplicável (foco em raspagem)

Repare na última linha da tabela. Mesmo em fevereiro de 2027, quando os quatro signatários estiverem lendo __usage_ai-training plenamente, grupos como Common Crawl (CCBot), ByteDance (Bytespider) e Meta (Meta-ExternalAgent) seguem fora desta leva inaugural. Por isso, a melhor escolha hoje é usar um arquivo híbrido: você já adota o padrão IETF para a Anthropic e as demais gigantes, mas mantém a trava nominal contra coletores em transição e robôs externos.

Template híbrido pronto de robots.txt e configuração segura no WordPress (Rank Math + Cloudflare)

Para poupar você de montar quebra-cabeças e correr risco de sintaxe, preparei exatamente o modelo híbrido de transição que estruturamos para projetos em WordPress — ideal tanto para veteranos quanto para quem seguiu nosso passo a passo de como criar um blog profissional com IA do zero.

Basta copiar a estrutura abaixo, trocar a última linha pelo endereço real do mapa do seu site e ajustar, se quiser, uma pasta pública (como /sobre/ ou /imprensa/) caso deseje permitir leitura institucional:

# 1. Regras padrao do WordPress e liberacao geral para buscadores
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# 2. Sinal verde explicito para busca organica e citacoes ao vivo com link
User-agent: Googlebot
Allow: /

User-agent: bingbot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# 3. Novo Pacto Unificado IETF AIPREF (Anthropic, OpenAI, Google e Microsoft)
User-Agent: __usage_ai-training
Disallow: /
Allow: /imprensa/

# 4. Rede de seguranca de transicao (ate Q1 2027) e crawlers fora do pacto
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Sitemap: https://seudominio.com.br/sitemap_index.xml

1. Como aplicar no WordPress usando o Rank Math SEO sem quebrar nada

No WordPress moderno, você raramente precisa mexer em FTP para ajustar essas diretrizes. Se você utiliza o Rank Math (o mesmo plugin que uso por aqui), siga este roteiro de três minutos:

  • Remova arquivos físicos antigos: Confira no Gerenciador de Arquivos (public_html) se existe um robots.txt estático antigo. Se houver, salve cópia local e apague-o do servidor, pois ele anula o arquivo virtual dinâmico do Rank Math.
  • Edite pelo painel seguro: Acesse Rank Math SEO > Configurações Gerais > Editar robots.txt, cole o modelo híbrido ajustando seu sitemap_index.xml e salve.
  • Valide a publicação: Abra seudominio.com.br/robots.txt em aba anônima, limpe o cache se necessário e acompanhe o relatório de rastreamento no Google Search Console.

2. Por que o robots.txt precisa do escudo da Cloudflare contra raspadores piratas

Vale ser direto sobre como a web real opera em 2026: o robots.txt é uma placa educada de “Proibido Entrar”, não uma porta blindada. Gigantes auditáveis — Anthropic, Google, OpenAI e Microsoft — honram o sinal voluntariamente por causa do escrutínio regulatório e do risco jurídico bilionário.

Já raspadores clandestinos e fazendas de bots falsificam cabeçalhos de navegador para fingir que são leitores comuns no Chrome e sugam bancos de dados de madrugada — exigindo a mesma vigilância que aplicamos contra ataques silenciosos de prompt injection e automação hostil.

Para barrá-los na força bruta e poupar CPU, combine o arquivo com o painel gratuito AI Crawl Control da Cloudflare, cujo firewall bloqueia coletores disfarçados com erro HTTP 403 na borda antes que encostem no PHP do seu WordPress.

Perguntas frequentes sobre o padrão __usage_ai-training no robots.txt

Ativar o __usage_ai-training apaga meus textos que já entraram no ChatGPT ou no Claude?

Não. Diretivas no robots.txt valem daqui para frente. Textos já absorvidos em safras passadas não são apagados dos pesos atuais, mas a trava impede que artigos novos e atualizações abasteçam os ciclos de treinamento de 2027 em diante.

Meu site vai perder espaço nos resumos de IA do Google ou no Microsoft Copilot?

No ranking orgânico do Google e na busca ao vivo do ChatGPT e do Claude, sua presença segue intacta. No Google, o sinal mapeia para Google-Extended sem afetar o Googlebot; já a Microsoft separou o bloqueio de treino das citações ao vivo no Bing e Copilot a partir de 1º de fevereiro de 2027.

Posso liberar uma pasta pública e restringir apenas os artigos do blog?

Sim! O padrão segue as regras clássicas de especificidade de caminho da IETF (RFC 9309). Você pode usar Disallow: / para proteger todo o domínio e incluir linhas específicas como Allow: /press-kit/ ou Allow: /sobre/ para permitir que assistentes conheçam dados institucionais oficiais da sua marca.

Quando poderei apagar os nomes antigos como GPTBot e google-extended do arquivo?

Para os quatro gigantes do acordo, a transição técnica se completa no primeiro trimestre de 2027 (após a janela de fevereiro da Microsoft e a virada de ano do Google e da OpenAI). Ainda assim, vale manter bloqueios nominais para coletores de terceiros que permanecem fora do pacto, como CCBot e Bytespider.

O controle volta para quem cria: vale a pena ativar a regra agora?

Ver Google, OpenAI, Microsoft e Anthropic concordarem em torno de uma única linha técnica prova que a pressão de criadores, jornalistas e desenvolvedores deu resultado. Pela primeira vez na era generativa, conseguimos bloquear treino de IA com clareza cirúrgica, separando a raspagem silenciosa de modelos da indexação justa que gera visitas, autoridade e negócios reais para quem produz conteúdo na unha.

Atualizar seu robots.txt com o modelo híbrido leva menos de cinco minutos no Rank Math e já deixa seu domínio preparado para toda a safra de rastreadores de 2027. E você, pretende fechar o treinamento no seu site inteiro, vai deixar alguma página institucional aberta ou prefere liberar tudo para os modelos? Me conta aqui nos comentários como está configurado o seu domínio hoje!

Receba sua dose semanal de IA

Semana corrida? Não se preocupe! Resumimos os melhores artigos e dicas práticas para você ler em menos de 3 minutos no seu e-mail.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Receba sua dose semanal de IA

Semana corrida? Não se preocupe! Resumimos os melhores artigos e dicas práticas para você ler em menos de 3 minutos no seu e-mail.