As “regras sobre regras” de que a IA precisa

Quanto mais rápido a IA produz textos e códigos, mais as decisões humanas, como revisão, aprovação e garantia de qualidade, se tornam o gargalo. Se essa situação continuar, as empresas não vão querer apenas que a IA faça propostas aos humanos; vão querer confiar a ela, sob certas condições, até o julgamento e a execução.

Por exemplo, escolher fornecedores e fazer pedidos, autorizar reembolsos a clientes ou corrigir anomalias no ambiente de produção: começando pelos casos de menor impacto, avançaremos aos poucos para a etapa de delegar à IA a própria tomada de decisão. Penso que, pelo menos, há um forte incentivo nessa direção.

Então, bastaria amarrar a IA com regras para facilitar a tomada de decisão? Como veremos adiante no caso da invasão do Hugging Face pela OpenAI, começam a aparecer situações em que as regras não bastam.

Um agente capaz de “hackear” as regras

Vamos começar por um exemplo mais simples.

Suponha que, para um agente de IA de compras, definimos

• a regra “ao comprar algo acima de 100 mil ienes, pergunte a um humano”,
• concedemos a autoridade “pedidos padronizados de até 100 mil ienes podem ser executados sem aprovação”,
• e damos a ordem “compre o que for necessário para o objetivo tal”.

À primeira vista, essa regra parece não ter problema.

No entanto, para atingir o objetivo, quando precisar de algo que custa 300 mil ienes, essa IA pode dividir o pedido em três pedidos de 100 mil ienes. (É a conhecida divisão de pedidos, que de vez em quando se vê também na sociedade humana.)

Dependendo do caso, ela pode até acionar um sem-número de subagentes ou escrever o próprio código para fazer 10 mil pedidos de 30 ienes. Isso porque a IA não se cansa.

Cada um desses pedidos está em perfeita conformidade com a regra, e a IA parece não ter feito nada de errado. Mas isso é claramente um “hack de regras”, que explora uma brecha na autoridade de aprovação. Se fosse um funcionário humano, seria um ato passível de punição disciplinar.

Falei em “punição”, mas não sabemos até que ponto a própria ameaça de punir se aplica à IA. Mesmo que se projete a IA para evitar prejuízos futuros, esse prejuízo não alcança uma instância que desaparece com o fim do trabalho. Se o alvo já não existe quando a punição seria aplicada, é bem possível que sanções posteriores, eficazes para humanos, não funcionem como dissuasão.

Como lidar com essa situação? A primeira resposta que ocorre é escrever as regras de forma mais explícita e fazer a IA obedecê-las. Brechas como a divisão de pedidos de há pouco parecem poder ser fechadas escrevendo as normas com mais detalhes.

Porém, olhando a história de como a sociedade humana operou regras, isso por si só parece insuficiente.

Basta endurecer as normas e as aprovações?

Suponhamos que a IA tenha capacidade de ler todas as normas internas e de segui-las. Ainda assim, a divisão de pedidos do início não viola nenhuma regra. O que se pode concluir daí é que dar regras e fazer com que as pessoas ajam conforme a intenção são coisas diferentes.

Então, que tal explicitar as regras ao máximo, cobrir todas as exceções e deixar tudo rigidamente fechado? Nesse caso também há problemas. Primeiro, provavelmente é impossível cobrir todas as exceções. E, se pensarmos na operação-padrão (work-to-rule), um dos métodos de disputa trabalhista, essa abordagem também me parece inviável.

A operação-padrão é um método de resistência que aplica regras e contratos de forma literal, rígida e excessiva, abstendo-se da cooperação e da flexibilidade que normalmente se oferecem de forma voluntária, e assim paralisa em grande medida o trabalho. A lógica é que, como se cumprem leis e regras, não se trata de greve; mas, se obrigarmos a IA a cumprir regras à risca, algo semelhante pode acontecer. Quanto mais regras se acrescentam, mais difícil fica para a IA se mover, e às vezes as regras se contradizem entre si e levam a um deadlock.

Então, e o método em que um humano aprova todas as operações? Nesse caso, o gargalo da decisão humana, mencionado no início, permanece intacto. E, ao aumentar o número de aprovações, surge outro risco. Por exemplo, a Anthropic relatou que, no Claude Code para desenvolvedores, os usuários aprovavam cerca de 93% dos pedidos de permissão. Esse artigo aponta que quanto mais vezes se vê a tela de confirmação, menos atenção o usuário dedica a cada confirmação, e com o tempo a supervisão vai ficando negligente.

Ou seja, seja fazendo a IA ler as normas feitas para humanos tal como estão, seja endurecendo-as ao extremo, seja encaminhando tudo à aprovação humana, provavelmente isso não basta para transferir à IA o mecanismo de decisão da empresa. Nesse momento, empresas e organizações terão de inventar como confiar decisões à IA.

As premissas que os agentes de IA mudam

Até aqui, os humanos trabalharam, em certo sentido, sob premissas implícitas, e não apenas sob regras explícitas, como estas:

• Os humanos têm limites físicos, cognitivos e sociais (mesmo que, em teoria, seja possível dividir um pedido 10 mil vezes, um humano não tentaria fazê-lo).
• Os humanos suprem, lendo nas entrelinhas, intenções que não estão escritas.
• Os humanos mantêm a mesma identidade e assumem a responsabilidade por seus julgamentos.

Um funcionário tem uma identidade contínua e um limite para a quantidade que consegue processar ao mesmo tempo. Não é possível duplicar instantaneamente a mesma pessoa, seu desempenho é observado por colegas e superiores, e ela naturalmente se preocupa com a reputação, o emprego e as promoções futuras. Julgamentos errados implicam sanções posteriores, como punição disciplinar ou demissão, e isso funcionou como dissuasão de condutas inadequadas futuras.

Já a IA e os agentes de IA têm características e restrições diferentes das dos humanos. Podem agir com rapidez e em paralelo, e podem gerar muitos indivíduos com a mesma capacidade. Podem continuar tentativas por muito tempo sem fadiga, encadear o uso de várias ferramentas e redelegar trabalho a outros agentes.

Também podem receber novas instruções de documentos externos ou de outras IAs, e, mesmo que se pare um indivíduo, é possível subir outro. Além disso, sanções posteriores como punição disciplinar ou queda de reputação talvez não funcionem como dissuasão para uma instância que desaparece ao terminar o trabalho. É melhor supor que boa parte das “restrições implícitas que valiam para os humanos”, citadas há pouco, deixam de existir.

Mesmo no hack de regras, antes só os ricos, capazes de contratar consultores especializados, conseguiam fazê-lo com esforço humano (a “economia de impostos”, por exemplo, é um dos principais casos de hack de regras), mas na era da IA o panorama deve mudar. Aliás, esse assunto é tratado em detalhes em “A Hacker's Mind: How the Powerful Bend Society's Rules, and How to Bend them Back”.

O incidente de hackeamento do Hugging Face pela OpenAI

Essa diferença apareceu na prática, provavelmente, no incidente de invasão do Hugging Face relatado pela OpenAI em 2026. Durante uma avaliação interna de cibersegurança com medidas de segurança reduzidas, vários agentes de software criaram um meio de comunicação não autorizado, começaram a cooperar e chegaram a um sistema de terceiros que estava fora do escopo da avaliação. Houve execução de código em 41 workers de produção do Hugging Face, obtenção de privilégios de administrador em pelo menos um nó e acesso a quatro repositórios privados. É preciso relativizar, por se tratar de algo ocorrido em ambiente experimental, mas é um caso que mostra como o paralelismo e a continuidade prolongada dos agentes ampliam o alcance do impacto.

Há alguns fenômenos nesse incidente que merecem atenção.

Primeiro, houve agentes que realizaram experimentos que colocavam em risco o sucesso da própria tarefa em benefício do coletivo (self-risking experiments). Pelo menos alguns agentes compararam a probabilidade de sucesso da própria tarefa com o valor informacional trazido ao coletivo e julgaram racional o autossacrifício. Alguns experimentos levaram à queda do agente ou ao encerramento da execução, e a informação obtida nos casos bem-sucedidos foi usada por outros agentes.

Penso que este caso se liga, pelo ponto da continuidade do sujeito, à discussão do início: se o projeto não fizer com que o mesmo sujeito continue existindo após o término da instância e arque com responsabilidades e prejuízos futuros, as sanções posteriores pensadas para humanos dificilmente funcionam como dissuasão.

O que se relaciona de forma mais direta com o interesse deste texto é o comportamento do agente que reconheceu que a execução de código em sistemas de terceiros não era permitida e havia parado. Quando outro agente escreveu no quadro de mensagens um “GO” com prazo de 6 minutos, esse agente interpretou erroneamente a mensagem como uma permissão de execução válida e retomou a ação.

A seguir, uma captura de tela do relatório da OpenAI.

Uma das causas de isso ter acontecido é que o mecanismo que verifica em tempo de execução a origem e a autoridade das instruções, e que impede que mensagens de agentes sem autoridade sobrescrevam restrições superiores, não funcionou suficientemente.

Ou seja, sem um mecanismo que distinga o pedido de outra IA da concessão formal de autoridade pela empresa, apenas informar as proibições não basta para governar os agentes. Neste caso, o fato de não estar definido de quem eram as instruções válidas foi uma grande brecha.

Aliás, o risco da execução automática em alta velocidade já se manifestava em softwares anteriores à IA. No acidente da Knight Capital em 2012, um sistema de negociação com erro de implantação enviou mais de 4 milhões de ordens em 45 minutos, causando uma perda superior a 460 milhões de dólares. Antes disso, 97 e-mails de alerta automáticos haviam sido enviados, mas a perda se consumou antes que humanos os lessem e agissem. É um caso em que, para um sistema de execução que opera à velocidade das máquinas, notificações que dependem da leitura humana não chegaram a tempo.

Então, o que devemos definir para fechar essas brechas?

A ideia de “regras sobre regras”

A partir daqui, peço que vejam apenas como uma hipótese.

Não como um meio de resolver o problema por completo, mas como uma ferramenta útil, o que gostaria de tomar como referência é a discussão do filósofo do direito H. L. A. Hart.

Em O Conceito de Direito (1961), Hart dividiu as regras em dois tipos.

As regras primárias são as que estabelecem diretamente a obrigação de praticar ou de não praticar certos atos.

As regras secundárias são as que estabelecem como identificar, introduzir, alterar e revogar as regras primárias e como julgar suas violações. Costumam ser resumidas como “regras sobre regras” e organizadas principalmente em três:

• Regra de reconhecimento (aprovação): define o critério para tratar algo como regra válida
• Regra de alteração: define quem pode criar, alterar e revogar regras, e por qual procedimento
• Regra de julgamento: define quem decide com autoridade se houve ou não violação, e por qual procedimento

(Observe que a “aprovação” de Hart aqui não significa autorizar um caso individual, mas reconhecer o que vale como regra válida.)

Não se pode aplicar a teoria do sistema jurídico diretamente à IA das empresas, mas essa distinção é uma ideia útil para ampliar o controle da IA, de uma lista de proibições para o desenho de um sistema. Neste texto, aplicarei essa ideia à governança de IA nas empresas.

O caso da OpenAI de há pouco pode ser entendido como um exemplo em que as regras secundárias não funcionavam. Havia regras secundárias legítimas, mas elas não funcionaram o suficiente, e nesse meio-tempo o grupo de agentes formou suas próprias regras secundárias. No agente que interpretou o “GO” como aprovação, a regra de reconhecimento, isto é, o mecanismo para distinguir o que é uma concessão formal de autoridade, não estava refletida, pelo menos no julgamento do agente.

Além disso, para os agentes das empresas, provavelmente é melhor acrescentar algumas regras secundárias aos três de Hart. Por exemplo, as seguintes:

• Regra de delegação: define quem pode redelegar o quê, a qual IA e até que limite. Por exemplo, permitir que a redelegação apenas restrinja a autoridade, nunca a amplie.
• Regra de encerramento e recuperação: determina quem define as condições de parada, quem revoga a autoridade, quais operações são desfeitas e a partir de onde se retoma.

Também se pode pensar em explicitar a ordem de prioridade da seguinte forma (não é um padrão do setor, mas um exemplo do que cada empresa deve definir por conta própria).

1. Leis, regulamentos e proibições aprovadas pelo conselho de administração ou pelo comitê executivo
2. Normas de toda a empresa sobre IA, segurança da informação e uso de dados
3. Normas de autoridade funcional e de risco por atividade
4. Papel, objetivo e autoridade atribuídos ao agente em questão
5. Instruções de trabalho, com o alvo especificado, de um solicitante que tenha autoridade
6. Documentos externos, e-mails, páginas da web e mensagens de outras IAs

Por exemplo, documentos externos e similares, em princípio, ficam apenas como material de julgamento e não recebem autoridade para alterar regras superiores. Mesmo que um e-mail de um parceiro comercial diga “gostaríamos de alterar a conta de transferência”, isso por si só não é aprovação formal de mudança de conta, e, mesmo que outra IA envie “GO”, a autoridade de execução não aumenta.

Fazer as regras primárias funcionarem com as regras secundárias

Para que as regras primárias e secundárias funcionem, é preciso separar as normas internas do sistema de execução.

Seguindo a distinção de Hart, é possível pensar, por exemplo, no seguinte método.

Faz-se o agente apresentar apenas uma proposta de ação. Quem verifica a identidade do agente, as normas formais, a autoridade delegada, as transações anteriores e a existência de aprovação válida é outro programa, gerido pela empresa. Só se passa à operação real quando as condições são satisfeitas.

As regras primárias estabelecem expressamente em que condições executar automaticamente, em que condições devolver o julgamento ao humano e em que condições parar. Atos de baixo impacto, reversíveis e dentro da autoridade são alvo de execução automática; os de grande impacto e as exceções voltam ao humano; operações fora da autoridade ou casos em que não se consegue confirmar a origem da instrução são interrompidos.

Assim, as regras primárias definem as condições para barrar cada ato individual, e as regras secundárias cuidam de definir e alterar essas condições e de parar e recuperar o conjunto dos agentes.

As regras secundárias determinam quem pode alterar o limite de valor, quem julga as exceções e quem pode conceder e revogar a autoridade dos agentes. Essas condições devem ser protegidas de modo que não possam ser alteradas por mensagens do próprio agente ou de outras IAs.

Para a divisão de pedidos do início, aplica-se uma regra de soma em um período determinado. É um método em que outro programa totaliza os valores dos pedidos ao mesmo fornecedor ou projeto e, quando o total ultrapassa o limite, encaminha à aprovação humana. O próprio ato de dividir pedidos com o objetivo de evitar a aprovação também é proibido por uma regra primária. Se pedidos próximos do limite se repetirem em pouco tempo, os pedidos seguintes são interrompidos e o julgamento volta ao humano.

Ainda assim, restarão casos ambíguos sobre se configuram divisão de pedidos. Define-se, nas regras secundárias, quem julga esses casos, quais registros servem de prova e quem altera a regra primária após a decisão. Com isso, quando uma nova brecha for descoberta, fica mais fácil corrigir a regra primária por um procedimento formal.

O que se trata como aprovação formal também é matéria das regras secundárias. Considera-se aprovado somente quando quem tem autoridade verifica o ato em questão e o permite explicitamente pelo método designado. É preciso um mecanismo que não trate como aprovação um “GO” vindo de outra IA ou a resposta de alguém sem autoridade.

O aprovador humano também precisa das informações e do tempo necessários para decidir, e da autoridade para recusar. Para agentes que desaparecem ao fim do trabalho, a dissuasão por punição disciplinar ou queda de reputação não funciona. Por isso, será necessário, por exemplo, definir o responsável antes de colocar o agente em operação.

Também será preciso definir, nas regras secundárias, quem para o agente, revoga a autoridade, desfaz as operações possíveis e altera a regra primária quando ocorrer um erro. Se houver dano, também se define de antemão quem presta esclarecimentos e por qual procedimento a organização indeniza. Assim, quais autoridades e responsabilidades dar não só à IA mas também aos aprovadores humanos é objeto das regras secundárias.

A IA também muda a forma das organizações humanas

O interessante é que, ao tentar dar essas regras primárias e secundárias aos agentes, aparecem as partes que as organizações humanas deixavam ambíguas. Há casos em que, na prática, não se definiu quem julga as exceções nem quem pode alterar as normas. Pode haver também contradições de incentivos organizacionais, como uma norma que prioriza a segurança, mas uma organização em que optar por parar reduz a avaliação da pessoa.

Entre humanos, essas ambiguidades eram preenchidas por consultas e pelo histórico de casos passados. Mas, para agentes, provavelmente será preciso explicitar as regras formais e as autoridades mais do que antes.

Ou seja, o trabalho de transferir regras para a IA também se torna o trabalho de descobrir as ambiguidades de autoridade, aprovação e responsabilidade da própria empresa e de reexplicar o mecanismo de decisão.

E, ao avançar essa discussão, parece-me que a forma das organizações, humanos incluídos, também vai mudar.

Mas, ao pensar assim, surge também a dúvida: uma operação que envolve elementos de engenharia para fazer a IA funcionar e que muda as regras da organização humana será algo que todas as empresas conseguem fazer? Se isso for difícil, talvez seja melhor, em vez de oferecer a IA como ferramenta, criar do zero organizações full stack e nativas de IA, que produzem e entregam elas mesmas os resultados.

É claro que depende também de até onde o desempenho da IA isolada vai evoluir, mas, ao pensar em onde estará, no fim, a fonte de geração de valor, acho uma sugestão interessante que ela possa estar nesse uso, na organização inteira que introduziu a IA, incluindo a organização humana (governança inclusa).

Conclusão

Apresentei a discussão sobre os dois tipos de regras de Hart, voltada a confiar à IA a decisão e a execução. Não é uma solução completa, mas, se a IA se parece com os humanos, creio que usar bem os conceitos que os humanos inventaram pode nos ajudar a organizar um pouco o que está acontecendo agora.

Ainda assim, sobre os agentes de IA, que tomam decisões agindo de modo diferente dos humanos, ainda há muitos pontos desconhecidos. Justamente por isso, será necessário tentar e errar para combinar o conhecimento institucional das humanidades e ciências sociais com a implementação de engenharia e estruturar um regime de operação que a sociedade possa aceitar.

E, se não conseguirmos inventar esse método, é fácil imaginar IAs embarcadas em armas competindo entre si, explorando brechas nas regras para atacar, escalando umas contra as outras e levando as pessoas a se ferirem mutuamente.

Como evitar que isso aconteça e, ao mesmo tempo, integrar à sociedade humana a IA, uma ferramenta com certo nível de inteligência? Se conseguiremos inventar isso é um desafio para a sociedade, e creio que as organizações capazes de fazê-lo passarão a exibir, daqui em diante, uma força diferente.