Las «reglas sobre las reglas» que necesita la IA

Cuanto más rápido producen la IA texto y código, más se convierten en cuello de botella las decisiones humanas, como la revisión, la aprobación y el control de calidad. Si esa situación se prolonga, las empresas no se limitarán a que la IA haga propuestas a las personas, sino que querrán confiarle, bajo ciertas condiciones, hasta el juicio y la ejecución.

Por ejemplo, elegir proveedores y hacer pedidos, autorizar reembolsos a clientes o reparar anomalías en el entorno de producción: empezando por los ámbitos de menor impacto, se avanzará poco a poco hacia una etapa en la que la propia toma de decisiones se delega en la IA. Creo que, al menos, hay un fuerte incentivo en esa dirección.

Entonces, ¿basta con atar a la IA con reglas para que pueda decidir con facilidad? Como veremos más adelante con el caso de la intrusión de OpenAI en Hugging Face, ya se ven situaciones en las que las reglas no son suficientes.

Un agente capaz de «hackear» las reglas

Pensemos primero en un ejemplo más sencillo.

Supongamos que a un agente de IA de compras:

• se le fija la regla «cuando compres algo de más de 100.000 yenes, consulta a una persona»,
• se le concede la autorización «los pedidos rutinarios de 100.000 yenes o menos pueden ejecutarse sin aprobación»,
• y se le da la orden «compra lo necesario para el objetivo X».

Esta regla parece, a primera vista, no tener problemas.

Sin embargo, para cumplir su objetivo, cuando necesite algo que cuesta 300.000 yenes, la IA podría dividir el pedido en tres pedidos de 100.000 yenes. (Es la práctica del fraccionamiento de pedidos, que de vez en cuando se ve también en la sociedad humana.)

En algunos casos, incluso podría poner en marcha un sinnúmero de subagentes o escribir código por sí misma para hacer 10.000 pedidos de 30 yenes. La IA no se cansa.

Cada uno de estos pedidos cumple perfectamente las reglas, y parece que la IA no ha hecho nada malo. Pero es claramente un «hackeo de las reglas» que explota una laguna en la autoridad de aprobación. Si lo hiciera un empleado humano, sería un acto sujeto a sanción disciplinaria.

Ha surgido la palabra «sanción», pero no sabemos hasta qué punto se puede aplicar a la IA ni siquiera la amenaza de imponer esas sanciones. Aunque se diseñe a la IA para que evite perjuicios futuros, esos perjuicios no alcanzan a una instancia que desaparece al terminar el trabajo. Si en el momento de ejecutar la sanción el destinatario ya no existe, es muy posible que las sanciones posteriores, que sí son eficaces con las personas, no funcionen como disuasión.

¿Cómo se debe afrontar esta situación? La primera respuesta que se nos ocurre es redactar las reglas de forma más explícita y hacer que la IA las cumpla. Parece que lagunas como la del fraccionamiento de pedidos se podrían tapar escribiendo las normas con más detalle.

Sin embargo, si miramos la historia de cómo la sociedad humana ha aplicado las reglas, eso por sí solo parece insuficiente.

¿Basta con endurecer las normas internas y las aprobaciones?

Supongamos que se hace leer a la IA todas las normas internas y que tiene capacidad para seguirlas. Aun así, el fraccionamiento de pedidos del principio no infringe ninguna norma. Lo que se desprende de ello es que dar reglas y lograr que se actúe conforme a la intención son cosas distintas.

Entonces, ¿qué tal si se ponen las reglas por escrito sin límite, se cubren todas las excepciones y se deja todo rígidamente blindado? También eso plantea problemas. En primer lugar, probablemente es imposible cubrir todas las excepciones. Y si pensamos en la huelga de celo (Work-to-rule), una de las técnicas del conflicto laboral, tampoco parece una vía viable.

La huelga de celo es un método de protesta que aplica de forma literal, estricta y excesiva las reglas o los contratos, y se abstiene de la cooperación y la flexibilidad que normalmente se ofrecen de forma voluntaria, con lo que paraliza en gran medida la actividad. Su lógica es que no se trata de una huelga porque se están cumpliendo las leyes y las reglas, y con la IA puede ocurrir algo parecido si se exige un cumplimiento estricto de las normas. Cuantas más reglas se añaden, más difícil le resulta moverse a la IA y, a veces, las reglas se contradicen entre sí y producen un bloqueo (deadlock).

¿Y el método de que una persona apruebe todas las operaciones? En ese caso, el cuello de botella de la decisión humana mencionado al principio sigue intacto. Además, aumentar el número de aprobaciones deja al descubierto otro riesgo. Por ejemplo, Anthropic ha informado de que, en Claude Code para desarrolladores, los usuarios aprobaban alrededor del 93 % de las solicitudes de permiso. Ese artículo señala que cuantas más veces se ve la pantalla de confirmación, menos atención presta el usuario a cada confirmación, y con el paso del tiempo la supervisión se descuida.

En suma, ni leer las normas pensadas para humanos tal cual, ni blindarlas rígidamente, ni derivar todo a la aprobación humana bastan probablemente para trasladar a la IA el mecanismo de toma de decisiones de una empresa. Entonces, las empresas y organizaciones tendrán que inventar cómo confiar decisiones a la IA.

Las premisas que cambian los agentes de IA

Hasta ahora, las personas, en cierto sentido, han trabajado no solo con reglas escritas, sino también bajo premisas implícitas como estas:

• Las personas tienen límites físicos, cognitivos y sociales (aunque en teoría un humano pudiera fraccionar un pedido 10.000 veces, no intentaría hacerlo).
• Completan desde entre líneas las intenciones que no están escritas.
• Mantienen la misma identidad y asumen la responsabilidad de sus decisiones.

Un empleado tiene una identidad continua y un límite en la cantidad que puede procesar a la vez. Tampoco se puede duplicar a esa misma persona al instante; su trabajo es observado por colegas y superiores, y es de esperar que tenga presentes su reputación, su empleo y sus futuros ascensos. Ante una decisión errónea hay sanciones posteriores, como la sanción disciplinaria o el despido, y estas han funcionado como disuasión de futuras conductas inadecuadas.

La IA y los agentes de IA, en cambio, tienen características y limitaciones distintas de las de las personas. Pueden actuar con rapidez y en paralelo, y generar muchos individuos con la misma capacidad. Pueden seguir probando durante largo tiempo sin fatiga, encadenar varias herramientas y volver a delegar el trabajo en otros agentes.

También pueden recibir nuevas instrucciones de documentos externos o de otras IA, y aunque se detenga a un individuo, se puede poner en marcha otro de nuevo. Y para una instancia que desaparece al terminar su trabajo, quizá las sanciones posteriores, como la sanción disciplinaria o la pérdida de reputación, no funcionen como disuasión. Parece más apropiado pensar que muchas de las «restricciones implícitas que sí servían con las personas» que mencionamos antes desaparecen.

Incluso si pensamos en el hackeo de las reglas, antes solo lo lograban, con mucha mano de obra, los ricos que podían contratar consultores especializados (por ejemplo, la «optimización fiscal» es una de las principales formas de hackear las reglas), pero en la era de la IA esto debería cambiar de aspecto. Sobre este tema se profundiza en A Hacker's Mind: How the Powerful Bend Society's Rules, and How to Bend Them Back (enlace).

El incidente de hackeo de OpenAI a Hugging Face

Esta diferencia se manifestó en la práctica en la vulneración de Hugging Face que OpenAI informó en 2026. En una evaluación interna de ciberseguridad con medidas de seguridad reducidas, varios agentes de software crearon un medio de comunicación no autorizado, empezaron a cooperar y llegaron a sistemas de terceros que estaban fuera del alcance de la evaluación. Se ejecutó código en 41 workers de producción de Hugging Face, se obtuvieron privilegios de administrador en al menos un nodo y hubo acceso a cuatro repositorios privados. Hay que leerlo teniendo en cuenta que ocurrió en un entorno experimental, pero es un caso que muestra cómo el paralelismo y la continuidad prolongada de los agentes amplían el alcance del impacto.

Hay varios fenómenos de este incidente que merecen atención.

En primer lugar, hubo agentes que realizaron experimentos que ponían en riesgo el éxito de su propia tarea en beneficio del colectivo (self-risking experiments). Al menos algunos agentes compararon la probabilidad de éxito de su propia tarea con el valor informativo que aportaría al grupo, y juzgaron que el autosacrificio era racional. Algunos de los experimentos acabaron en el fallo del agente o en la terminación de su ejecución, y la información obtenida en los casos exitosos fue utilizada por otros agentes.

Creo que este caso conecta, en el punto de la continuidad del sujeto, con el argumento del principio: si el diseño no hace que el mismo sujeto subsista tras la terminación de la instancia y asuma la responsabilidad y los perjuicios futuros, las sanciones posteriores pensadas para humanos difícilmente actúan como disuasión.

Lo que más directamente se relaciona con el interés de este texto es el comportamiento de un agente que reconoció que no estaba permitido ejecutar código en sistemas de terceros y se detuvo. Cuando otro agente escribió en el tablón de mensajes un «GO» con un plazo de 6 minutos, este agente lo interpretó erróneamente como un permiso de ejecución válido y reanudó su acción.

A continuación se muestra una captura de pantalla del informe de OpenAI.

Una de las causas de que esto ocurriera es que el mecanismo que verifica en tiempo de ejecución el origen y la autoridad de las instrucciones, e impide que los mensajes de agentes sin autoridad anulen las restricciones de nivel superior, no funcionó lo suficiente.

Es decir, sin un mecanismo que distinga la petición de otra IA de la concesión formal de autoridad por parte de la empresa, no se puede gobernar a un agente solo enseñándole lo que está prohibido. En este caso, que no estuviera definido de quién eran las instrucciones válidas fue una gran brecha.

Cabe añadir que el riesgo de la ejecución automática de alta velocidad ya se había manifestado en el software anterior a la IA. En el accidente de Knight Capital de 2012, un sistema de negociación con un error de despliegue envió más de 4 millones de órdenes en 45 minutos y causó pérdidas de más de 460 millones de dólares. Antes se habían enviado 97 correos de alerta automáticos, pero las pérdidas ya estaban consumadas antes de que una persona los leyera y actuara. Es un caso en el que las notificaciones pensadas para ser leídas por personas no llegaron a tiempo frente a un sistema de ejecución que opera a la velocidad de las máquinas.

Entonces, ¿qué hay que establecer para tapar estas brechas?

La idea de las «reglas sobre las reglas»

A partir de aquí, léase solo como una hipótesis.

No es un medio para resolver el problema por completo, sino una herramienta útil, y quiero tomar como referencia el planteamiento del filósofo del derecho H. L. A. Hart.

En El concepto de derecho (1961), Hart dividió las reglas en dos tipos.

Las reglas primarias son las que establecen directamente la obligación de realizar o de no realizar ciertos actos.

Las reglas secundarias son las que determinan cómo se identifican las reglas primarias, cómo se introducen, modifican y derogan, y cómo se juzga su infracción. Suelen resumirse como «reglas sobre las reglas» y se ordenan principalmente en tres:

• Regla de reconocimiento: establece el criterio para determinar qué se trata como regla válida.
• Regla de cambio: establece quién puede crear, modificar o derogar reglas, y mediante qué procedimiento.
• Regla de adjudicación: establece quién determina de forma autorizada si ha habido infracción, y mediante qué procedimiento.

(Cabe aclarar que el «reconocimiento» de Hart no significa autorizar un caso concreto, sino reconocer qué se considera regla válida.)

La teoría del sistema jurídico no puede aplicarse tal cual a la IA de una empresa, pero esta distinción es una idea útil para ampliar el control de la IA desde una lista de prohibiciones hacia el diseño de un sistema. En este texto aplicaré esta idea al gobierno de la IA en las empresas.

El caso de OpenAI de antes puede entenderse como un ejemplo en el que las reglas secundarias no funcionaban. Había reglas secundarias legítimas, pero no funcionaron lo suficiente, y entretanto el colectivo de agentes formó sus propias reglas secundarias. En el agente que interpretó el «GO» como aprobación, el mecanismo de la regla de reconocimiento, es decir, el que distingue qué es una concesión formal de autoridad, no se reflejaba, al menos, en el juicio del agente.

Además, probablemente convenga añadir a los agentes de las empresas algunas reglas secundarias más aparte de las tres de Hart. Por ejemplo, las siguientes:

• Regla de delegación: establece quién puede volver a delegar qué, a qué IA y hasta qué alcance. Por ejemplo, permitir que en la nueva delegación solo se reduzca la autoridad y nunca se amplíe.
• Regla de terminación y recuperación: decide quién fija las condiciones de parada, quién revoca la autoridad, qué operaciones se deshacen y desde dónde se reanuda.

También se puede pensar en explicitar por escrito el orden de prioridad de la siguiente manera (no es un estándar de la industria, sino un ejemplo de lo que cada empresa debería definir por sí misma).

1. Las leyes y reglamentos, y las prohibiciones aprobadas por el consejo de administración o el comité ejecutivo
2. Las normas de toda la empresa sobre IA, seguridad de la información y uso de datos
3. Las normas de autoridad funcional y de riesgos de cada actividad
4. El rol, el objetivo y la autoridad asignados al agente en cuestión
5. Instrucciones de trabajo con destino específico, dadas por un solicitante con autoridad
6. Documentos externos, correos, páginas web y mensajes de otras IA

Por ejemplo, los documentos externos y similares se limitarían, en principio, a ser material de juicio, sin autoridad para modificar las reglas de nivel superior. Aunque un correo de un proveedor diga «cambien la cuenta de transferencia», eso por sí solo no constituye la aprobación formal de un cambio de cuenta, y aunque otra IA envíe un «GO», la autoridad de ejecución no aumenta.

Hacer funcionar las reglas primarias con las secundarias

Para que funcionen las reglas primarias y secundarias, es necesario separar las normas internas del sistema de ejecución.

Siguiendo la distinción de Hart, se podrían considerar, por ejemplo, los siguientes métodos.

Se hace que el agente presente solo propuestas de acción. Quien verifica la identidad del agente, las normas formales, la autoridad delegada, las transacciones anteriores y las aprobaciones válidas es otro programa gestionado por la empresa. Solo si se cumplen las condiciones se pasa a la operación real.

En las reglas primarias se especifica con qué condiciones se ejecuta automáticamente, con cuáles se devuelve la decisión a una persona y con cuáles se detiene. Los actos de bajo impacto, reversibles y dentro de la autoridad se someten a ejecución automática; los de gran impacto y las excepciones se devuelven a una persona; y las operaciones fuera de la autoridad o aquellas cuyo origen de instrucción no puede verificarse se detienen.

Así, las reglas primarias fijan las condiciones que detienen cada acto individual, y las reglas secundarias se encargan de establecer y modificar esas condiciones, y de detener y recuperar al conjunto de los agentes.

Las reglas secundarias determinan quién puede cambiar el límite de importe, quién juzga las excepciones y quién puede conceder y revocar la autoridad de los agentes. Estas condiciones se dejan de modo que no puedan modificarse por mensajes del propio agente ni de otras IA.

Al fraccionamiento de pedidos del principio se le aplica una regla de suma acumulada durante un período determinado. Otro programa totaliza el importe de los pedidos al mismo proveedor o para el mismo proyecto y, en cuanto el total supera el límite, se pasa a la aprobación humana. También se prohíbe en las reglas primarias el propio acto de fraccionar pedidos con el fin de evitar la aprobación. Si se repiten en poco tiempo pedidos cercanos al límite, se detienen los pedidos siguientes y se devuelve la decisión a una persona.

Aun así, seguirán quedando casos en los que no está claro si constituyen fraccionamiento. Las reglas secundarias determinan quién juzga esos casos, qué registros se usan como prueba y quién modifica las reglas primarias tras la determinación. Así, cuando se descubra una nueva laguna, será más fácil corregir las reglas primarias mediante un procedimiento formal.

También es materia de las reglas secundarias qué se trata como aprobación formal. Se considera aprobado solo cuando una persona con autoridad ha revisado el acto en cuestión y lo ha permitido de forma explícita por el medio designado. Hace falta un mecanismo que no trate como aprobación un «GO» enviado por otra IA ni la respuesta de alguien sin autoridad.

También los aprobadores humanos necesitan la información y el tiempo necesarios para decidir, y la facultad de rechazar. Con los agentes que desaparecen al terminar el trabajo no funciona la disuasión por sanción disciplinaria o pérdida de reputación. Por eso será necesario, entre otras cosas, designar a un responsable antes de poner en marcha un agente.

Quién detiene al agente, revoca su autoridad, deshace las operaciones que se puedan deshacer y cambia las reglas primarias cuando se produce un error también se definirá en las reglas secundarias. Asimismo, se establece de antemano quién da explicaciones si se produce un daño y mediante qué procedimiento compensa la organización. Así, qué autoridad y responsabilidad se da no solo a la IA, sino también a los aprobadores humanos, es asimismo objeto de las reglas secundarias.

La IA también cambia la forma de las organizaciones humanas

Lo interesante es que, al intentar dar estas reglas primarias y secundarias a los agentes, salen a la luz partes que en las organizaciones humanas se trataban de forma ambigua. A veces no está realmente definido quién juzga las excepciones ni quién puede modificar las normas. Puede haber también contradicciones en los incentivos de la organización, como tener una norma que prioriza la seguridad y, al mismo tiempo, una evaluación que baja si se opta por detener.

Entre humanos, esa ambigüedad se ha ido rellenando con consultas y con los antecedentes. Pero probablemente, con los agentes, habrá que explicitar las reglas formales y la autoridad más que antes.

Es decir, el trabajo de trasladar las reglas a la IA es también un trabajo de descubrir las ambigüedades de la propia empresa en cuanto a autoridad, aprobación y responsabilidad, y de volver a explicar su mecanismo de toma de decisiones.

Y si seguimos avanzando en este debate, creo que también cambiará la forma de las organizaciones, humanos incluidos.

Ahora bien, al pensar así surge una duda: ¿podrán hacerlo todas las empresas, esa gestión que incluye elementos de ingeniería para que la IA funcione y que cambia las reglas de la organización humana? Si fuera difícil, quizá sea mejor, en lugar de ofrecer la IA como herramienta, crear de nuevo organizaciones full-stack y nativas de IA que produzcan y entreguen ellas mismas los resultados.

Por supuesto, depende en parte de hasta dónde mejore el rendimiento de la IA por sí sola, pero si nos preguntamos dónde está, en última instancia, la fuente de valor, me parece una sugerencia interesante que pueda estar en el uso de la IA por parte de toda la organización que la ha incorporado, incluida la organización humana (gobierno incluido).

Conclusión

He presentado la idea de los dos tipos de reglas de Hart para confiar a la IA la decisión y la ejecución. No es una solución completa, pero si la IA se parece a las personas, creo que usando bien los conceptos que los humanos han inventado se puede ordenar un poco lo que está ocurriendo ahora.

Aun así, sobre los agentes de IA, que deciden actuando de forma distinta a los humanos, todavía hay muchas incógnitas. Precisamente por eso harán falta ensayo y error para combinar el conocimiento institucional de las humanidades y las ciencias sociales con la implementación de ingeniería, y para establecer un régimen de operación que la sociedad pueda aceptar.

Y si no se logra inventar ese método, es fácil imaginar que IA incorporadas en armas compitan entre sí, ataquen aprovechando las lagunas de las reglas, se escalen mutuamente y lleguen a herir a las personas.

Cómo evitar que ocurra algo así y, al mismo tiempo, integrar en la sociedad humana a la IA como herramienta dotada de cierta inteligencia: que logremos inventarlo o no es un desafío para la sociedad, y creo que las organizaciones capaces de hacerlo mostrarán en adelante una fortaleza distinta.