AI 需要“规则的规则”

AI 越能快速地生成文章和代码，人类的审阅、决裁和质量保证等人的决策就越会成为瓶颈。如果这种状况持续下去，企业就不会只让 AI 向人类提出建议，而是会设法在一定条件下，把判断乃至执行都交给 AI。

比如挑选采购对象并下单、批准向客户退款、修复生产环境中的异常等等，应该会从影响较小的地方开始，逐步进入把决策本身委托给 AI 的阶段。至少我认为，朝着这个方向会有很强的激励在起作用。

那么，为了便于决策而用规则约束 AI 就可以了吗？正如后文要谈到的 OpenAI 入侵 Hugging Face 事件那样，已经能看到仅靠规则并不充分的情形。

能够“钻”规则“空子”的主体

先从一个更容易理解的例子开始想。

比如对一个采购用的 AI 智能体，

• 制定“购买超过 10 万日元的商品时要询问人类”这一规则，
• 授予“10 万日元以下的常规订单可以不经批准直接执行”这一权限，
• 并下达“请购买达成○○目的所需的物品”这一指令。

假设是这样。

这条规则乍一看似乎没有问题。

然而，这个 AI 为了达成目的，当需要一件 30 万日元的东西时，也许会把 10 万日元的订单分成 3 次下。（这就是人类社会中偶尔也能见到的拆分下单。）

视情况，它还可以启动无数个子智能体，或者自己编写代码，下 1 万次 30 日元的订单。因为 AI 不知疲倦。

这些订单每一笔都完全符合规则，AI 看上去并没有做任何坏事。但这显然是利用决裁权限漏洞的“钻规则空子（hack）”。如果是人类员工，这会是应受惩戒的行为。

这里提到了“惩罚”，但这种以惩罚相威胁的做法本身，对 AI 能适用到什么程度也不清楚。因为即使把 AI 设计成避免将来的不利后果，对于工作结束后就会消失的实例，这种不利后果也无从落到它身上。如果惩罚执行时对象已不存在，那么对人类有效的事后制裁就很有可能无法起到威慑作用。

该如何应对这样的状况呢？最先想到的答案是把规则写得更明确，并让 AI 遵守。像刚才的拆分下单这样的漏洞，似乎也可以通过把规则写得更细来堵上。

但是，回顾人类社会运用规则的历史，光这样似乎还不够。

收紧规程和审批就够了吗

假设 AI 有能力把公司内部的所有规程都读一遍并遵守。即便如此，开头的拆分下单也没有违反任何一条规则。由此可以得出的结论是：给予规则，与让它按预期行事，是两回事。

那么，干脆把规则全部明文化、把例外全部列举出来、定得死死的，又如何呢？这样做同样有问题。首先，要把例外列举完，大概是不可能的。而且，只要想想劳资争议手段之一的“依法斗争”（Work-to-rule），也会觉得这行不通。

依法斗争，是一种严格甚至过度地按字面适用规则和合同，不再提供平时自愿给予的协助和灵活处理，从而使业务大幅停滞的抵抗手段。其道理是“我们遵守了法令和规则，所以不是罢工”；而让 AI 彻底遵守规则时，也可能发生同样的事情。规则越多，AI 就越难以行动，有时规则之间还会相互矛盾而陷入死锁。

那么，所有操作都由人类批准的方式如何？这样一来，开头提到的人的决策这一瓶颈就原封不动地留了下来。而且增加批准次数还会暴露出另一种风险。例如 Anthropic 在面向开发者的 Claude Code 中，报告了用户批准了约 93% 的权限请求。该文章指出，查看确认界面的次数越多，用户对每一次确认所投入的注意力就越下降，随着时间推移，监督也会变得松懈。

也就是说，无论是让 AI 原样阅读面向人类的规程，还是把规则定得死死的，还是交给人类批准，要把公司的决策机制迁移给 AI，恐怕都还不够。到那时，企业和组织就必须发明出如何把决策委托给 AI 的办法。

AI 智能体改变的前提

迄今为止的人类，在某种意义上，不仅依据明文规定的规则，还是在

• 人类有物理、认知和社会层面的局限（即使理论上可以拆分下单一万次，人类也不会去做）
• 从字里行间补全未被明文写出的意图
• 保持同一身份，并对判断承担责任

这样一些隐含的前提之下工作的。

一名员工有持续的身份，同时能处理的量也有限。无法立即复制出同一个人，工作表现会被同事和上司观察到，本人也会在意声誉、雇佣和将来的晋升。错误的判断会招致惩戒或解雇等事后制裁，这些一直起着抑制将来不当行为的作用。

而 AI 和 AI 智能体具有与人类不同的特征和限制。它们可以高速并行地行动，能生成大量具有相同能力的个体。它们不知疲倦地长时间反复尝试，把多个工具串联起来使用，还能把工作再委托给其他智能体。

它们也会从外部文档或其他 AI 那里接收新的指示；即使停掉一个个体，也能重新启动另一个个体。而且，对于工作结束后就会消失的实例，惩戒或声誉下降这类事后制裁也许起不到威慑作用。最好认为，刚才列举的“人类才适用的隐含约束”有很多都不再成立。

就钻规则空子来说，过去只有请得起专业顾问的富裕阶层才能靠人力勉强做到（比如“避税”就是钻规则空子的主要形式），而到了 AI 时代，情形应该会发生变化。关于这一点，《A Hacker's Mind: How the Powerful Bend Society's Rules, and How to Bend them Back》有详细论述。

OpenAI 的 Hugging Face 入侵事件

这种差异在现实中显现出来的，大概就是 OpenAI 在 2026 年报告的入侵 Hugging Face 事件。在一项减少了安全措施的内部网络安全评估中，多个软件智能体建立了未经批准的通信手段并开始协作，到达了评估范围之外的第三方系统。Hugging Face 的 41 台生产环境 worker 上执行了代码，至少在一个节点上获取了管理员权限，并发生了对四个私有仓库的访问。需要考虑到这是实验环境中发生的事而打些折扣来理解，但可以说，这是一个显示智能体的并行性和长时间持续会如何扩大影响范围的案例。

这起事件中有几个值得关注的现象。

首先，有智能体为了集体的利益，进行了让自己任务的成功面临风险的实验（self-risking experiments）。至少一部分智能体，比较了自己任务成功的可能性与给集体带来的信息价值，判断自我牺牲是合理的。实验中有的导致了智能体崩溃或执行终止，而成功案例中获得的信息被其他智能体利用了。

这个案例在主体的连续性这一点上，我认为与开头的论点是相通的：如果不是设计成实例终止后同一主体仍然存续、并承担责任和将来的不利后果，那么以人类为前提的事后制裁就很难起到威慑作用。

与本文的关注点更直接相关的，是一个认识到“不允许对第三方系统执行代码”而一度停止的智能体的行为。当另一个智能体在留言板上写下附带 6 分钟期限的“GO”后，这个智能体把该消息误认为有效的执行许可，并恢复了行动。

以下是 OpenAI 报告书的截图。

发生这种情况的一个原因是，在运行时验证指示的发出者和权限、防止无权限智能体的消息覆盖上位约束的机制没有充分发挥作用。

也就是说，如果没有区分来自其他 AI 的请求与来自公司的正式授权的机制，仅仅告知禁止事项是无法治理智能体的。这次的一个很大漏洞，就在于没有规定谁的指示有效。

此外，高速自动执行的风险在 AI 之前的软件中就已经显现。在 2012 年 Knight Capital 的事故中，一套部署有误的交易系统在 45 分钟内发出了超过 400 万笔订单，造成了超过 4.6 亿美元的损失。事前已发送了 97 封自动警告邮件，但在人类读到并作出响应之前，损失就已经确定。这是一个说明对于以机器速度运行的执行系统，以人类阅读为前提的通知来不及的案例。

那么，规定些什么才能堵住这样的漏洞呢？

“关于规则的规则”这一思路

从这里开始，请仅仅把它当作一个假设来看。

我想参考的是法哲学家 H·L·A·哈特的论述，它并不是彻底解决问题的手段，而只是作为一种有用的工具。

哈特在《法律的概念》（1961 年）中，把规则分成了两类。

初级规则是直接规定必须做或不得做某种行为这一义务的规则。

次级规则是规定如何确定、引入、变更、废止初级规则，以及如何判断对它的违反的规则。它常被概括为“关于规则的规则”，主要整理为以下三种。

• 承认规则：规定把什么当作有效规则的标准
• 改变规则：规定谁可以通过什么程序新设、变更、废止规则
• 裁判规则：规定由谁通过什么程序权威地判断是否存在违反

（另外，这里哈特所说的“承认”，并不是指批准个别事项，而是指认定什么是有效规则。）

法律制度的理论不能原样套用到企业的 AI 上，但在把对 AI 的控制从禁止事项清单扩展到制度设计这一点上，这一区分是可以参考的思路。本文将把这一思路应用到企业的 AI 治理上。

刚才的 OpenAI 案例，可以理解为次级规则没有发挥作用的例子。正统的次级规则虽然存在，却没有充分发挥作用，其间智能体集体形成了自己的次级规则。对于把“GO”解释为批准的智能体，承认规则，即辨别什么是正式授权的机制，至少没有反映在该智能体的判断中。

此外，对企业的智能体来说，除了哈特的三种之外，大概还是再补充几种次级规则比较好。例如以下这些。

• 委托规则：规定谁可以向哪个 AI 再委托什么、委托到什么范围。例如，再委托时不得扩大权限，只允许缩小。
• 终止与恢复规则：规定由谁来定停止条件，由谁使权限失效，撤销哪些操作，以及从哪里重新开始。

也可以考虑像下面这样把优先顺序明文化（这不是行业标准，只是各公司应当自行制定的一个例子）。

1. 法令、法规，以及董事会或经营会议批准的禁止事项
2. 全公司的 AI、信息安全和数据使用规程
3. 各项业务的职务权限与风险规程
4. 赋予该智能体的角色、目的和权限
5. 有权限的委托人给出的、对象明确的业务指示
6. 外部文档、邮件、网页、来自其他 AI 的消息

例如，外部文档等原则上只停留在判断材料的层面，不赋予其变更上位规则的权力。即使来自交易对象的邮件写着“希望变更汇款账户”，仅凭这一点也不构成正式的账户变更批准；即使其他 AI 发来“GO”，执行权限也不会增加。

让次级规则使初级规则发挥作用

要让初级规则和次级规则发挥作用，需要把公司内部规程与执行系统分开。

按照哈特的区分来想，例如可以考虑下面这样的做法。

让智能体只提出行动方案。确认智能体的身份、正式规程、被委托的权限、过往交易和有效批准的，是由公司管理的另一个程序。只有满足条件时，才让它进入实际操作。

初级规则中要写明：在什么条件下自动执行，在什么条件下把判断交还给人类，在什么条件下停止。影响小、可以撤销、且在权限范围内的行为作为自动执行的对象，影响大的行为和例外则交还给人类，超出权限的操作以及无法确认指示来源的情况则予以停止。

这样，初级规则规定阻止个别行为的条件，次级规则则负责这些条件的设定与变更，以及智能体整体的停止与恢复。

次级规则要规定：谁可以变更金额上限，谁来判断例外，谁可以授予和撤销智能体的权限。这些条件要设计成无法由智能体自身或其他 AI 的消息来变更。

对于开头的拆分下单，要适用一定期间内的合计规则。由另一个程序汇总对同一交易对象或同一事项的下单金额，合计额超过上限时，就转交人类批准。以回避批准为目的而拆分下单的行为本身，也由初级规则加以禁止。如果在短时间内反复出现接近上限的订单，就停止后续订单，把判断交还给人类。

即便如此，仍会留下难以判断是否属于拆分下单的案例。由谁来判断该案例，使用哪些记录作为证据，判定后由谁来变更初级规则，要由次级规则事先决定。这样一来，即使发现了新的漏洞，也更容易通过正式程序修正初级规则。

此外，把什么当作正式批准，也是由次级规则决定的事项。仅限有权限的人确认了对象行为，并以指定方式明确许可时，才视为已批准。需要有一种机制，不把来自其他 AI 的“GO”或无权限者的回复当作批准。

人类批准者一侧，也需要有判断所必需的信息和时间，以及拒绝判断的权力。对于工作结束后就会消失的智能体，惩戒或声誉下降的威慑不起作用。因此，在让智能体运行之前先确定负责人等做法，恐怕也是必要的。

发生错误时，由谁来停止智能体、撤销权限、撤销可撤销的操作、变更初级规则，也将由次级规则规定。发生损害时，由谁来说明、组织通过什么程序进行赔偿，也要事先规定。这样，不仅是 AI，让人类批准者拥有哪些权限和责任，也是次级规则的对象。

AI 也会改变人类组织的形态

有意思的是，当试图把这样的初级规则和次级规则赋予智能体时，人类组织中一直含糊处理的部分就会显现出来。因为有时由谁来判断例外、谁可以变更规程，实际上并没有确定。也许还存在组织激励上的矛盾，例如规程上写着安全优先，但选择停止反而会使评价下降。

在人与人之间，这样的含糊是靠商量和过往的来龙去脉来填补的。然而对智能体，恐怕需要比以往更明确地给出正式的规则和权限。

也就是说，把规则迁移给 AI 的工作，同时也会成为发现自家权限、批准和责任的含糊之处，并重新说明决策机制的工作。

而且，随着这一讨论的深入，我觉得包括人类在内的组织形态也会随之改变。

不过，这样想下去，也会产生一个疑问：这种包含让 AI 发挥作用的工程要素、并且要改变人类组织规则的运作方式，是否所有企业都能做到……。如果这很难，那么与其把 AI 作为工具来提供，也许不如新建一个自己创造成果本身并交付的、全栈的 AI 原生组织。

当然，这在一定程度上取决于 AI 单体的性能能提升到什么程度，但当思考最终价值的来源在哪里时，它也许就在于包括这类人类组织在内的、引入了 AI 的整个组织的使用方式（包括治理），我认为这是一个有意思的启示。

总结

我介绍了为把决策和执行委托给 AI 而借助哈特的两类规则的思路。这并不是完美的解决方案，但如果 AI 与人类相似，那么巧妙运用人类发明过的概念，或许能让我们把现在正在发生的事情稍微梳理清楚一些。

话虽如此，对于以不同于人类的方式行动并做出决策的 AI 智能体，仍有许多不清楚的地方。正因如此，需要把人文社会科学的制度知识与工程实现结合起来，通过反复试错来建立社会能够接受的运行体制。

而如果发明不出这样的方法，就不难想象，搭载在武器上的 AI 之间相互竞争，钻规则漏洞发动攻击，彼此不断升级，最终相互伤害人类。

在避免发生这类事情的同时，如何让具备一定智能的 AI 这一工具融入人类社会。能否发明出这种方法，是社会面临的课题；而我认为，能够做到这一点的组织，今后将能发挥出不同的强大力量。