9000AI技术团队：当AI开始替人行动，责任应该由谁承担？

从超级智能中台、关键结果节点到可信自治，责任必须成为技术架构的一部分

当AI开始替人行动，责任应该由谁承担？

过去，人们使用AI，主要担心它给出一个错误答案。

答案错误，通常还停留在屏幕上。

用户可以阅读、判断、修改，也可以直接放弃。

智能体正在改变这种关系。

AI开始调用工具、操作软件、发送邮件、修改代码、更新数据库、生成并发布信息、安排任务，甚至在一定权限内持续执行多步骤流程。

这些动作来自企业或个人授予系统的账户、工具和流程权限。AI能力扩大，不会自动生成一个新的责任主体资格。

错误却可能随着系统权限进入现实。

一段错误答案可能只会误导一个读者。

一个被授予系统权限的智能体，可能把错误写入业务系统，发送给大量客户，触发错误交易，删除重要数据，影响员工、合作伙伴和公众。

斯坦福大学《2026 AI Index Report》负责任AI章节引用AI Incident Database的数据称，2025年被记录的AI事件达到362起，高于2024年的233起。这个数字只反映数据库记录到的事件，无法代表现实中的全部发生率，却足以提示AI应用扩大以后，风险治理需要跟上部署速度。

9000AI技术团队提出一个核心判断：

“AI越能替人行动，人越不能把责任一起交给AI。”

智能可以被调用。

动作可以被自动执行。

最终责任仍然需要被清楚地放回组织、合同和制度中。

一、从生成答案到执行行动，是AI真正的责任分水岭

聊天模型与智能体之间的重要差异，不只体现为能力高低。

更重要的变化，是AI能否把输出转化为外部动作。

一个系统只提供建议时，人通常还处在决定与执行之间。

一个系统获得工具、账户和流程权限以后，它可能直接跨过这段距离。

这会带来三种变化。

第一，错误传播得更快。

AI可以在很短时间内重复同一个错误，并把错误带入多个系统和对象。

第二，后果范围更广。

错误不再局限于内容质量，还可能影响财产、隐私、就业、信贷、医疗、安全、公共信息和社会关系。

第三，责任链更长。

一次智能体行动，可能同时涉及模型提供者、应用开发者、系统集成者、部署企业、任务授权者、操作人员、数据来源和外部工具。

参与者增加以后，责任容易变得模糊。

模型提供者可能认为具体场景由部署企业决定；部署企业可能认为错误来自模型；操作人员可能认为自己只是执行流程；管理者可能认为系统已经通过技术部门审核。

每个人都参与了系统运行，真正受到影响的人却可能找不到一个能够解释、停止、纠正和赔偿的主体。

基于这一变化，技术团队认为：

“自动化可以替代动作，却不能自动取消授权者与经营主体的责任。”

二、责任必须先被拆开，才能被重新组织

讨论AI责任时，人们经常把几个不同概念混在一起。

第一个概念是因果责任。

谁的设计、数据、指令、授权、操作或疏忽，实际影响了结果。

第二个概念是岗位与管理责任。

谁在组织内负责制定目标、批准部署、配置权限、监督运行和处理事故。

第三个概念是可问责性。

谁必须解释系统为什么这样运行，提供必要记录，接受审查，采取纠正措施，并防止同类问题再次发生。

第四个概念是法律责任。

谁需要依据适用法律、合同和具体事实承担赔偿、行政、劳动、产品或其他法律后果。

四者可能重合，也可能分别落在不同主体上。

当前企业治理不能把AI系统视为责任链的终点。现实中的责任仍需通过开发、提供、集成、部署、授权、使用和监督系统的人与组织处理。

具体法律责任需要结合司法辖区、行业、合同、控制能力和案件事实，由有权主体依法判断。

OECD人工智能原则中的问责原则强调，开发、部署或运行AI系统的组织与个人，应根据各自角色、情境和行动能力，对系统的适当运行承担问责，并通过可追溯记录和持续风险管理支持审查。

这为企业提供了一个重要思路：

责任不适合被无限集中到一个岗位，也不能被切碎到无人承担。

责任应当按照角色和控制能力分配，同时为受影响者保留清晰入口。

配置责任时，还需要观察谁设计系统、谁掌握重要信息、谁作出授权、谁能够停止行动、谁从系统运行中获益。合同可以划分各方义务，却不能把受影响者的申诉与纠正入口切割到无人承担。

一个人受到AI决策或行动影响时，他需要知道：

• 系统由谁部署；

• 行动依据什么规则；

• 哪些数据和权限被使用；

• 谁能停止和纠正系统；

• 应该向谁提出异议；

• 损害发生以后由谁组织调查与救济。

技术链可以复杂，责任入口必须清晰。

三、企业必须保留五项不可外包的责任

模型、软件和智能体可以由外部提供，企业仍然需要保留五项核心责任。

技术团队将其归纳为一条完整责任链：

“定义目标—授权行动—验证结果—接管异常—纠正后果。”

第一，目标定义责任

AI可以帮助分析路径，企业必须决定系统服务什么目标。

一个目标看似合理，也可能忽略客户权益、员工影响、长期风险和公共后果。

“提高转化率”“减少人工成本”“加快审批”都只是局部目标。

企业还需要回答哪些边界不能突破，哪些群体可能受影响，什么结果即使有效率也不能接受。

目标错误时，执行越精准，后果可能越严重。

第二，授权与权限责任

智能体能够做什么，取决于它拥有什么身份、账户、数据和工具权限。

企业需要遵循最小必要原则，让系统只获得完成当前任务所需的权限，并限定对象、金额、时间、数据范围和可执行动作。

授权者必须理解自己开放了什么能力。

把管理员账户交给智能体，再在事故发生后声称系统自行行动，无法构成完整的治理逻辑。

第三，验证与持续监测责任

部署前测试只能证明系统在部分条件下表现如何。

真实环境会不断变化，模型、工具、数据、流程和用户行为也会变化。

企业需要持续进行测试、评估、验证与监测，观察准确性、偏差、安全、权限越界、异常频率和业务后果。

第三方模型、工具、插件、数据源和接口发生版本变化时，原有验证结论也可能失效。供应链变化需要触发重新评估，不能默认一次测试永久有效。

美国国家标准与技术研究院AI风险管理框架是一套自愿使用的风险管理框架，强调在AI设计、开发、部署、使用和评估过程中持续考虑有效性、安全、韧性、透明、隐私和公平等可信特征。

截至2026年7月，NIST官方页面同时说明AI RMF 1.0正在修订。该框架不能替代法律要求，却说明AI治理是一项需要持续更新的全生命周期工作。

第四，异常升级与人工接管责任

智能体需要知道哪些情况超出权限，哪些结果低于置信阈值，哪些冲突必须停止，哪些任务需要交给人。

企业也需要明确谁接管、多久响应、拥有何种权限，以及系统在等待接管期间保持什么状态。

没有升级通道的智能体，会把“不知道”变成继续行动。

尚未造成实际损害的异常和“近失事件”也要进入记录与复盘。它们是系统边界已经出现裂缝的早期信号。

第五，纠正、救济与复盘责任

系统造成错误以后，删除日志、归咎模型或简单重新生成一次，都不能完成责任闭环。

企业需要停止影响、保护证据、通知相关方、纠正数据和业务结果、提供申诉与救济，并把事故原因转化为权限、流程、模型和治理改进。

完整的救济链应当根据场景提供身份告知、必要解释、异议入口、人工复核、结果纠正、记录保存，以及依法适用的补偿或其他救济。

AI犯错已经危险，组织借AI逃避责任更加危险。

四、自治程度应该由风险决定

AI治理容易走向两个极端。

一个极端是把所有任务都交给智能体，以效率为最高目标。

另一个极端是要求每一个动作都由人逐项审批，让自动化失去实际价值。

有效治理需要风险分级。

风险分级之前，还要进行必要性判断。

企业需要先回答：这个场景是否适合使用AI，AI是否带来不可替代的价值，是否存在伤害更小的实现方式。某些用途即使能够增加人工监督，也可能因为目的、权利影响或潜在后果而不适合部署。

风险可以从六个方面判断：

• 后果有多严重；

• 行动是否容易逆转；

• 结果是否容易验证；

• 影响对象和范围有多大；

• 系统是否接触敏感数据、资金与关键基础设施；

• 受影响者是否有能力知情、拒绝、申诉和获得救济。

低后果、可逆、易验证的任务，可以给予智能体更大的自治空间。

例如整理公开资料、生成内部草稿、对格式进行检查、在隔离环境中测试代码。

涉及生命健康、重大财产、员工权益、信贷资格、身份权利和公共安全的任务，需要更严格的测试、审批、监督、日志和人工控制。

公共信息场景则需要结合传播范围、身份冒用、事实影响、对象脆弱性和潜在损害具体判断。普通信息整理与大规模影响公众决策的自动发布，风险等级不能被简单视为相同。

欧盟《人工智能法案》采用风险分级思路。欧盟委员会AI Act官方说明列出的高风险系统要求包括风险评估、数据质量、活动日志、技术文档、人类监督、准确性、网络安全和稳健性等。

这些规则适用于欧盟法律框架，不能直接替代其他国家的监管要求。

它表达的治理原则具有普遍启发：自治程度应当与潜在后果相匹配。

技术团队据此提出：

“可信自治的上限，取决于后果是否合法、可接受、可逆、可修复，以及组织能否承担责任。”

模型能够执行一项任务，只能说明技术可行。

组织是否应该授权，还要判断错误能否发现、后果能否控制、责任能否承担、损害能否修复。

五、设置人工审批，不代表拥有有效人工控制

很多企业解决AI风险的第一反应，是在流程中增加一个“人工确认”按钮。

按钮存在，不代表控制真实存在。

一个人如果看不到系统使用了什么数据，不理解模型为什么提出这个行动，没有足够时间审查，也没有权限拒绝或停止，他只是流程中的签字节点。

甚至可能出现一种新的责任转移：

系统在几秒钟内生成大量复杂决策，人类被要求在极短时间内逐项确认。事后组织用“已经人工审核”证明流程合规，却没有给审核者提供真正判断所需的条件。

技术团队把有效人工控制概括为五个要求：

“看得见、看得懂、来得及、有权限、停得下。”

看得见，意味着能够获得必要输入、系统动作、证据来源和风险提示。

看得懂，意味着审核者拥有理解任务、模型限制和潜在后果的专业能力。

来得及，意味着流程为判断保留真实时间。

有权限，意味着审核者可以拒绝、修改、升级和要求补充证据。

停得下，意味着他可以暂停系统、撤销权限、阻断后续动作并启动恢复。

有效控制还需要独立性。监督者必须能够在没有不当绩效压力和利益冲突的情况下提出异议，组织也不能惩罚合理停止高风险流程的人。

有效人工控制还需要避免自动化偏见。

当系统长期表现良好，人会逐渐降低警惕，把审核变成机械通过。越是高频、复杂和时间紧张的流程，越需要抽样复核、反例测试、轮换检查和独立审计。

人的存在不能只提供责任签名。

他必须拥有真实控制能力。

六、可信自治是一套可验证的工程结构

“自治”经常被理解为系统不需要人。

这种理解会把效率目标带入治理误区。

9000AI技术团队对可信自治的定义是：智能体在明确目标、权限和风险边界内自主执行，运行过程可观察，关键结果可验证，异常能够升级，系统能够暂停、接管和恢复。

可信自治至少需要九个工程要素：

第一，身份。每个智能体、用户和外部工具都需要可识别身份。

第二，目标。任务目标、成功条件和禁止事项必须明确。

第三，权限。数据、工具、金额、对象、时间和动作范围需要最小化配置。

第四，证据。关键输出需要保留来源、依据、版本和验证结果。

第五，评估。系统上线前和运行中都需要针对真实场景持续测试。

第六，监测。组织需要观察异常、漂移、越界、失败和累积影响。

第七，升级。超出边界、低置信度和重大冲突必须进入人工或更高责任节点。

第八，恢复。错误行动需要尽可能可撤销，系统需要具备暂停、回滚和业务连续性方案。

第九，记录。关键决策、权限变更、系统动作和人工接管需要可追溯。

这些机制还要覆盖第三方供应链。模型、数据、工具和接口的版本、来源与变更需要进入记录，关键依赖发生变化时应重新测试和授权。

OECD关于稳健、安全与可靠AI的原则也强调可追溯性和贯穿AI生命周期的风险管理，并指出不同使用场景需要不同程度的预防与缓解。

技术团队将可信自治概括为：

“清晰边界、持续验证、异常接管、事后可追溯。”

自治提高的是系统在边界内的执行效率。

可信保证的是边界、证据、接管与责任没有同时消失。

七、AI时代的组织，需要一条责任中枢

智能体越多，组织越不能只画工作流程图。

它还需要画出责任图。

每一个关键流程都要回答：

• 谁定义目标；

• 谁批准部署；

• 谁配置权限；

• 谁验证结果；

• 谁监测运行；

• 谁接管异常；

• 谁处理申诉；

• 谁决定恢复；

• 谁对最终结果负责。

这些角色可以由不同团队和主体承担，但不能全部留给系统自己。

模型提供者需要处理模型层能力、安全信息和适用边界。

开发者与集成者需要处理场景设计、工具连接、测试和技术控制。

部署企业需要处理业务目标、权限、人员、数据、持续监测和客户责任。

任务授权者需要理解所授权的动作及其后果。

监督者需要拥有信息、能力、时间和停止权。

经营管理者需要决定组织愿意承担多大风险，并为资源和治理投入负责。

受影响者需要获得必要告知、异议入口和纠正机制。

无论内部责任怎样分层，受影响者都应能够找到一个明确主体，启动解释、复核、纠正和依法适用的救济。组织不能要求普通用户自行穿越模型商、集成商、业务部门和外部供应商组成的复杂链条。

具体责任如何分配，要结合适用法律、合同与控制能力判断。

组织层面仍然需要一个最终责任中枢，确保跨部门问题不会在模型、技术、业务、法务和供应商之间不断转移。

“智能体可以分担执行，责任中枢必须确保每一个重大结果都有明确承担者。”

八、9000AI技术生态如何把责任写进系统架构

9000AI的公司级核心定位，是AI+流量技术生态；联合市场部是这套技术生态进入经营主体后的市场组织形态。

当智能体进入真实经营场景，技术生态必须同时处理执行能力和责任边界。

在9000AI技术团队的架构判断中，执行链与责任链需要同时建立。

一个关键结果节点不能只有任务名称和模型调用。它还需要明确输入来自哪里、允许调用什么能力、结果由什么标准验证、异常进入哪个责任节点，以及最终由谁确认和承担。

超级智能中台负责组织上下文、工具和智能能力。

它为智能体提供运行所需的环境与能力，但不会替经营主体决定所有目标，也不会成为最终责任的承接者。

关键结果节点把复杂目标拆解为可以执行、验证和追踪的结果单元。

节点的价值在于让每一次执行拥有清晰边界，让结果、证据、异常和责任可以在同一条链路中被识别。

可信自治规定智能体在什么权限和证据条件下行动，何时升级，如何暂停、接管和恢复。

它是智能体进入真实经营环境的运行条件。缺少权限、验证、接管和追溯的自治，只能扩大执行速度，无法形成可信执行。

合伙责任中枢承担长期方向、重大取舍和最终经营责任。

它处理智能体和专业节点无法独立决定的问题，包括方向冲突、重大风险、长期承诺、资源取舍与经营后果。

四者共同构成一套基本逻辑：

能力可以分布，执行可以协同，责任必须有中心。

这套关系可以进一步概括为：

“超级智能中台组织能力，关键结果节点承载执行，可信自治控制边界，合伙责任中枢承担方向与后果。”

在联合市场部场景中，这一点同样重要。

AI可能参与品牌表达、市场分析、客户沟通、信息发布、渠道协同和反馈处理。

这些动作会影响企业声誉、客户判断、合同关系、个人信息和公共认知。

因此，市场智能体也需要身份披露、事实验证、内容来源、客户授权、数据边界、发布权限和异常升级机制。

欧盟委员会2026年7月发布的AI透明度义务指南说明，欧盟《人工智能法案》相关透明度义务将于2026年8月2日起适用，并对特定AI交互与生成内容提出告知和标识要求。

这是欧盟法律要求，不代表全球规则完全一致，却说明AI身份与内容来源正在从伦理倡议进入更具体的制度安排。

9000AI通过权限控制、运行监测、人工接管和异常恢复机制降低系统风险；具体法律责任需要结合实际业务、合同关系和案件事实依法判断。

可信自治是9000AI的建设原则与治理方向，其有效性必须通过持续测试、权限管理、事件响应、客户实践和适用法律检验。

结语：行动可以自动化，责任不能无人化

AI开始替人行动以后，企业获得了新的生产力，也获得了新的责任。

智能体可以持续运行，组织必须知道它正在做什么。

智能体可以调用更多工具，组织必须限制它能够触碰什么。

智能体可以更快完成任务，组织必须判断这个任务是否应该完成。

智能体可以在复杂系统中协同，组织必须保证异常能够被发现、停止和修复。

“AI越能替人行动，人越不能把责任一起交给AI。”

“有效人工控制，需要看得见、看得懂、来得及、有权限、停得下。”

AI时代最成熟的企业，不会用人工审核阻止所有自动化，也不会用技术先进掩盖责任空白。

它会让智能体在清晰边界内获得足够行动空间，让人类在关键节点拥有真实控制权，让每一次重大行动留下证据，让每一个受影响者能够找到申诉与救济入口。

技术可以帮助企业扩大行动能力。

治理决定这种能力是否值得信任。

责任决定一家企业能否长期拥有这种能力。

行动可以自动化。

责任不能无人化。

“真正可信的自治，体现在每一次重大行动都能找到授权者、责任人、停止机制和纠正路径。”