深度洞察:九成企业渴望AI决策可追溯,但实践之路道阻且长

一项最新行业报告揭示,尽管九成亚太企业渴望AI决策可追溯至人类责任方,但其在构建相应证明能力方面仍显不足。能够重构并验证AI决策的企业,将在未来市场竞争中占据关键优势。

深度洞察:九成企业渴望AI决策可追溯,但实践之路道阻且长

人工智能已超越了辅助角色,如今它正在处理资金、批准交易,并在几乎没有人为干预的情况下执行多步骤任务。这些智能体在企业运营中,其行为更像是直接的参与者。

当一个人做出决策时,责任归属是显而易见的。然而,当一个AI智能体每天代表您的组织做出数千次决策时,您的企业需要回答三个核心问题:

AI做了什么?为何如此行动?谁应为此结果负责?

当前,尤其对于在部署AI时最终需向监管机构负责的合规、风险和欺诈管理负责人而言,亚太地区AI治理的核心问题已转变为AI代表他们做了什么,以及他们能否提供确凿的证明。

将每一项行动追溯到人类责任方的本能已成为行业共识。一项最新行业基准报告指出,高达98.6%的企业表示,他们非常或比较可能采用能够将AI行为追溯到具体人类责任身份的软件。

然而,渴望这种可追溯性,与真正具备实现它的能力,是截然不同的两码事。

该报告还深入衡量了亚太地区企业在这方面的真实准备程度。一项定量调查涵盖了九个亚太市场和四个行业的720位高级专业人士,涉及技术、产品、风险、合规和运营等领域。

调查根据自主性(Autonomy)、责任性(Responsibility)和可追溯性(Traceability)三大支柱对每个组织进行了0到100分的评分,得分越高表示治理水平越先进。

报告显示,当AI代表企业行动时,企业最担心的是不准确和不可靠的决策,这一担忧位列榜首,占比高达52%。

紧随其后的是监管和合规风险(44%)、数据质量或输入问题(43%),以及透明度不足(33%)。

这四大主要担忧背后隐藏着一个共同的深层恐惧:AI可能产生一个目前任何人都无法信任或辩护的结果。

换言之,企业担心的是无法被发现的故障。这类AI决策初看并无问题,但只有当监管机构等第三方介入调查时,其潜在问题才会浮出水面。

具有讽刺意味的是,尽管企业已准确识别出他们的担忧,但在防范这些特定风险方面,建设力度却相对不足。

行业研究结果表明,在所有受调查的市场和行业中,可追溯性指标均落后于自主性和责任性。自主性和责任性两项指标均接近70分,而可追溯性却降至61.0分。

这种现象被称为“责任不对称”:即企业对其AI决策的掌控程度,与他们能够有效证明这些决策实际内容的差距。

这个差距似乎完全在于“证明”的能力。虽然95%的受访者有信心解释AI决策,但只有50%的人能够重现导致该决策的完整路径。更甚的是,仅有38%的企业拥有防篡改的审计追踪记录。

一位业内资深工程经理指出:“AI在没有可追溯记录的情况下采取的每一项行动,都是一项被延期而非避免的成本。可解释性让您能够在账单到期前预见到其内容。”

真正的挑战在于,当监管机构、股东或客户深入调查时,这些AI决策是否经得起推敲。

在受调查的四个行业中,金融服务业在可追溯性和责任性方面表现最佳,评分分别为63.3和72.4。金融服务公司也取得了最高的整体治理分数,达到69.6。

金融机构也是行动最迅速的。72%的金融企业已将多步骤AI系统投入生产环境,在真正的自主性方面比其他行业走得更远。

在一个监管标准严格、选择余地小的行业中,当AI代表企业行动时,监管或合规风险(54%)被视为最大的风险。

至关重要的是,如果自动化系统触发了意外支付,缺乏不可篡改的审计追踪记录将直接导致严重的法律责任。正因如此,该行业也相应地加强了建设:68%的金融机构保留了AI决策的审计追踪记录,领先于IT行业(59%)、出行行业(55%)和电商行业(50%)。

这种严谨的纪律也延伸到了AI的优势利用上。某领先金融机构的数字数据与AI采纳负责人阐述道:

“大型语言模型的核心价值之一是其知识机构化的能力。例如,一家银行可能处理数百份信用备忘录,但任何个人通常只能接触到其中一小部分。通过捕捉这种集体专业知识,新入职的员工可以从银行积累的最佳实践开始,而不是从零开始。”

本报告中的所有发现都指向一个结论:那些能够证明其AI自主系统实际做了什么的企业,将在竞争中脱颖而出。

“谨慎而非缺乏战略意图,决定了企业如何扩展AI智能体。建立强大的追踪架构和防护措施,是安全大规模部署高风险AI的关键前提。”

这种可重构、可验证的证明能力,将成为前瞻性企业的决定性因素。

企业领导者应在AI部署前明确每个AI驱动结果的责任归属,并将可追溯性作为发布的核心要求。这背后的逻辑清晰可见:一个无法重构的智能体,最终是你无法估价的负债。

合规和风险团队应将可追溯性视为一项审计要求。这里的基准在于,审核人员能否独立重构AI决策,而无需事后依赖模型进行解释。

对于监管机构和政策制定者而言,核心问题在于证据。至于意图,它已经存在。奖励可证明的可追溯性、可重构决策和防篡改记录的标准,将比要求书面政策的规则更快地推动市场发展。

对于市场上的其他企业而言,经过验证的责任能力正转变为一种竞争优势。随着智能体大规模行动和交易,那些能够展示哪个智能体在谁的授权下行动的企业,将成为其他企业真正愿意与之交易的对象。

能够满足监管机构的相同证明,也兼具商业信号的作用:当您的智能体拥有可验证的身份和完美的记录时,交易对手方将更愿意允许您的智能体进入其系统。

建立一个集验证、监控和治理于一体的信任基础设施,是确保每次数字交互都充满信任和透明度的关键。

亚太地区在这方面究竟准备得如何?完整的细节分析,请查阅相关行业深度报告。

返回 | FIRST CLASS VIP Lounge 专属情报频道