博客

AI 安全2026 年 10 月 6 日阅读 2 分钟

模型负责阅读,人负责决定。

问题不在于 AI 能做什么,而在于它出错时会发生什么。答案就在于工作如何分工。

Ivan索非亚

企业主最常问我们的问题不是“AI 能做什么?”他们看过的演示已经足够多,知道它能做很多事。他们问的是:“它出错了会怎样?”

这是个好问题。每个模型都会犯错。它会在模糊的扫描件上把 3 读成 8,会把名字相近的两个买家搞混,会在不该自信的时候很自信。真正的问题不是会不会出错,而是错误最终可能落到哪里。

三项工作,三个负责人

我们的答案是把工作分成三部分,每部分交给最擅长的一方:

  1. 模型负责阅读和提出建议。它把一封意大利语邮件变成订单,把一条语音消息变成一笔交易,把一份扫描的证书变成字段。这是工作中杂乱的部分,模型非常擅长。
  2. 代码负责计算数字。利润、仓储成本、发票总额、交货周。简单的代码,每次都给出相同的答案。没有模型去猜价格。
  3. 人负责决定。有人点击后,订单才算数。有人批准后,提醒才会发出。而且每一次点击都可以撤销。

这对错误意味着什么

当模型读错一个词时,最坏的结果是一份错误的草稿。有人看到、改正,然后继续工作。它永远不会变成一张错误的发票,因为发票由代码计算、由人开具。

软件不确定时不会乱猜,而是保持原状并提出询问。这听起来更慢。实际上更快,因为没有人需要花一个下午去收拾 AI 自作主张留下的烂摊子。

为什么这对信任很重要

多年来,我一直在观察团队如何采用新工具。规律总是一样的:人们会使用自己能核查的东西。

如果团队能看到 AI 读了什么、建议了什么,几周之内他们就会开始依赖它。他们发现一个错误,看到它很容易被发现,于是就多信任它一点。如果 AI 在看不见的地方行动,他们永远不会信任它。一次意外就够了。

这就是为什么我们会展示工作过程:读了什么、来自哪里、建议了什么、谁点了同意。

AI 先行动的地方

我们尽量坦诚地说明例外情况。在 MeatBorsa 交易平台上,通过邮件收到的报价会被发布,聊天消息会被翻译,这些都发生在人查看之前。我们直接说明,因为您应该从我们这里听到。 进一步了解我们如何确保 AI 安全.

作者:IvanMakeBetter · 索非亚

让我们一起做得更好。

告诉我们您公司每天的时间都花在哪里。三十分钟内,我们会告诉您我们会先改变什么。

[email protected] 索非亚 · 萨格勒布 · 柏林 · 伦敦 · 华沙 · 大阪