文档导航

置信度

TypeSafe 如何报告确定性、它与概率有何区别,以及如何用它控制系统的行为。

TypeSafe 返回的每个 score(评分)和 choice(选择)答案都带一个 probabilities 属性,表示各选项(choice)或各档位(score)上的概率分布。这个分布的形状说明了模型有多确定:集中在一个结果上,就是有把握的答案;铺得很开,就是没把握的答案。

答案的 confidence 属性把那个形状压缩成 0 到 1 之间的一个数,让你直接拿它做阈值判断,不用自己算。当所有概率都落在一个结果上时,它等于 1;当概率均匀铺开时,它等于 0。(noul 答案不带这个属性;见下文 Noul。)

置信度由概率分布推导而来

confidence 是一个统计量,由答案已经给出的概率分布算出。TypeSafe 替你算好,并在每个 choice 和 score 答案上返回,所以常见场景你这边不用额外做任何事。

示例:三个选项的 choice 问题

看概率分布如何改变置信度

置信度

0.85

拖动滑块改变某个选项的概率。其它概率会自动调整,使总和保持 100%。

选中:选项 A

这个演示怎么算置信度

TypeSafe 根据概率在各选项上的铺开程度来计算置信度。全部集中在一个选项上就是 1.0;铺得越均匀,置信度越低。这个演示用 (3 × 最大概率 − 1) / 2 来近似三个选项下的置信度。

对 Choice 来说,分布就是各选项上的 probabilities。对 Score 来说,就是各档位上的分布。两种情况里,分布越平就意味着置信度越低:Choice 上置信度低,通常说明没有一个选项明显胜过其它选项;Score 上置信度低,通常说明档位含义模糊、涉及多个维度,或者状态里给的信息不够。

每种问题类型的精确公式都在置信度如何计算一节,你可以看到任何 confidence 值是如何从答案自身的 probabilities 推导出来的。

「我不知道」是个有用的信号

一个智能系统,不管是人还是机器,如果不能诚实地表达不确定,就不值得信任。

置信度给模型提供了一个内置机制,让它能说「这个我没把握」。这样你的代码就能针对不同的确定程度采取不同的行为 —— 这是构建真正可靠系统的基础。

在代码里使用置信度的三条路径

一个有用的起步模式,是把置信度划成三段,每段触发不同的系统行为:

高置信度: 直接行动。模型判断明确,你可以不用人工介入就继续。

中等置信度: 谨慎推进。模型的答案合理,但并不确定。视上下文而定,你可以让用户确认、标记待复核,或者先收集更多信息再行动。

低置信度: 不要行动。路由给人工、请求澄清,或者回退到别的系统。模型是在告诉你:信息不够,或者这个问题不适合它。

这些边界画在哪里,取决于风险有多大。

阈值随风险变化

置信度阈值不是一个数。同一个系统里的不同动作,应该根据出错的后果,按不同水平来设闸。

response = client.system_one(
    state=user_message,
    questions={
        "action": Choice(
            instructions="What is the user trying to do?",
            criteria={
                "check_balance": "View account balance",
                "approve_transfer": "Approve the pending withdrawal request",
                "support": "Get help with an issue",
            },
        ),
    },
)

action = response.answers["action"]
confidence = action.confidence

if confidence < 0.5:
    # Model is genuinely unsure. Don't guess.
    route_to_human(user_message)

elif action.choice == "check_balance":
    # Low stakes. Showing the wrong screen is recoverable.
    show_balance(account_id)

elif action.choice == "approve_transfer":
    if confidence > 0.9:
        # High stakes, high confidence. Proceed with confirmation.
        confirm_then_execute(account_id)
    else:
        # High stakes, moderate confidence. Verify first.
        ask_user_to_confirm(account_id)

0.5 这个置信度下限,能兜住模型确实没把握的一切。在这之上,无需确认即可行动的阈值,对破坏性操作要比只读操作更高。风险容忍度就写在你的代码里。

置信度如何计算

每种问题类型概括自身分布的方式略有不同。noul 只有两个结果,choice 的选项个数不限、也没有先后顺序,而 score 的各档位是有序的,所以下面每个公式都建立在前一个之上。

TypeSafe 的 confidence 是一种合理的概括分布的方式,但不是唯一的一种。我们返回一个固定的度量,让每个答案都带一个稳妥的默认值:你从第一次调用起就能拿 confidence 做闸控,所有问题都在同一个 0 到 1 的尺度上,不必先去挑选并验证属于自己的统计量。因为下面的公式是精确的,而且每个答案都带着完整的 probabilities,你完全可以改算对你应用最重要的那种度量。

Noul

noul 答案就是一个表示「答案为是」的概率 $p$,TypeSafe 不为它单独返回 confidence。这个概率本身已经承载了不确定性:接近 0.5 的值,就是模型在说自己拿不准,Noul 页面讲了如何直接对它做阈值判断。

如果你还是想要一个置信度式的数字,比如想用同一段代码同时闸控 noul 和 choice,就用它到 0.5 的距离:

$$ \text{confidence} = |2p - 1| $$

这样一来 $p = 0.5$ 时得 0,$p = 0$ 或 $p = 1$ 时得 1。它也是下面 choice 公式用在是/否型 choice 上的结果,所以和 choice 置信度处在同一尺度上。

Choice

choice 把同样的思路推广到任意多个选项。对于一个有 $n$ 个选项的 choice,其中 $p_{\max}$ 是被选中选项的概率:

$$ \text{confidence} = \frac{p_{\max} - \frac{1}{n}}{1 - \frac{1}{n}} $$

它衡量最高概率比每个选项均分时的 $\frac{1}{n}$ 高出多少,在这个尺度上均分取 0、完全确定取 1。只有最高概率参与计算,所以 $(0.6, 0.3, 0.1)$ 和 $(0.6, 0.2, 0.2)$ 的置信度都是 0.4。

def choice_confidence(probabilities: list[float]) -> float:
    n = len(probabilities)
    return (max(probabilities) - 1 / n) / (1 - 1 / n)

choice_confidence(list(answer.probabilities.values()))

本页顶部的探究器用的就是这个公式,配三个选项。

另有两个更简单的度量,同样由 probabilities 算出,实践中往往很有效,值得和 confidence 一起试试:

  • 最高概率,$p_{\max}$。它直接读作「被选中的选项有多可能」,阈值因此很容易推理。它的含义取决于选项个数 —— 0.5 在两个选项里是弱答案,在十个选项里却是强答案 —— 所以要按问题分别设阈值。
  • 最高与次高之比,$p_{\max} / p_{\text{second}}$。它衡量被选中的选项比第二名明显多少,而不管其余部分怎么摊开。许多真实决策最终就是在前两名候选之间权衡,这个比值瞄准的正是这一点。

Score

score 的各档位是有序的,所以它的公式还要计入概率离最可能档位有多远。对于一个有 $n$ 个档位、编号从 $0$ 到 $n - 1$ 的 score,其中 $p_i$ 是档位 $i$ 的概率,$m$ 是最可能的档位:

$$ \text{confidence} = \max\left(0,\ 1 - \frac{\sum_i p_i , |i - m|}{\text{MAD}{\text{unif}}}\right) \qquad \text{MAD}{\text{unif}} = \frac{1}{n} \sum_i \left| i - \frac{n - 1}{2} \right| $$

分子里的和,是答案与最可能档位之间按概率加权的平均距离(以档位计)。$\text{MAD}_{\text{unif}}$ 则是所有档位均匀摊开时同类的平均距离,从中间档位量起。置信度把两者作比较,当答案至少和均匀摊开一样散时,下限取 0。

落在相邻档位上的概率,让置信度下降得比落在更远档位上的同样概率少。三档情况下,$(0, 0.5, 0.5)$ 的置信度是 0.25,因为模型在两个相邻档位之间摇摆。$(0.5, 0, 0.5)$ 的置信度是 0,因为它在两端之间摇摆。而 choice 公式会把这两个分布都算成 0.25。

五档评分问题

看档位之间的距离如何改变置信度

置信度

0.92

拖动滑块改变某一档的概率,其余各档会自动按比例分摊,总和始终是 100%。

得分
2.00
同样概率套用 Choice 公式
0.88
这个演示是怎么算置信度的

演示用的是 Score 公式:按概率加权,算出答案与峰值之间相隔的档数平均值;再除以 1.2(五档均匀分布时同样的平均值,从中间那一档量起),用 1 减去它,最低到 0。落在峰值旁边那一档的概率,比落在远处的概率对置信度的削弱更小 —— 这是 Choice 公式不考虑的。

def score_confidence(probabilities: list[float]) -> float:
    n = len(probabilities)
    m = probabilities.index(max(probabilities))
    spread = sum(p * abs(i - m) for i, p in enumerate(probabilities))
    even_spread = sum(abs(i - (n - 1) / 2) for i in range(n)) / n
    return max(0.0, 1 - spread / even_spread)

levels = sorted(answer.probabilities)
score_confidence([answer.probabilities[level] for level in levels])

Score 响应示例里的 bug_severity 答案,概率是 $(0, 0.57, 0.43)$。最可能的档位是 1,该距离为 $0.43$,而三档的 $\text{MAD}_{\text{unif}}$ 是 $\frac{2}{3}$,所以置信度是 $1 - 0.43 / \frac{2}{3} \approx 0.35$。