信頼度
TypeSafe が確実性をどう報告するか、確率との違い、システムの振る舞いを制御するための使い方。
TypeSafe からのすべての Score と Choice の答えには、選択肢(Choice の場合)やレベル(Score の場合)にわたる確率分布を表す probabilities プロパティが含まれます。その分布の形が、モデルがどれほど確信的かを教えてくれます。一つの結果に集中していれば確信的な答え、広がっていれば不確かな答えです。
答えの confidence プロパティは、その形を 0 から 1 の単一の数値に畳み込み、自分で計算しなくてもしきい値処理できるようにします。すべての確率が一つの結果に載っていれば 1、確率が均等に広がっていれば 0 になります。(Noul の答えはこれを持ちません。下の Noul を参照してください。)
信頼度は確率分布から導かれる
confidence は、答えがすでに与えている確率分布から計算される統計量です。TypeSafe がそれを計算してすべての Choice と Score の答えに返すので、よくあるケースではこちら側で追加の作業は不要です。
選択肢 3 つの choice の例
確率分布が信頼度をどう変えるか
信頼度
確率
スライダーを動かすとその選択肢の確率が変わり、残りは合計が 100% になるよう自動で調整されます。
選択:選択肢 A
このデモでの信頼度の計算方法
TypeSafe は確率が選択肢にどれだけ散っているかから信頼度を算出します。1 つの選択肢に集中していれば 1.0、均等に散るほど低くなります。このデモでは (3 × 最大の確率 − 1) / 2 で 3 択の信頼度を近似しています。
Choice では、分布は選択肢にわたる probabilities です。Score では、レベルにわたる分布です。どちらの場合も、より平たい分布はより低い信頼度を意味します。Choice の低い信頼度は、どの選択肢も他より明確に勝っていないことをしばしば意味し、Score の低い信頼度は、レベルが曖昧か多次元か、状態に判断材料が足りないことをしばしば意味します。
問題タイプごとの正確な式は信頼度の計算方法にまとめてあるので、confidence の値が答え自身の probabilities からどう導かれるかを確認できます。
「分からない」は有用な信号
知的システムが、人間であれ機械であれ、正直な不確実性を表現できなければ、そのシステムは信頼できません。
信頼度は、モデルが「これはよく分からない」と言うための組み込みの仕組みを与えます。これにより、コードは確実性のレベルごとに異なる振る舞いを実装でき、それが実際に頼れるシステムを構築する土台になります。
コードで信頼度を使う三つの経路
有用な出発点のパターンは、信頼度を三つの範囲に分け、それぞれが異なるシステムの振る舞いを生むようにすることです:
高い信頼度: 自動で行動します。モデルは明確に読み取れており、人の関与なしに進められます。
中程度の信頼度: 慎重に進めます。モデルには妥当な答えがありますが、確信はありません。文脈に応じて、ユーザーに確認を求めたり、レビュー用にフラグを立てたり、行動する前に情報を集めたりできます。
低い信頼度: 行動しません。人に回すか、説明を求めたり、別のシステムにフォールバックしたりします。モデルは、十分な情報がないか、その質問が適していないと言っています。
それらの境界をどこに引くかは、リスクの大きさによります。
しきい値はリスクに応じて変える
信頼度のしきい値は一つの数値ではありません。同じシステム内の異なるアクションは、誤ったときの結果に応じて異なるレベルで門控されるべきです。
response = client.system_one(
state=user_message,
questions={
"action": Choice(
instructions="What is the user trying to do?",
criteria={
"check_balance": "View account balance",
"approve_transfer": "Approve the pending withdrawal request",
"support": "Get help with an issue",
},
),
},
)
action = response.answers["action"]
confidence = action.confidence
if confidence < 0.5:
# Model is genuinely unsure. Don't guess.
route_to_human(user_message)
elif action.choice == "check_balance":
# Low stakes. Showing the wrong screen is recoverable.
show_balance(account_id)
elif action.choice == "approve_transfer":
if confidence > 0.9:
# High stakes, high confidence. Proceed with confirmation.
confirm_then_execute(account_id)
else:
# High stakes, moderate confidence. Verify first.
ask_user_to_confirm(account_id)
0.5 の信頼度の下限は、モデルが本当に不確かだと報告するものをすべて捕まえます。それ以上の、確認なしで行動するためのしきい値は、読み取り専用の操作より破壊的な操作の方が高くなります。リスク許容度をコードが表現します。
信頼度の計算方法
問題タイプごとに、分布のまとめ方は少しずつ異なります。Noul の結果は二つ、Choice の選択肢は順序のない任意の個数、そして Score のレベルは順序付きなので、以下の各式は前の式の上に成り立ちます。
TypeSafe の confidence は、分布をまとめる一つの合理的な方法であり、唯一の方法ではありません。私たちが固定の尺度を返すのは、すべての答えに妥当なデフォルトを添えるためです。最初の呼び出しから confidence でゲートでき、どの質問でも同じ 0 から 1 の尺度を使え、自分で統計量を選んで検証する必要はありません。以下の式は正確で、どの答えにも完全な probabilities が含まれるので、代わりにあなたのアプリケーションにとって最も重要な尺度を計算できます。
Noul
Noul の答えは、答えが yes である確率 $p$ そのものであり、TypeSafe はそれに対して別個の confidence を返しません。その確率がすでに不確実性を表しています。0.5 に近い値はモデルが自信がないと言っていることで、直接しきい値処理する方法は Noul のページで説明しています。
それでも信頼度形式の数値が欲しい場合、たとえば同じコードで Noul と Choice をゲートしたい場合は、0.5 からの距離を使います:
$$ \text{confidence} = |2p - 1| $$
これにより、$p = 0.5$ で 0、$p = 0$ または $p = 1$ で 1 になります。これは下の Choice の式を yes/no の Choice に適用したものでもあるので、Choice の信頼度と同じ尺度に乗ります。
Choice
Choice は同じ考え方を任意の個数の選択肢に広げます。$n$ 個の選択肢を持つ Choice で、$p_{\max}$ が選択された選択肢の確率であるとき:
$$ \text{confidence} = \frac{p_{\max} - \frac{1}{n}}{1 - \frac{1}{n}} $$
これは、最高確率が選択肢ごとの均等割り $\frac{1}{n}$ よりどれだけ上にあるかを、均等割りを 0、確実を 1 とする尺度で測ります。最高確率だけが寄与するので、$(0.6, 0.3, 0.1)$ と $(0.6, 0.2, 0.2)$ はどちらも信頼度 0.4 になります。
def choice_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
return (max(probabilities) - 1 / n) / (1 - 1 / n)
choice_confidence(list(answer.probabilities.values()))
本ページの冒頭のエクスプローラーは、この式を三つの選択肢で使っています。
同じ probabilities から計算できる、より単純な二つの尺度も、実際にはしばしば非常に有効で、confidence と並べて試す価値があります:
- 最高確率、$p_{\max}$。これは「選ばれた選択肢がどれだけ起こりそうか」と直接読めるので、しきい値の見通しが良くなります。その意味は選択肢の個数に依存します。0.5 は二つの選択肢では弱い答えですが、十個では強い答えなので、しきい値は質問ごとに設定してください。
- 最高と二番目の比、$p_{\max} / p_{\text{second}}$。これは選ばれた選択肢が次点をどれだけ明確に上回るかを測り、残りの広がり方は無視します。実際の多くの意思決定は上位二つの候補に帰着し、この比はまさにそこを狙っています。
Score
Score のレベルは順序付きなので、その式は確率が最も可能性の高いレベルからどれだけ離れているかも数えます。$0$ から $n - 1$ まで番号付けされた $n$ 個のレベルを持つ Score で、$p_i$ がレベル $i$ の確率、$m$ が最も可能性の高いレベルであるとき:
$$ \text{confidence} = \max\left(0,\ 1 - \frac{\sum_i p_i , |i - m|}{\text{MAD}{\text{unif}}}\right) \qquad \text{MAD}{\text{unif}} = \frac{1}{n} \sum_i \left| i - \frac{n - 1}{2} \right| $$
分子の和は、答えと最も可能性の高いレベルの間の、レベル単位の確率加重平均距離です。$\text{MAD}_{\text{unif}}$ は、すべてのレベルに均等に広がった場合の同種の平均距離を、中央のレベルから測ったものです。信頼度は両者を比較し、答えが均等な広がり以上に散っているときは 0 を下限とします。
隣接するレベルに載った確率は、より遠いレベルの同じ確率よりも信頼度を下げません。三つのレベルの場合、$(0, 0.5, 0.5)$ の信頼度は 0.25 です。モデルが隣り合う二つのレベルの間で揺れているからです。$(0.5, 0, 0.5)$ の信頼度は 0 です。両端の間で揺れているからです。Choice の式ならどちらの分布も 0.25 になります。
5 段階のスコア質問
段階間の距離が信頼度をどう変えるか
信頼度
確率
スライダーを動かすとその段階の確率が変わり、残りは比率を保ったまま自動で調整されます。合計は常に 100% です。
- スコア
- 2.00
- 同じ確率に Choice の式を当てはめた値
- 0.88
このデモの信頼度の計算方法
このデモは Score の式を使っています。確率で重みづけした、回答とピークの間の段階数の平均を求めます。それを 1.2(5 段階の均等な分布での中間の段階からの同じ平均)で割り、1 から引いて 0 で止めます。ピークの隣の段階の確率は、遠くの段階の確率よりも信頼度を下げません。Choice の式はこれを考慮しません。
def score_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
m = probabilities.index(max(probabilities))
spread = sum(p * abs(i - m) for i, p in enumerate(probabilities))
even_spread = sum(abs(i - (n - 1) / 2) for i in range(n)) / n
return max(0.0, 1 - spread / even_spread)
levels = sorted(answer.probabilities)
score_confidence([answer.probabilities[level] for level in levels])
Score の応答例の bug_severity の答えは、確率が $(0, 0.57, 0.43)$ です。最も可能性の高いレベルは 1、距離は $0.43$、三つのレベルの $\text{MAD}_{\text{unif}}$ は $\frac{2}{3}$ なので、信頼度は $1 - 0.43 / \frac{2}{3} \approx 0.35$ です。