Kev-9B

模型摘要

Kev-9B 是一个决策模型。它读取一份文档（状态）和一组关于它的带类型问题，并在一次前向传播里返回每个问题所带选项上的校准概率分布，不生成文本。它面向对文档做分类、路由、分诊或检查、并且需要可以设阈值的概率（例如把不确定的案例送人工复核）的开发者。它实现 TypeSafe 公开的 System One API（POST /v1/systemone），所以 TypeSafe SDK 可以原样对它使用。它是 Qwen3.5-9B-Base 上的一个 LoRA 适配器和一个指针头，能放进一张 24 GB 级 GPU。本卡描述 version 2，发布于 2026-09-30，包含在 Kev 1.0 中。

模型详情

输入。 一个 state（文本，或渲染为带标签文本的 JSON 对象或数组）和任意数量的具名问题，每个问题属于三种类型之一：

每个问题都作为它自己的一行作答，从共享 state 续接，所以问题之间不能相互影响；state 只计算一次并缓存。

预期用途

• 几千 token 文档上的带类型决策：分类、路由、分诊、抽取选择、政策与资格检查，以及对照明示判据评判一个提议答案。
• 依据置信度行动的工作流：自动化有把握的案例、把其余排队，阈值在用户自己工作负载的标注样本上冻结。
• 在单张 24 GB 级 GPU 上对 System One 端点做自托管、即插即用的替换，以及作为在用户自己标签上微调的起点（kev.train --init_from jaredpalmer/kev-9b）。

范围外用途

• 文本生成、对话、摘要或开放式问答。模型只对它被给出的选项打分。
• 未经人工复核、对人有法律、医疗、金融、雇佣或类似后果的全自动决策。
• 答案依赖 state 里没有、也非常识的事实的问题，以及知识密集型考试（见 局限）。
• 不使用 KEV_DATE_FACTS=1 预处理器时的日精度日期算术、超过 65,536 tokens 的 state，以及英语以外的语言。

如何使用

用 Kev 仓库服务它。在 CUDA 上它以 bf16 运行，带融合 DeltaNet 内核和 CUDA graphs（一张 L40S 或 H100；常驻约 22 GB）；在 Apple Silicon 上同一命令会通过 MLX 服务它，自动选择。

git clone https://github.com/jaredpalmer/kev.git && cd kev && uv sync --extra serve
uv run --extra serve python -m kev.serve --run jaredpalmer/kev-9b --port 8008          # v2, Kev 1.0 (this card)
uv run --extra serve python -m kev.serve --run jaredpalmer/kev-9b@v1 --port 8008       # v1

from typesafe_sdk import Choice, Noul, TypeSafeClient

client = TypeSafeClient(api_key="local", base_url="http://127.0.0.1:8008", model="kev-latest")
response = client.system_one(
    state="I was charged twice for order 1182. Please refund one of the charges.",
    questions={
        "team": Choice(instructions="Which team should handle this?",
                       criteria={"billing": "Charges and refunds", "shipping": "Deliveries", "returns": "Exchanges"}),
        "urgent": Noul(instructions="Does this need a reply today?"),
    },
)
print(response.choices["team"].choice, response.nouls["urgent"].noul)

校准温度默认施加；KEV_TEMPERATURE=1.0 返回原始概率。KEV_DTYPE=fp32 选择用于评测的确切路径。KEV_DATE_FACTS=1 追加 state 中每一对日期之间的天数，模型被训练来使用它。超过 65,536 tokens 的 state 会被拒绝，返回 422 并给出其 token 数。

训练数据

两个微调阶段分别回放 decision-v7 的 2,000 和 10,000 条记录。没有使用任何 Jev（TypeSafe 的托管决策模型）的输出。CodeReviewer 和 FlakeFlagger 来自 Zenodo；CFPB 叙述是美国政府作品；逐来源许可证和 revision 记录在套件 manifest 里。下面的评测专用套件（breadth-v1、tasksource-heldout-v1、transfer-v4、longdoc-v1，以及 devtools-v1 的 When2Call 和 prompt-injection 来源）从不进入训练。

训练流程

1. 基础配方。 从基座在 decision-v7 上两个 epoch：LoRA rank 16，α 32；学习率 5e-5，one-cycle 调度；有效 batch 8（4 × 2 累积）；bf16 autocast，梯度 checkpointing。损失是在每个问题的选项上的交叉熵。选项顺序打乱，随机插入「none of the above」选项和干扰项，另有四分之一的 choice 记录产生一个最小对（带「none of the above」选项的那个问题，一次把正确选项放进去、一次把它移除）。
2. 日期与缺失证据。 从阶段 1 起一个 epoch，学习率 2e-5，回放 2,000 条记录。这就是 v1。
3. 文档与技能。 从 v1 起，在三个训练集上一起一个 epoch，学习率 2e-5，回放 10,000 条记录；batch 2 × 4 累积；state 最多 7,552 tokens；seed 1；3,318 个优化器步。
4. 校准。 单个温度，T = 2.19，在来自留出数据集的 648 个问题上最小化负对数似然：448 个来自 transfer-r3 的校准划分（六个公开数据集，QNLI、SciQ、TweetEval-offensive、PAWS、MMLU 和 Emotion，加两个生成的政策记录留出家族）和 200 个 MMLU-Pro 问题（transfer-v9 开发）。拟合前，该池已对照 checkpoint 的训练套件检查过。

评测

方法。 每次比较都是与 Kev-9B v1 在相同条目上、各模型在其自身发布温度下（v1：2.30）。比较及其门槛在确认读数之前注册；测试划分为本 checkpoint 读过一次；transfer-v4 测试是锁定的（每个候选读一次）。配对区间是 95 % bootstrap，重采样整条记录（2,000 次重采样），所以共享同一 state 的问题一起移动。差值以百分点（pp）计。Jev（TypeSafe 的托管模型，经 Vercel AI Gateway 查询）只在与它读过同一批条目的地方给出。套件如下：

• breadth-v1：五个领域（知识、语言、检索、工具、艺术）的 14 个留出公开数据集，从未训练。
• transfer-v4：来自六个从未训练的公开来源的域外决策，加上留出的政策和规则结构。
• transfer-r3：一个短 state 面板，来自与校准池相同的八个留出来源。
• hard-v1：上述技能家族；测试划分留出已训练生成器的模板。
• devtools-v1：来自六个经许可证核查的来源的开发者工具决策（四个训练，两个仅评测）。
• documents-v1 / documents-v2：CFPB 投诉叙述；v2 是私有的留出测试集。
• longdoc-v1：CUAD 商业合同和生成的协议包，state 4k 到 64k tokens。

devtools-v1 头条面板排除两个 state 无法决定其标签的任务（flakeflagger、commit 变更类型）；相同的行从双方移除。

对照 v1 的结果（注册确认）。

留出数据（从未训练）。

对照 v1，breadth-v1 准确率差在开发上是 +0.3 [−0.7, +1.3]，在测试上是 +0.6 [−0.4, +1.6]。tasksource-heldout-v1 开发已为本 checkpoint 读取，但其读数尚未完成；这里不报告。

已训练家族（留出条目与模板）。

对照 v1 的测试差：hard-v1 +25.0 [+22.0, +28.1]，devtools-v1（全部来源）+15.4 [+11.0, +19.4]，documents-v2 +8.0 [+5.9, +10.2]。

长期文档。

• 已验证上下文长度：8,192 tokens，即训练长度。16k 桶超出容差：其下界为 −3.7 pp，低于 −3 pp，所以没有更长的长度被验证。
• 规则，读数之前固定：已验证长度是从 16,384 tokens 起向下的最大桶的名义大小，使得它以及它与 8,192 之间的每个桶都在容差内。在容差内意味着与 8k 桶（state 6,553–7,618 tokens，即训练长度）相比 CUAD 准确率差，在同一合同、重复和问题上配对，其 95 % 下界至少为 −3 pp，且每条记录都被作答。若 16k 桶失败，已验证长度为 8,192 tokens。

按名义 state 长度的 CUAD 准确率、ECE 和与 8k 桶的配对差（longdoc-v1 开发）：

在发布温度 T = 2.19 下的 ECE。Δ 在两种长度上问及同一合同的 445–447 个问题上配对。4k 桶装着不同的合同，不是该规则的参考。来源：runs/r28-readout/context.json（第 28 轮注册的读数，runs/r29-9b-r18a-longdoc）。

校准（期望校准误差，ECE，按服务状态；越低越好）：

该温度的 90 % bootstrap 区间是 [2.05, 2.41]。v1 的 2.30 是在其自身训练分布的开发行上拟合的；v2 是第一个在留出数据集上拟合的温度下服务的 9B。

其他结果。

服务。 CUDA，bf16 配融合内核和 CUDA graphs；每个请求的模型时间（20 次中位数），新 state / 重复 state，在 v1 上测量（相同架构与适配器形状）：

常驻 GPU 显存 21.9 GB。在 280 个问题上，服务的概率与 fp32 评测路径保持在 0.017 以内，没有答案改变。在 fp32 评测路径（H100，v2）上，16k / 32k / 64k token 的 state 用时 5.1 / 10.9 / 25.4 s，权重之上占用 4.6 / 9.1 / 18.2 GiB。

Apple Silicon（MLX）：为 Kev-0.8B 和 Kev-4B 做的长 state 测量没有在这个规模上做过；在用于它们的那台 32 GB M5 上，19.3 GB 的 bf16 主干及其工作集装不进可用内存。

¹ 社区 Decision Index 0.2 的随机校正指数：每个数据集 (score − chance) / (1 − chance)，在每个领域内取平均，然后 100 × 五个领域的均值。Jev 的指数来自对同一批测试条目的单独一次读取。

局限与取舍

• 选择。 这个 checkpoint 在更早一轮用开发数据训练并读取，在已知那些数字的情况下按更晚的规则重新选出。测试划分和锁定读数（每个只读一次）是护栏；把开发余量当作偏乐观。
• 它的大增益在分布内。 hard-v1、devtools-v1 和 documents-v1 的训练划分就在其训练数据里；那些增益是已训练家族的留出条目与模板，不是到新任务的迁移。
• 在新工作上它不比 v1 更好。 breadth-v1 测试 +0.6 pp [−0.4, +1.6]，transfer-v4 开发 −0.2 pp [−2.4, +1.8]，transfer-r3 测试 +0.0 pp [−1.2, +1.2]。在 breadth-v1 指数上 Kev-27B 领先它 11 个点，Jev 领先 13 个点。
• 知识由基座决定。 MMLU-Pro 是 0.590，对 Kev-27B 的 0.675 和 Jev 的 0.840。
• 日期算术是它最弱的家族：在 deadline 政策问题上 0.725，对 Jev 的 0.95；KEV_DATE_FACTS=1 预处理器有帮助。
• 校准。 devtools-v1 是它校准最差的套件（测试 ECE 0.098）。温度的区间是 [2.05, 2.41]。温度是从注册的池拟合写进 head.pt 的，并记录了理由，因为校准脚本无法列出合并训练文件的来源以复查池本身；那一轮自己的检查已经覆盖了它。那次检查不覆盖 v1 的日期与缺失证据数据，其 manifest 未列出来源；那些记录是四个生成家族，都不在池里。
• 未训练的长度。 训练 state 最多 7,552 tokens。更长的 state 可服务到 65,536 tokens；准确率保持多远就是上面的已验证上下文长度。
• 选项顺序可能改变答案；问题隔离并不能阻止这一点。

偏见、风险与伦理考量

• 校准概率可能制造不当的信任。温度是在公开留出数据集上拟合的，不迁移到每个工作负载；在设阈值之前，在你自己的标注样本上测量准确率与校准，并在那里重拟合温度（python -m kev.calibrate）。
• 准确率和校准会随领域变化而偏移。请监控生产错误率，而不是依赖上面的数字。
• 未经人工复核，不要用它做关于人的有后果的自动决策。基座模型和训练数据的偏见（包括其他模型产生的标签）未被测量。
• state 可能包含个人或机密数据。自托管把输入留在你自己的硬件上；除非设置了 KEV_API_KEY，服务器是开放的，所以请应用你自己的访问控制与数据处理策略。

算力

• 基础配方与日期阶段（v1）：单张 NVIDIA H100 GPU。
• 文档与技能阶段：在一张 NVIDIA H200 上 2.6 小时（峰值 74.1 GB）。
• 评测与服务检查：Modal 上的单张 H100 / H200 / L40S GPU。

溯源与可复现性

• 代码、套件与评测报告：github.com/jaredpalmer/kev。发布数字：runs/release/kev-9b-r27.json（scripts/release_numbers.py --release kev-9b-r27）；注册规则与判决 experiments/rounds/r27.json、runs/r27-readout/、runs/r27-verdict/；2026-09-30 家族读数 runs/fam-9bnew-breadth/、runs/fam-9b-breadth/ 和 runs/fam-breadth-test-report/；ood-v2 runs/r29-9b-r18a-ood/；服务 runs/serve-9b-l40s/、runs/serve-9b-h100/、runs/long-state-9b-h100/。
• 阶段：基础试验 q35-9b/01-trial-1（tag v7-base）；日期 night2-9b-du/00-trial-0（v1，tag v1）；文档与技能第 18 轮臂 (a) r18-9b/00-trial-0（experiments/round18/joint.json），选为并确认为第 27 轮的 9b-r18a。
• 发布的权重：Hub commit b5d8c18e；适配器 sha256 2b2a70cf4ef4440b6c22899e1f72c2f8ea5c6f65b19aa344539b4b8971d1f13d，head.pt sha256 8e1dab2c…（T = 2.1936）。
• 验证：从 Hub 匿名加载，在 T = 2.19 下，它在 252 个 SemIf 行中的 252 个和 764 个 transfer-v4 开发行中的 764 个上复现了发布前评测的答案（runs/rel9-public/）。

引用

@misc{palmer2026kev9b,
  title        = {Kev-9B: a calibrated decision model on Qwen3.5-9B},
  author       = {Palmer, Jared},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/jaredpalmer/kev-9b}},
  note         = {Version 2, released 2026-09-30; Kev 1.0}
}

联系

问题与 issue：github.com/jaredpalmer/kev/issues。