Kev-27B

Resumen del modelo

Kev-27B es un modelo de decisión. Lee un documento (el estado) y un conjunto de preguntas tipadas sobre él, y devuelve una distribución de probabilidad calibrada sobre las opciones facilitadas con cada pregunta, en una sola pasada hacia adelante y sin generar texto. Está pensado para desarrolladores que clasifican, enrutan, triajan o comprueban documentos de hasta 64k tokens y que necesitan probabilidades sobre las que se pueda aplicar un umbral, por ejemplo para enviar los casos inciertos a revisión humana. Implementa la API pública System One de TypeSafe (POST /v1/systemone), así que el SDK de TypeSafe funciona contra él sin cambios. Esta tarjeta describe la versión 2, publicada el 2026-09-30: un fine-tuning de pesos completos de Qwen3.8-27B promediado con la versión 1.

Detalles del modelo

Entrada. Un estado (texto, o un objeto o array JSON renderizado como texto etiquetado) y cualquier número de preguntas con nombre, cada una de uno de tres tipos:

Cada pregunta se responde como su propia fila que continúa desde el estado compartido, así que las preguntas no pueden influirse entre sí; el estado se calcula una vez y se guarda en caché.

Usos previstos

• Decisiones tipadas sobre documentos: clasificación, enrutamiento, triaje, elecciones de extracción, comprobaciones de política y elegibilidad, y juzgar una respuesta propuesta contra criterios enunciados.
• Flujos de trabajo que actúan según la confianza: automatizar los casos con confianza y poner en cola el resto, con umbrales congelados sobre una muestra etiquetada de la propia carga de trabajo del usuario.
• Un sustituto autoalojado y directo de un endpoint System One.

Usos fuera de alcance

• Generación de texto, chat, resumen o respuesta a preguntas abiertas. El modelo solo puntúa las opciones que se le dan.
• Decisiones totalmente automatizadas con consecuencias legales, médicas, financieras, laborales o similares para personas, sin revisión humana.
• Preguntas cuya respuesta depende de hechos que no están en el estado ni son conocimiento general (el modelo no puede buscar nada) y exámenes con mucho conocimiento (véase Limitaciones).
• Estados de más de 65,536 tokens, idiomas distintos del inglés y hardware menor que una GPU de la clase de 80 GB o un Mac con unos 96 GB de memoria (véase Limitaciones).

Cómo usarlo

Sírvelo con el repositorio de Kev en una sola GPU B200, H200 o H100 de 80 GB. Los pesos ocupan 51 GB y el servidor unos 65.5 GB residentes; un estado de 64k tokens alcanzó un pico de 87.1 GB en una H200 y uno de 32k tokens 78.7 GB, así que los estados más largos necesitan más de 80 GB.

git clone https://github.com/jaredpalmer/kev.git && cd kev && uv sync --extra serve
uv run --extra serve python -m kev.serve --run jaredpalmer/kev-27b --port 8008          # v2 (this card)
uv run --extra serve python -m kev.serve --run jaredpalmer/kev-27b@v1-lora --port 8008  # v1

En Apple Silicon, el mismo comando sirve mediante MLX (elegido automáticamente), cargando los pesos bf16 completos tal como se guardaron, sin fusionar nada. Se espera que esta ruta funcione en un Mac de 96–128 GB, pero aún no se ha ejecutado a este tamaño (véase Limitaciones).

from typesafe_sdk import Choice, Noul, TypeSafeClient

client = TypeSafeClient(api_key="local", base_url="http://127.0.0.1:8008", model="kev-latest")
response = client.system_one(
    state="I was charged twice for order 1182. Please refund one of the charges.",
    questions={
        "team": Choice(instructions="Which team should handle this?",
                       criteria={"billing": "Charges and refunds", "shipping": "Deliveries", "returns": "Exchanges"}),
        "urgent": Noul(instructions="Does this need a reply today?"),
    },
)
print(response.choices["team"].choice, response.nouls["urgent"].noul)

La temperatura calibrada se aplica por defecto; KEV_TEMPERATURE=1.0 devuelve las probabilidades sin calibrar. El servidor usa bf16, kernels fusionados de DeltaNet y CUDA graphs; KEV_DTYPE=fp32 selecciona la ruta exacta usada para la evaluación.

Datos de entrenamiento

Una época sobre un corpus privado de 145,840 registros (337,130 preguntas) con estados de como máximo 32,768 tokens. Solo su manifiesto es público (evals/sft-v2-r22/manifest.json en el repositorio de GitHub).

Fuentes y etiquetas. Los conjuntos de datos públicos se listan en los metadatos de esta tarjeta; dos fuentes de herramientas de desarrollo, CodeReviewer y FlakeFlagger, proceden de Zenodo, y los diffs de CodeReviewer se conservan solo de proyectos con licencia permisiva. El texto y las etiquetas generados proceden de código o de modelos de pesos abiertos (GLM-5.3, DeepSeek-V4-Pro, Inkling, Mistral Large 3, gpt-oss-120b, MiMo-V2.6-Pro). Las etiquetas de quejas de consumo proceden de modelos de pesos abiertos, filtradas por jueces de modelos cerrados y adjudicación. No se usó ninguna salida de Jev (el modelo de decisión alojado de TypeSafe).

Licencias. Cuatro de los conjuntos de datos públicos limitados son share-alike: ARC (CC-BY-SA-4.0), HotpotQA (CC-BY-SA-4.0), Natural Questions (CC-BY-SA-3.0) y SNLI (CC-BY-SA-4.0); los demás son CC-BY-4.0, MIT o Apache-2.0. Las narrativas de quejas del CFPB son obras del gobierno de EE. UU. La licencia de GLM-5.3 es de estilo MIT con una condición sobre operadores de modelo-como-servicio muy grandes. Las licencias, revisiones y atribuciones por fuente se registran en los manifiestos de los componentes.

Cribado de contaminación. Antes del entrenamiento, cada registro se cribó contra 102 particiones de evaluación (76,549 elementos de referencia): cada suite congelada de Kev, el conjunto de evaluación privado, los elementos públicos de JevBench y las suites solo de evaluación de abajo. Se eliminó un registro por coincidencia exacta de cadena normalizada, similitud Jaccard de 8-gramas de palabras por encima de 0.2 o contención de al menos 0.5; se eliminaron 6,388 registros de entrenamiento.

Procedimiento de entrenamiento

1. Fine-tuning de pesos completos. Una época desde Qwen/Qwen3.8-27B en 8 GPUs NVIDIA H200 (FSDP2). AdamW (β 0.9 / 0.999, weight decay 0.01) con pesos maestros y momentos fp32 sobre un backbone bf16; tasa de aprendizaje 2e-6 para el backbone y 1e-4 para la cabeza, esquema one-cycle con 10 % de calentamiento; norma del gradiente recortada en 1.0; 128 registros por paso de optimizador (8 por GPU, 2 pasos de acumulación), 1,140 pasos; semilla 0. La pérdida es entropía cruzada sobre las opciones de cada pregunta (objetivos suaves donde los datos los tienen). El orden de las opciones se mezcla y se insertan al azar opciones “none of the above” y distractores. Un cuarto de los registros choice con estados de como máximo 8,192 tokens también producen un par mínimo: la pregunta con una opción “none of the above”, una vez con la opción correcta presente y otra con ella eliminada. Cada estado se ejecuta una vez y sus preguntas ramifican desde él.
2. Promediado de pesos. Cada tensor del backbone es 0.85 × el peso ajustado + 0.15 × el peso de v1 (el adaptador LoRA de v1 fusionado en la base en fp32), calculado en fp32 y redondeado una vez a bf16. Se conserva la cabeza de puntero del modelo ajustado. La proporción se eligió entre seis mezclas (0.85 / 0.70 / 0.50, con cualquiera de las cabezas) sobre datos de desarrollo.
3. Calibración. Una única temperatura, T = 1.32, que minimiza la log-verosimilitud negativa en 648 preguntas de conjuntos de datos reservados con los que ninguno de los padres se entrenó: 448 de la partición de calibración de transfer-r3 (seis conjuntos de datos públicos, QNLI, SciQ, TweetEval-offensive, PAWS, MMLU y Emotion, más dos familias reservadas de registros de política generados) y 200 preguntas de MMLU-Pro (desarrollo transfer-v9). No se usó ninguna partición de ningún corpus de entrenamiento, y una comprobación no encontró solapamiento con los datos de entrenamiento.

Evaluación

Metodología. Cada comparación es contra Kev-27B v1 con elementos idénticos, cada modelo a su propia temperatura servida. Las particiones de test se leyeron una vez para este checkpoint; el test transfer-v4 está bloqueado (se lee una vez por candidato) y se juzgó contra un listón fijado de antemano (precisión ≥ 0.886, Brier ≤ 0.165). Los intervalos son bootstraps emparejados del 95 % que remuestrean registros completos (2,000 remuestreos), así que las preguntas que comparten un estado se mueven juntas. Las diferencias están en puntos porcentuales (pp). Las suites:

• breadth-v1: 14 conjuntos de datos públicos reservados en cinco áreas (conocimiento, lenguaje, recuperación, herramientas, artes), nunca entrenados.
• tasksource-heldout-v1: 24 familias de tareas completas de la misma colección multitarea que el componente con licencia, reservadas del entrenamiento.
• hard-v1: registros de habilidades etiquetados programáticamente (políticas largas, compromisos, probabilidad, saltos múltiples, fechas y números, juicio, abstención); la partición de test reserva plantillas de generadores entrenados.
• devtools-v1: decisiones de herramientas de desarrollo de fuentes públicas con licencia comprobada (revisión de código, mensajes de commit, seguridad, tests inestables).
• documents-v1 / documents-v2: narrativas de quejas de finanzas de consumo de EE. UU. (CFPB); v2 es un conjunto de test reservado privado.
• transfer-v4: decisiones fuera de dominio de seis fuentes públicas nunca entrenadas más estructuras de política reservadas.
• longdoc-v1: contratos comerciales CUAD de hasta 64k tokens, y paquetes de acuerdos generados.

Los paneles destacados excluyen los elementos que una auditoría de etiquetas, completada antes de construir este checkpoint, encontró poco sólidos¹; cada exclusión elimina las mismas filas de ambos modelos.

Resultados frente a v1 (particiones de test).

Comparación con otros modelos de decisión en el test breadth-v1 (los 14 conjuntos de datos), puntuado con el índice corregido por azar del Decision Index 0.2 de la comunidad (por conjunto de datos (puntuación − azar) / (1 − azar), promediado dentro de cada área, y luego 100 × la media de las cinco áreas). Jev se consultó a través de Vercel AI Gateway y AutoJev-27B (denis-pplx/autojev-27b, un fine-tuning de pesos completos de la misma base) a través de su propio servidor, una vez cada uno, con los mismos elementos.

Frente a v1, la diferencia de índice es +2.1 [−0.4, +4.6]. No se calculó ningún intervalo emparejado contra Jev.

Documentos largos (contratos CUAD en el test longdoc-v1, precisión / ECE por longitud del estado en tokens):

Diferencia de precisión sobre todas las longitudes: −1.6 [−3.0, −0.3]. En los paquetes de acuerdos generados (2,400 preguntas), ambos modelos puntúan 1.000.

Longitud de contexto. Longitud de contexto validada: 65,536 tokens, el límite de servicio, a partir del desarrollo longdoc-v1 (diferencia de precisión en CUAD emparejada respecto al cubo de 8k, pp [IC 95 %]: 16k +0.2 [−0.7, +1.2], 32k −0.2 [−1.2, +0.7], 64k −1.1 [−2.4, +0.0]; 445–447 preguntas cada uno). La regla es la aplicada a cada tamaño de Kev 1.0: la longitud validada es el tamaño nominal del cubo más grande desde 16,384 tokens hacia arriba tal que él, y todos los cubos entre él y 8,192, estén dentro de la tolerancia, es decir, que la diferencia de precisión en CUAD respecto al cubo de 8k, emparejada por el mismo contrato, repetición y pregunta, tenga un límite inferior del 95 % de al menos −3 pp, con cada registro respondido.

Calibración (error de calibración esperado, ECE, tal como se sirve; más bajo es mejor):

En las 648 preguntas del ajuste, una validación cruzada de 5 pliegues con grupos disjuntos baja el ECE de 0.048 (bruto) a 0.038 (fuera de pliegue); los dos intervalos se solapan. El intervalo bootstrap del 90 % de la temperatura es [1.20, 1.45]. En sus extremos, los paneles destacados se mueven en direcciones opuestas: el ECE de breadth-v1 sube a 0.026 con T = 1.20 y el de tasksource-heldout-v1 a 0.067 con T = 1.45.

Otros resultados.

El test transfer-r3 es un panel de estado corto de las mismas ocho fuentes reservadas que el conjunto de calibración; decision-v7 es la distribución de entrenamiento de v1; transfer-v9 contiene MMLU-Pro y elementos cuya evidencia decisiva se eliminó. SemIf (decisiones escritas a mano del proyecto SemIf), WANLI-v2 (pares de inferencia en lenguaje natural de la partición de test de WANLI) y TypeSafe (la selección de SemIf de casos de flujo de trabajo de TypeSafe) se informan solo: la auditoría de etiquetas los encontró demasiado pequeños, saturados o ruidosos para clasificar modelos. WANLI-v2 y TypeSafe se retiraron como evaluaciones el 2026-09-30 (cerca de un cuarto de los pares de WANLI fueron etiquetados de forma distinta por sus dos anotadores, con el gold puesto a una de las dos etiquetas; el gold de TypeSafe es la respuesta promediada de dos modelos frontera cerrados, con demasiado pocas preguntas para distinguir checkpoints); sus cifras se conservan como registro.

Paridad de servicio (H200, bf16 con kernels fusionados y CUDA graphs, 200 registros de desarrollo de decision-v7 / 280 preguntas):

¹ Excluidos de los paneles destacados: cuatro conjuntos de datos de breadth-v1 (routerbench, cuyos estados carecen de la información pedida; cfcolor y humicroedit, en el nivel del azar para todos los sistemas; chessbench, en el suelo para todos los sistemas); siete familias de tasksource-heldout-v1 con etiquetas inválidas o irrecuperables (nombres privados); y dos tareas de devtools-v1 cuyas etiquetas no determina el estado (flakeflagger, tipo de cambio de commit). La fuente emotion de transfer-r3 (etiquetas de palabras clave distantes) se excluye del panel de estado corto en Limitaciones.

Limitaciones y compromisos

• Selección. El checkpoint publicado se eligió después de conocer los resultados de test de un candidato anterior y se confirmó en los mismos conjuntos de test. Trata los márgenes de test como optimistas.
• Sin ganancia en estados cortos. No es mejor que v1 en entradas cortas: −0.8 pp [−2.0, +0.5] en el test bloqueado transfer-v4, −0.9 pp [−2.0, +0.1] en el panel de desarrollo de estado corto (desarrollo transfer-v4 y test transfer-r3 sin emotion), y −2.1 pp [−3.5, −0.8] en todo el test transfer-r3.
• Peor y demasiado confiado en contratos largos. En CUAD es 1.6 pp menos preciso que v1 y su ECE es 2 a 4 veces el de v1 en todas las longitudes (0.053 frente a 0.007 en conjunto). Las preguntas de CUAD incluyen algunas etiquetas gold erróneas o disputadas, pero la brecha es consistente en todas las longitudes. Para revisión de contratos, reajusta la temperatura con tus propios documentos etiquetados (python -m kev.calibrate) o usa v1.
• Ganancias en distribución. Las particiones de entrenamiento de hard-v1, devtools-v1 y documents-v1 están en los datos de entrenamiento, y las suites ood-v2, agents-ood-v1 y guardrails-ood-v1 son dominios reservados de generadores que también produjeron datos de entrenamiento. Las ganancias ahí miden elementos reservados de familias entrenadas, no transferencia a tareas nuevas.
• Entrenamiento de la base desconocido. La base es la publicación postentrenada de Qwen; no se conoce su conjunto de datos de entrenamiento, así que no puede descartarse el solapamiento entre ella y cualquier evaluación.
• Conocimiento. El conocimiento lo fija la base: MMLU-Pro es 0.675, frente al 0.840 de Jev con los mismos elementos.
• Longitudes no entrenadas. Se evaluaron estados de 32k–64k tokens (longdoc-v1), pero no se entrenaron.
• Suite retirada. Una suite de tickets de soporte usada para seleccionar v1 (scienthoon) se retiró por poco sólida antes de construir v2, así que v2 no tiene resultado en ella. El padre ajustado no promediado de v2 puntuó 5.5 pp [−7.8, −3.2] por debajo de v1 ahí.
• Incertidumbre de la temperatura. El intervalo de la temperatura ([1.20, 1.45]) mueve el ECE de test hasta unos 0.02.
• Hardware. Necesita una GPU de centro de datos de la clase de 80 GB (más de 80 GB para los estados más largos). Apple Silicon mediante MLX: los pesos bf16 completos de v2 necesitan unos 51 GB más memoria de trabajo, así que un Mac de 64 GB está al límite y uno de 96–128 GB debería bastar. Esto se espera a partir de mediciones en modelos menores, aún no medidos en un Mac grande: cargar un Kev-4B de pesos completos por la misma ruta alcanzó un pico del tamaño de sus pesos (8.4 GB), y sus respuestas quedaron dentro de 0.015 de la ruta de evaluación fp32 (runs/mlx-full-4b). v1 (el adaptador LoRA, etiqueta v1-lora) se sirvió mediante MLX en un M5 Max de 128 GB por un contribuidor externo (PR #175): 0.849 de precisión en el desarrollo de transfer-v4 frente al 0.848 publicado, 52 GB en régimen estable y 97 GB en el pico mientras se fusionaba el adaptador.

Sesgo, riesgos y consideraciones éticas

• Las probabilidades calibradas pueden crear una confianza injustificada. La temperatura se ajustó sobre conjuntos de datos públicos reservados y no transfiere a todos los flujos de trabajo; mide la precisión y la calibración con una muestra etiquetada de tus propios datos antes de fijar umbrales.
• La precisión y la calibración cambian bajo un cambio de dominio (por ejemplo, en contratos largos). Vigila las tasas de error en producción en lugar de fiarte de los números anteriores.
• No lo uses para decisiones automatizadas trascendentales sobre personas sin revisión humana. Los sesgos del modelo base y de los datos de entrenamiento (incluidas las etiquetas producidas por otros modelos) no se miden.
• Los estados pueden contener datos personales o confidenciales. El autoalojamiento mantiene las entradas en tu propio hardware; el servidor está abierto a menos que se defina KEV_API_KEY, así que aplica tu propia política de control de acceso y tratamiento de datos.

Cómputo

• Fine-tuning: 8 × NVIDIA H200 durante 16.2 h de tiempo de entrenamiento (129 horas-GPU), sin contar reinicios ni evaluación.
• Promediado de pesos: unos 6 minutos en CPU.
• Comprobaciones de evaluación y servicio: GPUs H200 individuales en Modal.

Procedencia y reproducibilidad

• Código, suites e informes de evaluación: github.com/jaredpalmer/kev. Números de publicación: runs/release/kev-27b-r23.json (scripts/release_numbers.py --release kev-27b-r23).
• Fine-tuning: ensayo de la ronda 22 r22-27b-lr2e6/00-trial-0 (experiments/round22/lr2e6.json), pesos sha256 3fa0182a…. Mezcla: brazo de la ronda 23 27b-k-w85 (scripts/interpolate_checkpoint.py --toward; interpolation.json en el repositorio del Hub), regla de selección y etapas de confirmación en experiments/rounds/r23.json; resultados en runs/r23-readout/, runs/r23-verdict/, runs/r23-breadth-report/, runs/serving-27b-r23*/.
• Fuente de la mezcla: v1 en jaredpalmer/kev-27b@01b81998 (ensayo r6-27b-v2/01-trial-1), ahora etiqueta v1-lora.
• Pesos publicados sha256 d27af6ab2be16824166ac639907b4dba40979ff338599c2872721aa6c5072022; head.pt sha256 7968f17b03479c1ef9d1c0f3ab8a15e31ecb441cf40691b07ee945ab554d45ad (T = 1.3195). Pesos publicados en el commit del Hub 28be62e9.
• Verificación: cargado de forma anónima desde el Hub en una H200, reprodujo los logits de la evaluación previa a la publicación exactamente en 252 de 252 filas de SemIf y 764 de 764 filas de desarrollo de transfer-v4 (runs/release/kev-27b-r23-published.json, runs/release/kev-27b-r23-staging.json).

Cita

@misc{palmer2026kev27b,
  title        = {Kev-27B: a calibrated decision model on Qwen3.8-27B},
  author       = {Palmer, Jared},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/jaredpalmer/kev-27b}},
  note         = {Version 2, released 2026-09-30}
}

Contacto

Preguntas e incidencias: github.com/jaredpalmer/kev/issues.