Kev-0.5B — prototipo (superado)

Kev-0.5B es un modelo de decisión. Recibe un documento (el estado) y un conjunto de preguntas tipadas, y devuelve una distribución de probabilidad para cada pregunta en una sola pasada hacia adelante. No genera texto.

Es un adaptador LoRA más una pequeña cabeza de puntero sobre Qwen/Qwen2.5-0.5B. Reproduce la arquitectura que Archer Hume infirió para el Jev de TypeSafe en Jev’s Architecture Unmasked, y sirve el contrato público /v1/systemone de TypeSafe.

Este checkpoint es el prototipo original, entrenado en un portátil en septiembre de 2026 para mostrar que el mecanismo funciona. Queda superado por Kev-0.8B, Kev-4B y Kev-9B, que usan bases Qwen3.5, suites congeladas con suma de comprobación y una receta hallada tras ~110 ensayos controlados; en los mismos elementos fuera de dominio (transfer-v4 dev) este modelo puntúa 0.561 frente a 0.643 / 0.794 / 0.812.620 / 0.790 / 0.796. Se mantiene en el Hub como referencia y para reproducibilidad; para cualquier otra cosa, usa la familia actual.

• Hub: jaredpalmer/kev-0.5b (etiqueta v0.1)
• Código, receta de entrenamiento, evaluación y demo: github.com/jaredpalmer/kev
• Pesos: release de GitHub v0.1.0, kev-0.5b.tar.gz (38 MB; adaptador LoRA adapter_model.safetensors, cabeza head.pt, archivos del tokenizador, eval.json, registro de entrenamiento). SHA-256 15639f79…6e12f8, resumen completo en el .sha256 adyacente. Descomprime en runs/kev/. Los pesos no se confirman en git.

Detalles del modelo

Uso previsto

Previsto. Investigación sobre modelos de decisión: calibración de lecturas directas de probabilidad, atención de estado compartido / pregunta aislada, sensibilidad al orden de las opciones y compatibilidad a nivel de API con el contrato System One de TypeSafe. Demos locales y docencia.

No previsto. Cualquier decisión en producción que afecte a personas: moderación, fraude, crédito, contratación, enrutamiento médico o legal. El conocimiento del modelo se limita a un backbone de 0.5B, su calibración solo está verificada en las distribuciones de entrenamiento y no se han medido sus salidas en tareas desconocidas.

Cómo se usa el modelo

La entrada es una única secuencia de tokens empaquetada:

<state> …state…  <q> instr <opt> o1 </opt> <opt> o2 </opt> … <decide>  <q> … <decide>  …

• La máscara de atención permite que un token de pregunta vea el estado y su propia rama solo. Las preguntas no pueden verse entre sí.
• Cada rama reinicia los IDs de posición después del estado.
• Para cada pregunta, la cabeza puntúa cada estado oculto </opt> contra el estado oculto <decide> y aplica softmax.
• El código de la aplicación convierte las distribuciones en la respuesta de la API: choice/confidence para Choice, p(yes) para Noul, nivel esperado para Score.

Los tokens reservados son tokens especiales existentes de Qwen (<|fim_prefix|>, <|fim_middle|>, <|box_start|>, <|box_end|>, <|fim_suffix|>). El texto del usuario se sanea para que no pueda producirlos.

Sirve con python -m kev.serve --run runs/kev y llama a POST /v1/systemone, o usa typesafe-sdk con base_url="http://127.0.0.1:8009".

Datos de entrenamiento

Seis conjuntos de datos públicos, convertidos en solicitudes con la forma de TypeSafe y renderizados con la misma ruta de código que se usa en el servicio (api.to_record()). Se muestrearon 1,500 registros por fuente de las particiones estándar de train, lo que da 9,000 registros y 13,500 preguntas (4,500 Choice, 6,000 Noul, 3,000 Score).

Variación de renderizado aplicada en el momento de la conversión: ~30% de descripciones de opción null, ~10% de descripciones estructuradas {"what": …}, ~15% de instrucciones estructuradas {"question", "focus"}, ~32% de estados envueltos como objetos o arrays ({"document"}, {"ticket": {"channel","body"}}, [{"role","content"}]).

Aumento aplicado una vez por registro antes de codificar: orden de las opciones mezclado; con probabilidad 0.10 la opción verdadera se sustituye por other: None of the above; con probabilidad 0.15 se añade una opción distractora irrelevante.

Sin datos generados por LLM. Sin anotación humana más allá de los conjuntos de datos originales.

Procedimiento de entrenamiento

Este checkpoint es anterior a dos términos de pérdida que ahora son predeterminados en kev/train.py: el término ordinal para Score (--ord_w) y la KL de consistencia de permutación para Choice (--perm_kl). Para reproducir este checkpoint exactamente:

uv run python -m kev.train --n_per_source 1500 --epochs 2 --accum 8 --perm_kl 0 --ord_w 0 --out runs/kev

Ten en cuenta que el aumento ahora se vuelve a aplicar en cada época en lugar de fijarse en el momento de codificar, así que una nueva ejecución no será idéntica bit a bit.

Evaluación

Particiones de test / validación reservadas de las mismas seis fuentes, 150 registros por fuente, 1,350 preguntas, semilla 1. Resultados completos en runs/kev/eval.json.

Precisión y calibración

Líneas base: Qwen/Qwen2.5-0.5B (sin ajustar) y Qwen/Qwen2.5-0.5B-Instruct (plantilla de chat), mismo texto renderizado, logits del siguiente token sobre las letras de opción A–H; no se ejecutó para K = 77. El ECE usa 10 bins de ancho igual sobre la probabilidad superior.

Escalado por temperatura

Ajustado con registros de índice par, probado con los de índice impar: T = 1.47. NLL reservada 0.505 → 0.481, ECE 0.057 → 0.031. El modelo es ligeramente demasiado confiado antes del escalado.

Pruebas de mecanismo

Limitaciones

• Solo en distribución. Todos los números anteriores son sobre particiones reservadas de los conjuntos de datos de entrenamiento. La generalización fuera de las fuentes no se ha medido para este checkpoint.
• Backbone pequeño. 0.5B parámetros. En el ejemplo de criterios estructurados de los docs de TypeSafe, el modelo elige return_policy donde Jev elige return_status. La comprensión lectora (BoolQ 0.75, MNLI 0.75) está muy por debajo del estado del arte.
• Cobertura de tareas estrecha. Seis conjuntos de datos y unas diez plantillas de instrucciones. Código, tablas, chat multiturno, aritmética y condiciones de varios pasos no se entrenan.
• La sensibilidad al orden permanece. 7% de cambios de argmax y una dispersión de probabilidad p90 de 0.25 bajo reordenación de opciones. Un umbral cerca de una frontera de decisión puede cambiar la acción.
• La confianza de Score la calcula el código de servicio, no el checkpoint. Era 1 − E|level − mode| / (L − 1) cuando se escribió esta tarjeta; ahora es max(0, 1 − E|level − mode| / D), donde D es la desviación absoluta media de una distribución uniforme sobre los niveles, como en el adaptador de referencia de TypeSafe (system-one-adapter 0.2.1).
• La calibración no es una garantía. Un ECE de 0.03 tras el escalado por temperatura en estas fuentes no dice nada sobre la calibración en un flujo de trabajo nuevo. Las reglas de puntuación propias dan el incentivo correcto; no eliminan la necesidad de datos de resultados.
• Limitaciones heredadas de Qwen2.5-0.5B y de los conjuntos de datos, incluido su ruido de etiquetas, sesgos demográficos (p. ej. Yelp, intenciones bancarias) y cobertura solo en inglés.

Sesgo, riesgos y recomendaciones

Los conjuntos de entrenamiento llevan los sesgos de sus fuentes: categorías de noticias centradas en EE. UU., terminología bancaria en inglés, reseñas de restaurantes y etiquetas de NLI obtenidas por crowdsourcing. El modelo los reflejará.

Las salidas directas de probabilidad parecen autorizadas. Un confidence: 0.92 de este modelo es un estadístico sobre su propia distribución entre tres opciones, no una probabilidad verificada de acertar. No fijes umbrales con él para decisiones trascendentales sin medir antes la calibración con tus propios resultados etiquetados.

La propiedad de aislamiento de preguntas es una característica de seguridad real (el texto de una pregunta no puede manipular la respuesta de otra) y se verificó. La protección contra falsificación de delimitadores se verificó para los cinco tokens reservados. Otras vías de inyección de prompts a través del texto del estado no se han estudiado.

Impacto ambiental

Una ejecución de entrenamiento: ~1.75 h en un único SoC de portátil Apple M5 a unos 30–40 W, es decir, unos 0.06 kWh. La evaluación y las ejecuciones de prueba añaden una cantidad similar. Es poco.

Cita

@software{kev2026,
  title  = {kev: a laptop-scale reconstruction of a Jev-style decision model},
  author = {Palmer, Jared},
  year   = {2026},
  url    = {https://github.com/jaredpalmer/kev}
}

@misc{hume2026jev,
  title  = {Jev's Architecture Unmasked},
  author = {Hume, Archer},
  year   = {2026},
  url    = {https://archerhume.com/posts/jevs-architecture-unmasked}
}

Contacto

Abre un issue en github.com/jaredpalmer/kev.