Kev-0.5B — прототип (заменён)

Kev-0.5B — это модель принятия решений. Она принимает один документ (состояние) и набор типизированных вопросов и возвращает распределение вероятностей для каждого вопроса за один прямой проход. Текст она не генерирует.

Это LoRA-адаптер плюс небольшая указательная голова поверх Qwen/Qwen2.5-0.5B. Она воспроизводит архитектуру, которую Archer Hume вывел для Jev от TypeSafe в Jev’s Architecture Unmasked, и реализует публичный контракт API TypeSafe /v1/systemone.

Этот чекпойнт — исходный прототип, обученный на ноутбуке в сентябре 2026 года, чтобы показать, что механизм работает. Его заменяют Kev-0.8B, Kev-4B и Kev-9B, которые используют базы Qwen3.5, замороженные наборы с контрольными суммами и рецепт, найденный примерно через 110 контролируемых прогонов; на тех же элементах вне домена (transfer-v4 dev) эта модель набирает 0.561 против 0.643 / 0.794 / 0.812.620 / 0.790 / 0.796. Он остаётся на Hub для справки и воспроизводимости; для всего остального используйте текущее семейство.

• Hub: jaredpalmer/kev-0.5b (тег v0.1)
• Код, рецепт обучения, оценка и демо: github.com/jaredpalmer/kev
• Веса: GitHub release v0.1.0, kev-0.5b.tar.gz (38 МБ; LoRA-адаптер adapter_model.safetensors, голова head.pt, файлы токенизатора, eval.json, журнал обучения). SHA-256 15639f79…6e12f8, полный дайджест в сайдкаре .sha256. Распаковать в runs/kev/. Веса не коммитятся в git.

Детали модели

Назначение

Назначение. Исследования моделей принятия решений: калибровка прямых вероятностных считываний, внимание с общим состоянием и изолированными вопросами, чувствительность к порядку вариантов и совместимость на уровне API с контрактом System One от TypeSafe. Локальные демо и обучение.

Не предназначено. Для любых производственных решений, затрагивающих людей: модерация, фрод, кредитование, найм, медицинская или юридическая маршрутизация. Знания модели ограничены бэкбоном на 0.5B, её калибровка проверена только на обучающих распределениях, а выходы на незнакомых задачах не измерялись.

Как используется модель

На вход подаётся одна упакованная последовательность токенов:

<state> …state…  <q> instr <opt> o1 </opt> <opt> o2 </opt> … <decide>  <q> … <decide>  …

• Маска внимания позволяет токену вопроса видеть только состояние и собственную ветвь. Вопросы не видят друг друга.
• Каждая ветвь начинает позиционные id заново после состояния.
• Для каждого вопроса голова оценивает каждое скрытое состояние </opt> против скрытого состояния <decide> и применяет softmax.
• Прикладной код превращает распределения в ответ API: choice/confidence для Choice, p(yes) для Noul, ожидаемый уровень для Score.

Зарезервированные токены — это существующие специальные токены Qwen (<|fim_prefix|>, <|fim_middle|>, <|box_start|>, <|box_end|>, <|fim_suffix|>). Пользовательский текст санируется, чтобы он не мог их породить.

Запустите с помощью python -m kev.serve --run runs/kev и вызывайте POST /v1/systemone, либо используйте typesafe-sdk с base_url="http://127.0.0.1:8009".

Обучающие данные

Шесть публичных наборов данных, преобразованных в запросы формы TypeSafe и отрендеренных тем же путём кода, что и при обслуживании (api.to_record()). По 1 500 записей было взято на источник из стандартных train-сплитов, что дало 9 000 записей и 13 500 вопросов (4 500 Choice, 6 000 Noul, 3 000 Score).

Вариации рендеринга, применённые при преобразовании: ~30% описаний вариантов null, ~10% структурированных описаний {"what": …}, ~15% структурированных инструкций {"question", "focus"}, ~32% состояний, обёрнутых в объекты или массивы ({"document"}, {"ticket": {"channel","body"}}, [{"role","content"}]).

Аугментация, применявшаяся один раз на запись перед кодированием: порядок вариантов перемешан; с вероятностью 0.10 истинный вариант заменён на other: None of the above; с вероятностью 0.15 добавлен нерелевантный вариант-дистрактор.

Никаких сгенерированных LLM данных. Никакой ручной разметки помимо исходных наборов данных.

Процедура обучения

Этот чекпойнт старше двух членов лосса, которые теперь по умолчанию в kev/train.py: порядкового члена для Score (--ord_w) и KL согласованности перестановок для Choice (--perm_kl). Чтобы воспроизвести этот чекпойнт в точности:

uv run python -m kev.train --n_per_source 1500 --epochs 2 --accum 8 --perm_kl 0 --ord_w 0 --out runs/kev

Учтите, что теперь аугментация применяется заново каждую эпоху, а не фиксируется при кодировании, поэтому повторный прогон не будет бит-в-бит идентичным.

Оценка

Отложенные сплиты test / validation тех же шести источников, по 150 записей на источник, 1 350 вопросов, seed 1. Полные результаты в runs/kev/eval.json.

Точность и калибровка

Бейзлайны: Qwen/Qwen2.5-0.5B (сырая) и Qwen/Qwen2.5-0.5B-Instruct (chat-шаблон), тот же отрендеренный текст, логиты следующего токена по буквам вариантов A–H; не запускались для K = 77. ECE использует 10 равномерных бинов по верхней вероятности.

Температурное масштабирование

Подгонка на записях с чётными индексами, тест на нечётных: T = 1.47. Отложенный NLL 0.505 → 0.481, ECE 0.057 → 0.031. До масштабирования модель слегка самоуверенна.

Тесты механизма

Ограничения

• Только в распределении. Все числа выше — на отложенных сплитах обучающих наборов данных. Обобщение за пределы источников для этого чекпойнта не измерялось.
• Малый бэкбон. 0.5B параметров. На примере структурированных критериев из документации TypeSafe модель выбирает return_policy, тогда как Jev выбирает return_status. Понимание текста (BoolQ 0.75, MNLI 0.75) далеко от передовых результатов.
• Узкий охват задач. Шесть наборов данных и около десяти шаблонов инструкций. Код, таблицы, многоходовой чат, арифметика и многошаговые условия не обучались.
• Чувствительность к порядку сохраняется. 7% смен argmax и разброс вероятностей p90 0.25 при переупорядочивании вариантов. Порог вблизи границы решения может изменить действие.
• Уверенность Score вычисляется кодом обслуживания, а не чекпойнтом. На момент написания этой карточки она была 1 − E|level − mode| / (L − 1); теперь это max(0, 1 − E|level − mode| / D), где D — среднее абсолютное отклонение равномерного распределения по уровням, как в эталонном адаптере TypeSafe (system-one-adapter 0.2.1).
• Калибровка — не гарантия. ECE 0.03 после температурного масштабирования на этих источниках ничего не говорит о калибровке на новом рабочем процессе. Правильные правила оценки дают верный стимул; они не устраняют потребность в данных об исходах.
• Унаследованные ограничения от Qwen2.5-0.5B и от наборов данных, включая шум в метках, демографические смещения (например, Yelp, банковские интенты) и покрытие только английским языком.

Смещения, риски и рекомендации

Обучающие наборы несут смещения своих источников: новостные категории с центром в США, английская банковская терминология, отзывы о ресторанах и краудсорсинговые метки NLI. Модель будет их отражать.

Прямые вероятностные выходы выглядят авторитетно. confidence: 0.92 от этой модели — это статистика о её собственном распределении по трём вариантам, а не проверенная вероятность оказаться правой. Не задавайте по ней порог для значимых решений, не измерив сначала калибровку на собственных размеченных исходах.

Свойство изоляции вопросов — это настоящая функция безопасности (текст одного вопроса не может манипулировать ответом другого), и оно было проверено. Защита от подделки разделителей была проверена для пяти зарезервированных токенов. Другие пути prompt-инъекций через текст состояния не изучались.

Воздействие на окружающую среду

Один прогон обучения: ~1.75 ч на одном ноутбучном SoC Apple M5 при примерно 30–40 Вт, то есть около 0.06 кВт·ч. Оценочные и дымовые прогоны добавляют сопоставимо. Это немного.

Цитирование

@software{kev2026,
  title  = {kev: a laptop-scale reconstruction of a Jev-style decision model},
  author = {Palmer, Jared},
  year   = {2026},
  url    = {https://github.com/jaredpalmer/kev}
}

@misc{hume2026jev,
  title  = {Jev's Architecture Unmasked},
  author = {Hume, Archer},
  year   = {2026},
  url    = {https://archerhume.com/posts/jevs-architecture-unmasked}
}

Контакты

Откройте issue на github.com/jaredpalmer/kev.