의사결정 모델 용어집
원문 문서에서는 이 용어들이 모두 영어입니다. 이 사이트는 역어를 하나로 정하고 영어 원어를 함께 표기합니다.
- System OneSystem One 모델
소프트웨어가 곧바로 소비할 수 있는 빠른 구조화 의사결정을 내리도록 훈련된 모델의 부류입니다. 생성형 대규모 언어 모델과의 결정적 차이는 텍스트를 생성하지 않는다는 점입니다 —— 따라서 파싱할 내용도, 환각이 끼어들 여지도 없습니다. 출력은 타입이 지정된 값과 확률 분포이며, 코드는 그것으로 분기·정렬·라우팅을 할 수 있습니다. Jev가 첫 번째 System One 모델이고, Laya도 같은 부류에 속합니다.
- state상태
모델이 평가하도록 보내는 재료입니다. 이메일, 티켓, JSON 문서, 계약 문장의 한 구절 등입니다. 한 요청 안의 모든 질문은 같은 상태에 대해 서로 독립적으로 평가됩니다. 여기서 실용적인 성질이 하나 나옵니다. 질문을 늘려도 응답 시간이 거의 변하지 않고, 질문이 많다고 해서 컨텍스트가 손상되지도 않습니다.
- question질문（프리미티브）
상태에 대해 던지는 타입이 지정된 질문입니다. choice, score, noul 세 가지뿐입니다. “프리미티브”라는 이름은 소프트웨어 프리미티브에 비유한 것입니다 —— 모듈화되어 있고, 조합할 수 있으며, 구조적입니다. 한 요청에서 세 가지를 섞어 여러 개를 동시에 던질 수 있습니다.
- choicechoice（선택）
주어진 선택지 집합에서 하나를 고릅니다. Jev의 Choice는 최대 255개의 선택지를 지원합니다. 응답에는 선택된 항목과 함께 각 선택지의 확률과 전체 신뢰도가 나옵니다. 분류, 라우팅, 후보 집합에서 하나를 고르는 작업에 알맞습니다.
- scorescore（점수）
상태를 순서가 있고 설명이 붙은 척도 위에 놓습니다. 응답은 어느 단계에 해당하는지의 점수, 각 단계의 확률, 그리고 신뢰도입니다. choice와의 차이는 선택지 사이에 순서가 있느냐입니다. 흔한 함정은 “복합 판단을 한 번에 묻는 것”입니다 —— 올바른 방법은 여러 개의 원자적 score로 나눈 뒤, 코드에서 직접 정한 가중치로 합치는 것입니다.
- noulnoul（참·거짓 판단）
예/아니오 질문을 던져 “답이 예일” 확률(0–1)을 돌려받습니다. 이것은 신뢰도와 다른 것입니다. noul이 주는 것은 세계에 관한 확률이고, 신뢰도가 주는 것은 모델 자신의 판단이 얼마나 믿을 만한지입니다. 이 차이는 초심자가 가장 헷갈려 하는 지점입니다.
- confidence신뢰도（confidence）
모델이 이번 판단에 대해 얼마나 확신하는지를 나타내는 척도입니다. 이것이 System One 모델의 가장 쓸모 있는 출력입니다. 답은 “무엇인지”를 알려주고, 신뢰도는 “그것에 근거해 행동해야 하는지”를 알려줍니다. 대표적인 용법은 게이팅입니다 —— 임계값을 넘으면 자동 처리하고, 그 아래면 사람에게 넘깁니다. 모든 질문 유형이 이것을 돌려주는 것은 아닙니다. choice와 score는 돌려주고, noul은 확률 자체이므로 돌려주지 않습니다.
- calibration캘리브레이션（보정）
확률 출력이 “말한 대로”인지의 성질입니다. 모델이 70%라고 한 표본 가운데 실제로 약 70%가 양성이라는 뜻입니다. 두 모델 모두 엄격히 적절한 스코어링 규칙에 맞춘 강화 학습(Jev에서는 RLCD라고 부릅니다)으로 캘리브레이션을 훈련하며, 이것이 신뢰도를 게이팅에 쓸 수 있는 전제입니다 —— 캘리브레이션되지 않은 신뢰도는 그냥 숫자일 뿐, 임계값을 정하는 데 쓸 수 없습니다.\n\n⚠️ 하지만 “훈련에 캘리브레이션 목표를 썼다”는 것이 “출력되는 확률이 이미 캘리브레이션되었다”와 같지는 않습니다. 이 점에는 공개된 반증이 있습니다. 독립 실험이 Jev에게 공정한 주사위를 400번 맞히게 했더니 400번 모두 같은 면을 골랐고 평균 자기 보고는 82.9%였지만 실제 적중률은 19.0%였습니다. 사전 등록된 분포 외 테스트에서는 프리미티브마다 편향의 방향이 반대라는 결과도 나왔습니다. 실무에서는 신뢰도를 캘리브레이션해야 할 사전 분포로 다루고, 자기 데이터로 신뢰할 수 있는 구간을 측정하십시오 —— 가이드의 실측과 임계값 선택을 참조하십시오.
- escalation에스컬레이션（사람에게 이관）
신뢰도가 중간대에 떨어졌을 때 판단을 사람에게 넘기는 방법입니다. “실패 분기”가 아니라 설계된 한 단계입니다 —— 신뢰도가 높으면 자동 처리, 낮으면 폐기, 그 사이 구간은 사람에게 넘깁니다. 놓치기 쉬운 두 가지가 있습니다. 중간대는 인력 비용이라는 점(대역이 넓을수록 사람이 처리할 일이 많아집니다), 그리고 에스컬레이션에는 안전장치(fail-safe)가 있어야 한다는 점입니다 —— 그렇지 않으면 아무도 보지 않을 때 그 항목은 영원히 멈춰 있는데, 대시보드에서는 “모두 정상”과 똑같아 보입니다.
fast-jev-compaction6,653★ · foreman540★ →
- cascade캐스케이드
값싼 단계가 먼저 판단하고, 확신하지 못하는 부분만 더 비싼 모델에 넘깁니다. 절약되는 비율은 높은 신뢰 구간의 커버리지와 같으며(실측: 90% 이상 확신하는 37%에서 확정하면 대형 모델 호출의 37%를 절약합니다), 고정된 백분율이 아닙니다. 전제는 작은 모델의 오류가 무작위 잡음이라는 것입니다 —— 특정 유형의 입력에서 체계적으로 과신한다면, 그 유형은 결코 에스컬레이션되지 않습니다.
jev-review (devagrawal09)586★ · jev-search446★ →
- fan-out팬아웃
한 요청에서 질문을 많이 던지고 코드가 쓸모 있는 답을 골라내게 합니다. 절약되는 것은 주로 입력입니다. 같은 상태를 한 번만 보내므로 질문이 많을수록 요청당 고정 비용이 얇게 나뉩니다(실측: 질문 8개를 병렬로 처리할 때 입력 토큰 중앙값 76–86% 절약). ⚠️ 서로 독립적인 판단(분류, 점수 매기기, 필터링)에 알맞고, 서로 비교해야 하는 순위 매기기에는 알맞지 않습니다 —— 배치로 처리하면 순위 품질 게이트를 통과하지 못한다는 벤치마크 결과가 있습니다.
jev-review (devagrawal09)586★ · jev-search446★ →
- guardrail가드레일（게이팅）
콘텐츠가 시스템에 들어오거나 나가기 전에, 한 번의 구조화된 판단으로 “통과 / 검토 / 차단 / 우회”를 결정합니다. 핵심 트레이드오프는 임계값이 아니라 오류가 났을 때 어느 쪽으로 기우는가입니다. 위험을 막는 가드레일(권한, 비밀, 위험한 작업)은 fail-closed(오류가 나면 막음)여야 하고, 처리량을 지키는 가드레일(마무리 검사, 형식 검사)은 fail-open(오류가 나면 통과)이어야 합니다. 또 하나 반복해서 나오는 방식은 결정론적 규칙을 먼저 돌리고, 규칙으로 결정할 수 없는 회색 영역만 모델에 넘기는 것입니다.
fast-jev-compaction6,653★ · foreman540★ →
- abstention유보
모델이 자기 답에 확신이 없을 때, 그것을 버리지 않고 표시만 하는 메커니즘입니다. 요청에
min_confidence임계값을 주면 그것을 밑도는 답은low_confidence로 표시되어 돌아오고, 답 자체는 그대로 반환됩니다 —— 무엇을 할지는 호출자가 정합니다. 게이트가 보고하는 상태는 세 가지입니다.passed(임계값을 넘음),abstained(임계값 아래로 떨어짐),unevaluated(답에 쓸 수 있는 신뢰도가 없어 게이트가 판단할 수 없음). 임계값을 설정하지 않으면 키가 하나도 나타나지 않습니다. 부재가 곧 보고이며, 네 번째 상태가 아닙니다.- local deployment로컬 배포
오픈 결정 모델을 자기 머신에서 실행하는 방식이며, Ollaya는 그중 바로 쓸 수 있는 방법 하나입니다. 요점은 가중치를 로컬 디스크에 두고,
127.0.0.1:11435같은 루프백 주소로 제공하며, 호출당 요금이 없고, 데이터가 자기 환경 밖으로 나가지 않는다는 것입니다. 배포와 모델은 서로 다른 층입니다. 하나의 배포로 여러 모델을 돌릴 수 있지만, 얻는 정확도는 배포가 아니라 모델의 것입니다.