Modelfile

Modelfile은 파생 모델을 설명합니다. 베이스 모델에 항상 던져야 할 질문을 더한 것이고, 선택적으로 다시 피팅한 캘리브레이션, 고정한 정밀도, 라이선스와 설명을 포함합니다. ollaya create로 빌드한 뒤에는 상태 하나만 주고 이름으로 실행할 수 있습니다.

ollaya create triage -f Modelfile
ollaya run triage "I was charged twice for my subscription this month."

예시

# Support ticket triage
FROM laya:en

QUESTIONS """
{
  "department": {
    "type": "choice",
    "instructions": "Which team should handle this ticket?",
    "criteria": {
      "billing": "Payments, invoices and refunds",
      "technical": "Bugs, errors and outages",
      "account": "Login, profile and settings"
    }
  },
  "urgency": {
    "type": "score",
    "instructions": "How urgent is this ticket?",
    "criteria": ["Can wait", "Needs attention this week", "Needs attention today"]
  },
  "refund": {
    "type": "noul",
    "instructions": "Does the customer ask for money back?"
  }
}
"""

CALIBRATION ./calibration.json
PARAMETER precision fp32
DESCRIPTION Support ticket triage
LICENSE ./LICENSE

지시

지시	필수	값
`FROM`	예	베이스 모델. 예: `laya:en`, 또는 `laya` 같은 라우터
`QUESTIONS`	아니요	내장 질문: API의 `questions`와 같은 객체
`CALIBRATION`	아니요	베이스 모델의 온도를 대체하는 온도
`PARAMETER`	아니요	`precision fp16` 또는 `precision fp32`. 그래프 하나를 고정합니다
`DESCRIPTION`	아니요	한 줄. `ollaya show`와 `/v1/models`가 표시합니다
`LICENSE`	아니요	파생 모델의 라이선스 텍스트

구문. 지시는 대소문자를 구분하지 않습니다. #은 주석 줄을 시작합니다.
값. QUESTIONS, CALIBRATION, LICENSE는 Modelfile 기준 상대 경로(~/도 가능), 한 줄 인라인 JSON, 또는 """ 사이의 여러 줄 블록을 받습니다.
알 수 없는 입력. 그 밖의 지시나 파라미터는 오류입니다.
풀. FROM이 이 머신에 없으면 ollaya create가 먼저 그것을 풀합니다.

빠뜨린 것은 모두 베이스 모델에서 상속됩니다. 요청이 자체 questions를 보내면 그 요청에서는 내장 질문을 대체합니다.

FROM

기반으로 삼을 모델입니다. 라우터도 됩니다. 그러면 파생 모델은 베이스와 같은 방식으로 라우팅합니다:

FROM laya

QUESTIONS

요청이 질문을 가져오지 않을 때 모델이 던지는 질문이며, 의사결정 요청처럼 검증됩니다(질문 1–256개):

QUESTIONS ./questions.json

CALIBRATION

확률은 캘리브레이션되어야만 임계값에 쓸모가 있습니다. Ollaya는 온도 스케일링으로 캘리브레이션합니다. logit을 질문 유형과 선택지 수마다의 온도로 나눕니다. CALIBRATION은 베이스 모델의 온도를, 직접 라벨링한 데이터로 다시 피팅한 온도로 대체합니다:

{
  "temperature": [1.6, 1.25, 1.98],
  "temperature_by_options": {
    "choice:2": 1.9,
    "choice:3-5": 1.76,
    "score:3-5": 1.25,
    "noul:2": 1.98
  }
}

temperature는 질문 유형(choice, score, noul)마다 폴백 하나를 담습니다. temperature_by_options의 키는 <type>:<2|3-5|6-10|11+>이며, 질문의 선택지 수에 따릅니다.

PARAMETER

유일한 파라미터는 precision입니다. 순수 모델은 fp16 그래프와 fp32 그래프를 하나씩 갖고 로드할 때 하나를 고릅니다(CUDA GPU에서는 fp16, CPU에서는 fp32). PARAMETER precision fp32는 어디서나 fp32 그래프를 고정합니다. 예를 들어 fp32 참조와 정확히 일치시키려는 경우입니다.

PARAMETER precision fp32

DESCRIPTION

DESCRIPTION Support ticket triage

LICENSE

모델과 함께 제공되며 ollaya show --license가 표시하는 라이선스 텍스트입니다. Laya 같은 Apache-2.0 모델 위에 빌드할 때는 그 라이선스와 저작자 표시를 유지하십시오.