Modelfile

Modelfile 描述一個派生模型：一個基礎模型，加上它應當始終提出的問題，以及可選的重新擬合校準、固定精度、許可證和描述。用 ollaya create 構建它，之後只給一個狀態就能按名字執行。

ollaya create triage -f Modelfile
ollaya run triage "I was charged twice for my subscription this month."

示例

# Support ticket triage
FROM laya:en

QUESTIONS """
{
  "department": {
    "type": "choice",
    "instructions": "Which team should handle this ticket?",
    "criteria": {
      "billing": "Payments, invoices and refunds",
      "technical": "Bugs, errors and outages",
      "account": "Login, profile and settings"
    }
  },
  "urgency": {
    "type": "score",
    "instructions": "How urgent is this ticket?",
    "criteria": ["Can wait", "Needs attention this week", "Needs attention today"]
  },
  "refund": {
    "type": "noul",
    "instructions": "Does the customer ask for money back?"
  }
}
"""

CALIBRATION ./calibration.json
PARAMETER precision fp32
DESCRIPTION Support ticket triage
LICENSE ./LICENSE

指令

指令	必填	值
`FROM`	是	基礎模型，例如 `laya:en`，或 `laya` 這樣的 router
`QUESTIONS`	否	內建題目：與 API 中 `questions` 相同的物件
`CALIBRATION`	否	替換基礎模型溫度的溫度值
`PARAMETER`	否	`precision fp16` 或 `precision fp32`，用於固定一張計算圖
`DESCRIPTION`	否	一行文字，由 `ollaya show` 和 `/v1/models` 顯示
`LICENSE`	否	派生模型的許可證文本

語法。 指令不區分大小寫；# 開始一行註釋。
取值。 QUESTIONS、CALIBRATION 和 LICENSE 接受相對於 Modelfile 的路徑（~/ 可用）、單行行內 JSON，或 """ 之間跨多行的塊。
未知輸入。 其他任何指令或參數都是錯誤。
拉取。 當 FROM 不在本機時，ollaya create 會先拉取它。

你省略的任何內容都從基礎模型繼承。當請求自帶 questions 時，它們會替換該次請求的內建題目。

FROM

要構建其上的模型。router 也可以；派生模型隨後會像它的基礎模型一樣路由：

FROM laya

QUESTIONS

當請求不帶題目時，模型提出的問題；按決策請求校驗（1–256 個問題）：

QUESTIONS ./questions.json

CALIBRATION

只有當機率經過校準，把它們用於閾值才有意義。Ollaya 用溫度縮放做校準：logits 除以每個問題型別和選項數量的溫度。CALIBRATION 用你在自己標註資料上重新擬合的溫度替換基礎模型的溫度：

{
  "temperature": [1.6, 1.25, 1.98],
  "temperature_by_options": {
    "choice:2": 1.9,
    "choice:3-5": 1.76,
    "score:3-5": 1.25,
    "noul:2": 1.98
  }
}

temperature 為每種問題型別（choice、score、noul）儲存一個回退值。temperature_by_options 的鍵是 <type>:<2|3-5|6-10|11+>，按問題的選項數量劃分。

PARAMETER

唯一的參數是 precision。裸模型帶一張 fp16 圖和一張 fp32 圖，載入時挑一張（CUDA GPU 上用 fp16，CPU 上用 fp32）。PARAMETER precision fp32 到處固定使用 fp32 圖，例如為了與一個 fp32 參考完全一致。

PARAMETER precision fp32

DESCRIPTION

DESCRIPTION Support ticket triage

LICENSE

隨模型一起提供的許可證文本，由 ollaya show --license 顯示。當你構建在 Apache-2.0 模型（如 Laya）之上時，保留它的許可證和署名。