Modelfile

Modelfile 描述一个派生模型：一个基础模型，加上它应当始终提出的问题，以及可选的重新拟合校准、固定精度、许可证和描述。用 ollaya create 构建它，之后只给一个状态就能按名字运行。

ollaya create triage -f Modelfile
ollaya run triage "I was charged twice for my subscription this month."

示例

# Support ticket triage
FROM laya:en

QUESTIONS """
{
  "department": {
    "type": "choice",
    "instructions": "Which team should handle this ticket?",
    "criteria": {
      "billing": "Payments, invoices and refunds",
      "technical": "Bugs, errors and outages",
      "account": "Login, profile and settings"
    }
  },
  "urgency": {
    "type": "score",
    "instructions": "How urgent is this ticket?",
    "criteria": ["Can wait", "Needs attention this week", "Needs attention today"]
  },
  "refund": {
    "type": "noul",
    "instructions": "Does the customer ask for money back?"
  }
}
"""

CALIBRATION ./calibration.json
PARAMETER precision fp32
DESCRIPTION Support ticket triage
LICENSE ./LICENSE

指令

指令	必填	值
`FROM`	是	基础模型，例如 `laya:en`，或 `laya` 这样的 router
`QUESTIONS`	否	内置题目：与 API 中 `questions` 相同的对象
`CALIBRATION`	否	替换基础模型温度的温度值
`PARAMETER`	否	`precision fp16` 或 `precision fp32`，用于固定一张计算图
`DESCRIPTION`	否	一行文字，由 `ollaya show` 和 `/v1/models` 显示
`LICENSE`	否	派生模型的许可证文本

语法。 指令不区分大小写；# 开始一行注释。
取值。 QUESTIONS、CALIBRATION 和 LICENSE 接受相对于 Modelfile 的路径（~/ 可用）、单行行内 JSON，或 """ 之间跨多行的块。
未知输入。 其他任何指令或参数都是错误。
拉取。 当 FROM 不在本机时，ollaya create 会先拉取它。

你省略的任何内容都从基础模型继承。当请求自带 questions 时，它们会替换该次请求的内置题目。

FROM

要构建其上的模型。router 也可以；派生模型随后会像它的基础模型一样路由：

FROM laya

QUESTIONS

当请求不带题目时，模型提出的问题；按决策请求校验（1–256 个问题）：

QUESTIONS ./questions.json

CALIBRATION

只有当概率经过校准，把它们用于阈值才有意义。Ollaya 用温度缩放做校准：logits 除以每个问题类型和选项数量的温度。CALIBRATION 用你在自己标注数据上重新拟合的温度替换基础模型的温度：

{
  "temperature": [1.6, 1.25, 1.98],
  "temperature_by_options": {
    "choice:2": 1.9,
    "choice:3-5": 1.76,
    "score:3-5": 1.25,
    "noul:2": 1.98
  }
}

temperature 为每种问题类型（choice、score、noul）保存一个回退值。temperature_by_options 的键是 <type>:<2|3-5|6-10|11+>，按问题的选项数量划分。

PARAMETER

唯一的参数是 precision。裸模型带一张 fp16 图和一张 fp32 图，加载时挑一张（CUDA GPU 上用 fp16，CPU 上用 fp32）。PARAMETER precision fp32 到处固定使用 fp32 图，例如为了与一个 fp32 参考完全一致。

PARAMETER precision fp32

DESCRIPTION

DESCRIPTION Support ticket triage

LICENSE

随模型一起提供的许可证文本，由 ollaya show --license 显示。当你构建在 Apache-2.0 模型（如 Laya）之上时，保留它的许可证和署名。