Modelfile
Modelfile は派生モデルを記述します。ベースモデルに、常に尋ねるべき質問を加えたもので、任意で再フィットした較正、固定した精度、ライセンス、説明も含みます。ollaya create でビルドし、あとは状態ひとつで名前から実行できます。
ollaya create triage -f Modelfile
ollaya run triage "I was charged twice for my subscription this month."
例
# Support ticket triage
FROM laya:en
QUESTIONS """
{
"department": {
"type": "choice",
"instructions": "Which team should handle this ticket?",
"criteria": {
"billing": "Payments, invoices and refunds",
"technical": "Bugs, errors and outages",
"account": "Login, profile and settings"
}
},
"urgency": {
"type": "score",
"instructions": "How urgent is this ticket?",
"criteria": ["Can wait", "Needs attention this week", "Needs attention today"]
},
"refund": {
"type": "noul",
"instructions": "Does the customer ask for money back?"
}
}
"""
CALIBRATION ./calibration.json
PARAMETER precision fp32
DESCRIPTION Support ticket triage
LICENSE ./LICENSE
指示
| 指示 | 必須 | 値 |
|---|---|---|
FROM |
はい | ベースモデル(例:laya:en)、または laya のような Router |
QUESTIONS |
いいえ | 組み込みの質問。API の questions と同じオブジェクト |
CALIBRATION |
いいえ | ベースモデルの温度を置き換える温度 |
PARAMETER |
いいえ | precision fp16 または precision fp32。グラフをひとつ固定します |
DESCRIPTION |
いいえ | 1 行のテキスト。ollaya show と /v1/models が表示します |
LICENSE |
いいえ | 派生モデルのライセンス本文 |
- 構文。 指示は大文字小文字を区別しません。
#でコメント行が始まります。 - 値。
QUESTIONS、CALIBRATION、LICENSEは、Modelfile からの相対パス(~/も可)、1 行のインライン JSON、または"""で囲んだ複数行のブロックを受け取ります。 - 未知の入力。 それ以外の指示やパラメータはエラーです。
- プル。
FROMがこのマシンにないとき、ollaya createは先にそれをプルします。
省略したものはすべてベースモデルから継承されます。リクエストが自前の questions を送ると、そのリクエストでは組み込みの質問を置き換えます。
FROM
ベースにするモデル。Router でも構いません。派生モデルはベースと同じようにルーティングします:
FROM laya
QUESTIONS
リクエストが質問を持たないときにモデルが尋ねる質問。意思決定リクエストとして検証されます(1–256 個):
QUESTIONS ./questions.json
CALIBRATION
確率は較正されていて初めてしきい値に使えます。Ollaya は温度スケーリングで較正します。logits を、質問タイプと選択肢の数ごとの温度で割ります。CALIBRATION は、ベースモデルの温度を、自分のラベル付きデータで再フィットした温度に置き換えます:
{
"temperature": [1.6, 1.25, 1.98],
"temperature_by_options": {
"choice:2": 1.9,
"choice:3-5": 1.76,
"score:3-5": 1.25,
"noul:2": 1.98
}
}
temperature は質問タイプ(choice、score、noul)ごとに 1 つのフォールバックを保持します。temperature_by_options のキーは <type>:<2|3-5|6-10|11+> で、質問の選択肢の数によります。
PARAMETER
唯一のパラメータは precision です。素のモデルは fp16 と fp32 のグラフを 1 つずつ持ち、ロード時にどちらかを選びます(CUDA GPU では fp16、CPU では fp32)。PARAMETER precision fp32 はどこでも fp32 グラフを固定します。たとえば fp32 の参照と完全に一致させたいときに使います。
PARAMETER precision fp32
DESCRIPTION
DESCRIPTION Support ticket triage
LICENSE
モデルに同梱され、ollaya show --license が表示するライセンス本文。Laya のような Apache-2.0 モデルをベースにするときは、そのライセンスと帰属表示を保ってください。