ドキュメント

Modelfile

Modelfile は派生モデルを記述します。ベースモデルに、常に尋ねるべき質問を加えたもので、任意で再フィットした較正、固定した精度、ライセンス、説明も含みます。ollaya create でビルドし、あとは状態ひとつで名前から実行できます。

ollaya create triage -f Modelfile
ollaya run triage "I was charged twice for my subscription this month."

例

# Support ticket triage
FROM laya:en

QUESTIONS """
{
  "department": {
    "type": "choice",
    "instructions": "Which team should handle this ticket?",
    "criteria": {
      "billing": "Payments, invoices and refunds",
      "technical": "Bugs, errors and outages",
      "account": "Login, profile and settings"
    }
  },
  "urgency": {
    "type": "score",
    "instructions": "How urgent is this ticket?",
    "criteria": ["Can wait", "Needs attention this week", "Needs attention today"]
  },
  "refund": {
    "type": "noul",
    "instructions": "Does the customer ask for money back?"
  }
}
"""

CALIBRATION ./calibration.json
PARAMETER precision fp32
DESCRIPTION Support ticket triage
LICENSE ./LICENSE

指示

指示 必須 値
FROM はい ベースモデル(例:laya:en)、または laya のような Router
QUESTIONS いいえ 組み込みの質問。API の questions と同じオブジェクト
CALIBRATION いいえ ベースモデルの温度を置き換える温度
PARAMETER いいえ precision fp16 または precision fp32。グラフをひとつ固定します
DESCRIPTION いいえ 1 行のテキスト。ollaya show と /v1/models が表示します
LICENSE いいえ 派生モデルのライセンス本文
  • 構文。 指示は大文字小文字を区別しません。# でコメント行が始まります。
  • 値。 QUESTIONS、CALIBRATION、LICENSE は、Modelfile からの相対パス(~/ も可)、1 行のインライン JSON、または """ で囲んだ複数行のブロックを受け取ります。
  • 未知の入力。 それ以外の指示やパラメータはエラーです。
  • プル。 FROM がこのマシンにないとき、ollaya create は先にそれをプルします。

省略したものはすべてベースモデルから継承されます。リクエストが自前の questions を送ると、そのリクエストでは組み込みの質問を置き換えます。

FROM

ベースにするモデル。Router でも構いません。派生モデルはベースと同じようにルーティングします:

FROM laya

QUESTIONS

リクエストが質問を持たないときにモデルが尋ねる質問。意思決定リクエストとして検証されます(1–256 個):

QUESTIONS ./questions.json

CALIBRATION

確率は較正されていて初めてしきい値に使えます。Ollaya は温度スケーリングで較正します。logits を、質問タイプと選択肢の数ごとの温度で割ります。CALIBRATION は、ベースモデルの温度を、自分のラベル付きデータで再フィットした温度に置き換えます:

{
  "temperature": [1.6, 1.25, 1.98],
  "temperature_by_options": {
    "choice:2": 1.9,
    "choice:3-5": 1.76,
    "score:3-5": 1.25,
    "noul:2": 1.98
  }
}

temperature は質問タイプ(choice、score、noul)ごとに 1 つのフォールバックを保持します。temperature_by_options のキーは <type>:<2|3-5|6-10|11+> で、質問の選択肢の数によります。

PARAMETER

唯一のパラメータは precision です。素のモデルは fp16 と fp32 のグラフを 1 つずつ持ち、ロード時にどちらかを選びます(CUDA GPU では fp16、CPU では fp32)。PARAMETER precision fp32 はどこでも fp32 グラフを固定します。たとえば fp32 の参照と完全に一致させたいときに使います。

PARAMETER precision fp32

DESCRIPTION

DESCRIPTION Support ticket triage

LICENSE

モデルに同梱され、ollaya show --license が表示するライセンス本文。Laya のような Apache-2.0 モデルをベースにするときは、そのライセンスと帰属表示を保ってください。