文档导航

HTTP API

laya-serve 通过 TypeSafe Jev 的 /v1/systemone 线上协议暴露 Laya。一个针对 Jev 写的客户端 —— hs-jev、typesafe-sdk,或你自己的 —— 把 base URL 指向这台服务器就能继续用:Laya 的 predict() 输出本就 schema 兼容,服务器只加了 HTTP 这一层:一条决策路由、一个健康探测、一个 可选的 bearer 校验和请求限额。

有一个面向 PHP 的客户端,目标不是 Jev API 而是 laya-serve: marcreichel/laya-php 是一个 Composer SDK(PHP 8.4+), 它把一类 enum 和 attribute 映射到问题上并返回一个实例,读取 GET /health 做部署检查,还附带 一个测试替身,让调用方无需运行服务器就能做单元测试。

pip install "laya[serve]"
laya-serve            # http://0.0.0.0:8000

同一个入口也能嵌进任何 ASGI 服务器:laya.serve.create_app() 构建这个 FastAPI 应用,可选地 注入一个 Router(create_app(router)),而不是从环境里构建一个。

配置

全部是环境变量,所以一个镜像既能服务笔记本上的开发运行,也能服务一个 systemd 单元。

环境变量 含义 默认值
LAYA_HOST 绑定地址 0.0.0.0
LAYA_PORT 绑定端口 8000
LAYA_ROOT_PATH 在反向代理之后服务时的公开 URL 前缀 空
LAYA_DEVICE 每个 checkpoint 用的 torch 设备 auto
LAYA_PRELOAD 启动时就构建 checkpoint,而不是懒加载 1
LAYA_MODELS 要预加载的逗号列表(english,multilingual,typed-decisions);留空 = 全部 全部
LAYA_THREADS 限制 CPU 上 torch 的进程内线程数;保持在物理核心数以内 —— 超额订阅逻辑核心会带来很大的性能回退 torch 默认
LAYA_AUTO_TASK 自动路由到 typed-decisions checkpoint 0
LAYA_IDLE_UNLOAD_SECONDS 空闲这么多秒后卸载常驻的 checkpoint;下一次请求会重新加载它的 checkpoint。设为零则禁用卸载 0
LAYA_MAX_LOADED 一次保持常驻的 checkpoint 数;上限低于路由所选的数目时,每切换一次就要重建一个,而 preload() 会把这个上限抬高到足以容纳它构建的所有 checkpoint 2
LAYA_MAX_TOKEN_BUDGET 对逐请求 max_len 和 head_max_len 覆盖值的服务端上限;更大的值会得到 422。无法解析或非正数的输入会记一条警告并回退 8192
LAYA_DEFAULT_MODEL 没有语言证据的 state 回退到的 checkpoint;像 ml 这样的别名按核心解析它们的方式解析,无法解析的名字会在启动时让服务器停止 english
LAYA_EXTRA_MODELS 一个 JSON 对象 {name: source},在内置 checkpoint 之外注册额外的 checkpoint:一个 Hub repo id 或本地 checkpoint 目录,写成字符串,或者写成一对 ["repo", "subfolder"]。这些名字获得与内置 checkpoint 相同的 model= 指定能力;格式错误的值或坏名字会在启动时让服务器停止 无
LAYA_API_KEY 设置后要求 Authorization: Bearer <key> 无
LAYA_LOG_LEVEL uvicorn 日志级别 info
LAYA_MAX_CONCURRENT 通过鉴权后一次接纳的请求数;超出的拿到 503 16
LAYA_MAX_BATCH_TOKENS 一次 /v1/systemone/batch 的前向传播可以拼接(collate)的 token 数(states x 问题数 x 行宽);更大的批次会被拆成多次传播,而不是被拒绝 131072
LAYA_JEV_STRICT 提供严格的 Jev 线上契约:不发送根级 routing,每条答案不带 action / answer_confidence,noul 答案不带 confidence,且 usage 缩减为 input_tokens + output_tokens。供那些按 Jev 契约校验响应、不允许任何额外字段的客户端使用 0

对于一个发布在 /laya 这类前缀下的部署,设置 LAYA_ROOT_PATH=/laya。FastAPI 在生成 OpenAPI 和 Swagger UI URL 时会用它。把反向代理配置成在把请求转发给 Laya 之前剥掉 /laya;应用内部的 路由仍然是 /health 和 /v1/systemone。

容器(包括 CUDA 和 ARM64 镜像)见 Docker 快速开始。

对于突发的本地使用,设置 LAYA_IDLE_UNLOAD_SECONDS=300。推理和卸载跑在同一个 worker 上,空闲 窗口在一次单条或批量前向传播结束时重新开始计时,失败的请求也算。下一次预测要付一次冷加载的 代价。卸载会释放模型引用和设备缓存,包括 Metal;进程分配器可能保留 RAM 页,所以进程 RSS 不一定 会下降一个 checkpoint 那么多。

端点

GET /health

存活探针永远开放(无需鉴权),并且在推理期间保持响应,因为 CPU 密集的前向传播跑在它自己的 worker 上,而不是事件循环上。设置了 LAYA_API_KEY 的部署上,存活之后的那些字段并不开放:没有 bearer 时,/health 只回 {"status": "ok"},别的什么都没有,因为其余部分点名了常驻的 checkpoint、它们确切的 revision SHA、设备状态,以及每个 checkpoint 最近一次的回退原因(那会引用 主机硬件)。探针只需要那个 200,所以健康检查不受影响,带错 bearer 仍然是 200 而不是 401。没有 设置 LAYA_API_KEY 时,每个调用方都拿到这里展示的完整载荷。

{"status": "ok", "loaded": ["english", "multilingual"], "revisions": {"english": "...", "multilingual": "..."},
 "device": "cuda", "device_is_preference": false,
 "checkpoint_devices": {"english": "cuda", "multilingual": "cuda"},
 "cpu_fallbacks": {"english": {"count": 0, "last_reason": null}, "multilingual": {"count": 0, "last_reason": null}}}

这是某一台服务器的答复,所以各块彼此一致:revisions、checkpoint_devices 和 cpu_fallbacks 的每个键都是 loaded 里的一个名字。tests/test_serve.py 逐字段地把这个样例和产生它的处理器 对齐。

启用了空闲卸载时,通过鉴权的健康响应还会带上 idle_unload_seconds(配置的窗口)和 idle_seconds(自上次推理请求或完成以来的时间)。健康探针不会重置那个时钟。空闲卸载之后 loaded 列表为空是正常的。

  • status 只要进程还能作答就是 ok。它对 checkpoint 只字未提。
  • loaded 列出常驻内存的 checkpoint。在一次请求构建出一个之前它是空的,LAYA_PRELOAD=0 就是 让进程一直处于这种状态。
  • revisions 是每个常驻 checkpoint 加载时所来自的 artifact 版本,以和 loaded 相同的名字为键, 这样一个部署能确认它实际在服务什么。
  • device 是常驻 checkpoint 真正在其上计算的设备,它不总是 LAYA_DEVICE 要求的那个:一个想要 GPU 却拿不到的 checkpoint 会静默回退到 CPU,并且仍然正确作答。没有任何常驻 checkpoint 时, 它是配置的偏好设备。
  • device_is_preference 恰好在没有任何常驻 checkpoint 时为 true,而在处理器能测量时立刻变为 false。这就是「服务器在报告它的配置」和「服务器在报告它的工作跑在哪里」的区别:一个悄悄 丢了 GPU 的服务器会说 false 且 device 为 cpu,而不是继续回答 cuda。
  • checkpoint_devices 给出每个 checkpoint 的测量值,以 loaded 里的名字为键;device 就是这些 值里的第一个。
  • cpu_fallbacks 按常驻 checkpoint 统计耗尽了 GPU 显存并在 CPU 上重试过一次的请求:count 是 自进程启动以来的次数,last_reason 携带最近一次的错误文本。这种降级只作用于失败的那次请求, 所以一个因为 GPU 从来就不可用而在 CPU 上构建的 checkpoint 不算回退,这里计数为 0 —— 那会 体现在 device 里。

POST /v1/systemone

一次请求带一个 state 和它上面任意数量的问题:

curl -s localhost:8000/v1/systemone -H 'content-type: application/json' -d '{
  "state": "I was charged twice this month, I want my money back",
  "questions": {
    "queue":   {"type": "choice", "instructions": "Which team?",
                "criteria": {"billing": "billing and refunds", "tech": "login and app issues",
                             "other": "everything else"}},
    "urgency": {"type": "score",  "instructions": "How urgent?",
                "criteria": ["calm", "firm", "angry", "furious"]}
  }
}'
字段 必填 含义
state 是 要据以决策的文本、邮件、工单或 JSON 文档;缺失或为 null 的 state 会得到 400
questions 是 按问题 id 索引的对象;每个问题是 choice / score / noul,带 instructions 和 criteria
model 否 指名一个 checkpoint;路径或未发布的 Hub id 是 422,其他任何值都被忽略(见下)
task 否 用工作流名强制指定一个 checkpoint,而不是让路由决定;未知的名字会得到一个点名它的 422
lang 否 一个语言代码(de、en-US),当它指名一种语言时跳过检测;空白或无法识别的代码会落到检测这一步
lang_guess 否 来自客户端自带识别器的语言代码,在 lang 之后、检测之前参考;任何非英文代码都路由到 multilingual checkpoint
max_len 否 这次请求的总 token 窗口,由 LAYA_MAX_TOKEN_BUDGET 设上限
head_max_len 否 选项提示词共享的 token 窗口,同样受上限约束;什么时候一个问题需要它,见放宽 token 预算
min_confidence 否 弃答阈值:一个 [0.0, 1.0] 里的数,或者一个按选项数分桶的映射(以选项数桶为键,如 {"choice:3-5": 0.9, "default": 0.4}),这样阈值可以随选项数而不同;answer_confidence 低于它自己阈值的答案会带 low_confidence 标记返回,而答案本身仍然保留

model、task、lang、lang_guess、max_len、head_max_len 和 min_confidence 是 Router.predict 接受、而 JSON body 可以写明的参数;每一个只在请求发了它时才转发,所以缺了某个 时,由部署自己的 Router(...) 设置说了算。predict 还接受的五个钩子参数 —— hooks、 on_predict_start、on_predict_end、hooks_raise、hooks_timeout —— 会被以 422 拒绝, 而不是被丢弃:钩子是一个在服务器进程内部运行的可调用对象,而最后两个说明部署安装的钩子如何 执行,所以调用方发来的任何值在这里都没有意义。同样这五个会被一个带 base_url 的 LangChain 节点(laya.integrations.langchain)在客户端拒绝,所以一条链和一个裸 HTTP 客户端现在得到同样 的答复。

接受 model 是为了让 Jev 客户端能继续发它。公开的 Hugging Face id (convaiinnovations/laya-multilingual、convaiinnovations/laya-typed-decisions)、checkpoint 名(english、multilingual、typed-decisions)及其别名会选定一个 checkpoint, LAYA_EXTRA_MODELS 在这台服务器的 Router 上注册的每一个名字同样如此 —— 包括把一个内置 checkpoint 重新指过去的名字,这正是无需改动代码就能在 english 之下服务一次微调的方式。 convaiinnovations/laya,以及任何其他不是路径或 Hub repo id 的值 —— 包括像 jev-1 这样的 Jev id —— 都表示「让路由器来选」,响应里的 routing 块记录选了什么以及为什么。一个看起来像 文件系统路径或未发布 Hub id 的值(/path/to/checkpoint、org/repo、~/ckpt、.\ckpt)在 /v1/systemone 和 /v1/systemone/batch 上都会得到 422:这台服务器加载不了它,而用另一个 checkpoint 来作答会掩盖这一点。detail 和核心抛出的 unknown model 文本相同,再加上一句提醒: 省略 model 让路由器来选。

响应

{
  "model": "laya-rl-agent",
  "answers": {
    "queue": {"type": "choice", "choice": "billing",
              "probabilities": {"billing": 0.9519, "tech": 0.0327, "other": 0.0154},
              "confidence": 0.797, "answer_confidence": 0.9519,
              "action": {"act_probability": 1.0}, "x_jev_confidence": 0.9278},
    "urgency": {"type": "score", "score": 1.6994,
                "legend": {"0": "calm", "1": "firm", "2": "angry", "3": "furious"},
                "probabilities": {"0": 0.0249, "1": 0.4136, "2": 0.3985, "3": 0.1629},
                "confidence": 0.1925, "answer_confidence": 0.4136,
                "action": {"act_probability": 1.0}, "x_jev_confidence": 0.2507}
  },
  "usage": {"input_tokens": 83, "output_tokens": 0, "state_tokens": 12,
            "state_tokens_dropped": 0, "truncated": false, "truncated_questions": []},
  "routing": {"model": "english", "repo": "convaiinnovations/laya", "reason": "English Latin text",
              "detection": {"script": "latin", "script_profile": {"latin": 1.0}, "language": "en",
                            "is_english": true, "language_undecided": false, "diacritic_rate": 0.0,
                            "non_latin_fraction": 0.0, "mixed_segment": null},
              "workflow": null}
}

这个样例是这台服务器给出的一条答案,逐字照录:就是上面的请求,用 CPU 上缓存的 english checkpoint。answers 和 usage 是 Jev 客户端要解码的键;model 是决策头那个固定的名字,而 实际作答的 checkpoint 在 routing 里。

答案类型 键
choice choice(argmax 选项),每个选项的 probabilities,x_jev_confidence
score score(期望档位索引,可能落在档位之间),以 "0".. "k-1" 为键的 probabilities,把索引映射到档位文本的 legend,x_jev_confidence
noul noul,yes 选项的概率
全部 type(判别字段,回显问题自己的类型)、confidence、answer_confidence 和 action.act_probability
gate abstention、abstention_threshold 和 low_confidence,由弃答门写出 —— 见下

gate 这一行是弃答报告(#361),也是调用方唯一能看出它花钱启用的门确实运行过的地方。设置了 min_confidence 的请求会拿到它;没设置的请求三个键一个都拿不到。abstention 是三种状态之一, 写在一次受门控请求的每一条答案上:passed(它的置信度越过了阈值)、abstained(它落到 阈值以下,并且 low_confidence 恰好在这些答案上为 true),或者 unevaluated(答案没有携带 可用的置信度,门无法裁决 —— 把它报成通过,和把它报成标记是同一种谎)。abstention_threshold 回显那些状态所对照的阈值,正是这一点让一次带逐类阈值的批量运行可以在事后重新拆分。 min_confidence 未设置时,三个键都不会出现在任何答案上:缺席就是报告,而不是第四种状态,调用方 正是靠它区分一次未受门控的运行和一次干净通过的门。恰好为 0.0 的 min_confidence 是设置了 的,所以状态会被报告,而没有任何东西能落在那之下,于是每条答案都读作 passed —— 回显的 0.0 正是用来把它和在一个真实阈值上的通过区分开的东西。答案本身在每种状态下都保留;门只做标记, 不丢弃。

usage 报告前向传播是由什么构建起来的。模型读一个 state 的多少,是一个 token 预算,而不是字符 数,而预算会随 max_len、head_max_len 以及每个问题自己的选项提示词(#174)而变动,所以这些键 是那个事实唯一可见的地方:

usage 键 含义
input_tokens state 各行非 padding 的 token —— 每个问题一行,所以它随问题数增长,而不是一个上下文长度
output_tokens 永远是 0 —— 决策头一次传播就作答,它不生成任何东西
state_tokens 整个序列化 state 需要的 token 数
state_tokens_dropped 其中至少一个问题没拿到的 token 数:对所有问题取最坏情况,因为每个问题留给 state 的空间不同
truncated 当那个最坏情况丢掉了任何东西时为 true
truncated_questions 自己的窗口被削减的那些问题的 id,没有时为 []
options 仅当某个问题的选项不再各自拥有一个 token 跨度时出现:以问题 id 为键,带 total(那个问题定义的选项数)、distinct(到达序列的跨度数)和 tokens_per_option

一个被截断的答案仍然是一条答案 —— 决策头根据它拿到的证据来裁决 —— 但一个按字符数来给 state 定规模的调用方,在响应的其他任何地方都看不到这次削减。

routing 记录是哪个 checkpoint 作答以及为什么:

routing 键 含义
model 作答的 checkpoint:english、multilingual 或 typed-decisions
repo 它从何处加载,写作 repo 或 repo/subfolder。默认服务器从 convaiinnovations/laya 这个 bundle 加载全部三个,所以 multilingual 和 typed-decisions 报告 convaiinnovations/laya/multilingual 和 convaiinnovations/laya/typed-decisions —— 一个可读的 id,而不是用来抓取的 Hub repo id
reason 这个选择的那句话,点名它据以行动的证据
detection 对 state 跑 laya.lang.analyse() 的结果 —— script、script_profile、language、is_english、language_undecided、diacritic_rate、non_latin_fraction、mixed_segment —— 或者当路由在读文本之前就已经决定时为 null
workflow 问题 id 匹配到的 typed-decisions 工作流,或者 null

在每一条不读 state 就决定的路径上,detection 都是 null:被 model 或 task 强制的那条、 由 lang 或 lang_guess 作答的那条,或从问题 id 匹配到 typed-decisions 工作流的那条。 lang_guess 不留下自己的键 —— 它据以行动的提示在 reason 里点名。model 和 task 这两条分支 也把 workflow 报成 null,因为它们在被读问题 id 之前就作答了。

置信度:三个数字,不可互换

  • answer_confidence 是落在所报告答案上的概率质量(max(p))。它正是温度缩放所拟合的量,也是 本仓库 ECE 数字所计算的量,所以它承载着基准与已知限制页所依赖的门控性质 —— 但只对你的流量上验证过温度拟合的 checkpoint 成立。
  • confidence 每种类型含义不同:在 choice 和 score 上是归一化熵 1 - H(p)/log(k),在 noul 上是 max(p_yes, p_no)(此时它等于 answer_confidence)。
  • x_jev_confidence 是 Jev 会对同一组概率报告的 confidence,只出现在 choice 和 score 答案上 (Jev 的 noul 答案没有置信度)。它用 TypeSafe 自己的公式:choice 上是 (p_max - 1/n)/(1 - 1/n), 而 score 上则是一减去「到最可能档位的概率加权距离」,再按均匀分布的同样距离缩放。

绝不要把这三个数字拿来和同一个阈值比较。从 Jev 迁移时,一个从 Jev 部署带过来的阈值在 Laya 的熵 confidence 上门控方式不一样(#302);要拿它对着 x_jev_confidence 读。x_ 前缀让这个字段避开 Jev 以后新增的任何名字。

严格的 Jev 契约:LAYA_JEV_STRICT

上面的载荷是完整的 Laya 载荷。一个客户端可能要求它遵守的 Jev 契约定义的东西更少:三个顶层字段 (model、answers、usage)、每条答案上契约规定的键而别无其他,以及一个只含两个 token 计数的 usage。一个按那个契约、不允许任何额外字段来校验响应的客户端 —— OpenClaw 的 TypeSafe provider 插件就是其一 —— 会拒绝这个完整载荷,所以 LAYA_JEV_STRICT=1 会在作答之前把响应投影到契约上, 在 /v1/systemone 和 /v1/systemone/batch 上都是如此:

  • 根级只保留 model、answers 和 usage;routing 不发送;
  • 一条 choice 答案保留 type、choice、probabilities 和 confidence;
  • 一条 score 答案保留 type、score、probabilities、confidence 和 legend;
  • 一条 noul 答案保留 type 和 noul;
  • usage 保留 input_tokens 和 output_tokens;截断事实和折叠选项的天花板不发送;
  • x_jev_confidence 不发送,和其他新增字段一样。

这个投影只保留契约规定的键,且不重算任何东西:每个值都是结果本来就携带的那个,所以严格客户端 读到的概率和分数,与完整载荷报告的一模一样。默认仍是完整载荷,而一个打开这个标志的部署会失去 usage 提供的截断可见性 —— 一个被削减的 state 那时只在日志里可见,不在响应里。在严格契约下, score 的 criteria 应该保持为纯字符串:严格客户端会把返回的 legend 和它发来的 criteria 作 比较,而 Laya 用 Python 的 JSON 渲染一个结构化 criterion,一个把自己的 criteria 字符串化的 JavaScript 调用方可能无法逐字节匹配。

成功的响应还会带上 Server-Timing: inference;dur=<ms> 和 X-Inference-Time-Ms。

限额

请求防护栏在 tokenization 之前检查,所以一次超大的请求除了它读过的字节外不花服务器任何成本。下面 每一条大小限额都是 413;detail 说明撞上了哪条限额。最后一行是例外:并发上限是接纳限额,不是 大小限额,它回 503 并带 Retry-After: 1。

限额 值
请求体 2 MiB,在流式传输时强制 —— 分块或低报的 Content-Length 绕不过去
state 模型所看到的文本 50,000 个字符 —— 字符串 state 就是字符串本身,对象或数组则是 json.dumps(state, ensure_ascii=False)
每请求问题数 64
每批请求的 states 数 64
每个 choice 问题的选项数 100
每个 score 问题的档位数 32
所有问题的选项总数 512
同时接纳的请求数(503,不是 413) LAYA_MAX_CONCURRENT(16)

/v1/systemone/batch 的边界方式不同,而且不是靠拒绝。它对每个 state 按每个问题 tokenize 一次, 并把每一行拼接成一个张量,所以各字段的上限是相乘的:64 个 state、每个 64 个问题就是 4096 行,这是 本页其他所有限额都允许的。一行花费的是它的宽度,而 max_len 本身就是一个请求字段,所以一个批次 的成本是 states x questions x width。

与其拒绝一个大批次,这个端点会把它拆分:当那个乘积超过 LAYA_MAX_BATCH_TOKENS (默认 131,072)时,它会选一个 batch_size,让每次前向传播都留在预算之内,然后 Router.predict_batch 多次传播地跑完这批。每个 state 仍然会被作答,响应不变。行本来就装得下的 请求根本不会被传入 batch_size,所以它的行为和以前完全一样 —— 这很重要,因为批次形状会移动 浮点结果。调用方发来的 batch_size 永远优先:是它要求了那个形状。

在默认值下,一次传播跑 256 行 —— 64 个 state、每个 4 个问题,或者 8 个 state、每个 32 个问题。 更大的批次会被拆分,而提高 max_len 会让每次传播更窄,而不是花费 16 倍的工作量。这没有约束到的, 是一次请求占用服务器多长时间;那由 LAYA_MAX_CONCURRENT 和单推理 worker 决定,而且对一次跑 50,000 字符 state 的 /v1/systemone 请求本来就已经如此。

选项上限只是 HTTP 层的放大防护;模型本身要把选项 token 放进一个 head_max_len=192 的窗口, 所以一个在 HTTP 上限内的问题,当选项文本合起来超过那个预算时,仍然可能被拒绝为一个 422。 评估 harness 在没有 HTTP 层的情况下进程内跑同样的请求。

错误

状态码 何时 body 的 detail
400 body 不是合法 JSON、不是对象、没有 questions、state 缺失或为 null、questions 不是对象,或者 body 里任何位置的一个字符串含有不成对的 \udXXX 代理项转义 哪里不对
401 设置了 LAYA_API_KEY 而 bearer token 缺失或错误 invalid or missing bearer token
413 上面任何一条限额 哪条限额、超了多少
422 问题的 JSON 合法但对 Laya 无效(未知类型、选项超过 head 预算),或者某个请求控制项(lang、min_confidence、某个钩子参数)不是这个端点接受的形式 点名那个问题或字段,以及要修什么
500 推理因其他任何原因失败 inference failed —— 永远是这串字符,所以路径、权重和内存状态永远不会泄漏;原因在服务器日志里
503 LAYA_MAX_CONCURRENT 个请求已经在途 server busy, try again later

那个不成对代理项的 400 是看起来不太寻常的一个。没有配对的 \udXXX 是合法 JSON,但它所指的 那个字符无法编码成 UTF-8,所以 tokenizer 会在它上面抛 TypeError —— 调用方自己的字符串变成了 一次服务器故障,每个请求一份 traceback。因此两条决策路由都会遍历解析后的 body 寻找落单的代理项, 并在它到达推理之前拒绝它。这次遍历在大小检查之后运行,所以超大的 body 仍然会先被拒绝,而字符和 问题限额约束了它能触及的范围。一个成对的代理项在解析器处理完时就是一个普通的增补平面字符, 所以 state 里的一个 emoji 不受影响。

超载的负载是被拒绝,不是排队:客户端在流式传输慢 body 时占着接纳槽位,也饿不死 /health,而 一次重试可以拿走被拒客户端留下的槽位。

并发模型

推理是一次同步的 torch 调用,在 CPU 上要花几百毫秒到几秒,所以它绝不跑在事件循环上:请求交给一个 单 worker 的执行器,也就是一次一个前向传播 —— 这正是单设备上单个 checkpoint 想要的形状。接纳 (LAYA_MAX_CONCURRENT 信号量)在读任何 body 字节之前检查,并一直持有到推理结束;推理闸门只在 body 完整之后才加入,所以一个慢客户端占着接纳槽位,却从不占推理槽位。

(还)不在这里的东西

这台服务器有意只讲一种协议。没有 OpenAI 兼容端点;改成在一次请求里跑多个问题,因为每个问题集 共享一次前向传播。另一条路由是 POST /v1/systemone/batch,它在一个 states 数组上回答一组 questions。本页还没有它的小节 —— 它的请求形状在 README 的自托管一节里 —— 而上面每一条检查都 同样适用于它,正如适用于 POST /v1/systemone:同样的形状 400,同样的不成对代理项拒绝,同样的 鉴权、接纳、大小限额、body 控制校验和 500 映射。laya CLI 和 MCP 服务器覆盖本地使用 —— 见 README。