HTTP API
laya-serve 通过 TypeSafe Jev 的 /v1/systemone 线上协议暴露 Laya。一个针对 Jev 写的客户端
—— hs-jev、typesafe-sdk,或你自己的 —— 把 base URL 指向这台服务器就能继续用:Laya 的
predict() 输出本就 schema 兼容,服务器只加了 HTTP 这一层:一条决策路由、一个健康探测、一个
可选的 bearer 校验和请求限额。
有一个面向 PHP 的客户端,目标不是 Jev API 而是 laya-serve:
marcreichel/laya-php 是一个 Composer SDK(PHP 8.4+),
它把一类 enum 和 attribute 映射到问题上并返回一个实例,读取 GET /health 做部署检查,还附带
一个测试替身,让调用方无需运行服务器就能做单元测试。
pip install "laya[serve]"
laya-serve # http://0.0.0.0:8000
同一个入口也能嵌进任何 ASGI 服务器:laya.serve.create_app() 构建这个 FastAPI 应用,可选地
注入一个 Router(create_app(router)),而不是从环境里构建一个。
配置
全部是环境变量,所以一个镜像既能服务笔记本上的开发运行,也能服务一个 systemd 单元。
| 环境变量 | 含义 | 默认值 |
|---|---|---|
LAYA_HOST |
绑定地址 | 0.0.0.0 |
LAYA_PORT |
绑定端口 | 8000 |
LAYA_ROOT_PATH |
在反向代理之后服务时的公开 URL 前缀 | 空 |
LAYA_DEVICE |
每个 checkpoint 用的 torch 设备 | auto |
LAYA_PRELOAD |
启动时就构建 checkpoint,而不是懒加载 | 1 |
LAYA_MODELS |
要预加载的逗号列表(english,multilingual,typed-decisions);留空 = 全部 |
全部 |
LAYA_THREADS |
限制 CPU 上 torch 的进程内线程数;保持在物理核心数以内 —— 超额订阅逻辑核心会带来很大的性能回退 | torch 默认 |
LAYA_AUTO_TASK |
自动路由到 typed-decisions checkpoint | 0 |
LAYA_IDLE_UNLOAD_SECONDS |
空闲这么多秒后卸载常驻的 checkpoint;下一次请求会重新加载它的 checkpoint。设为零则禁用卸载 | 0 |
LAYA_MAX_LOADED |
一次保持常驻的 checkpoint 数;上限低于路由所选的数目时,每切换一次就要重建一个,而 preload() 会把这个上限抬高到足以容纳它构建的所有 checkpoint |
2 |
LAYA_MAX_TOKEN_BUDGET |
对逐请求 max_len 和 head_max_len 覆盖值的服务端上限;更大的值会得到 422。无法解析或非正数的输入会记一条警告并回退 |
8192 |
LAYA_DEFAULT_MODEL |
没有语言证据的 state 回退到的 checkpoint;像 ml 这样的别名按核心解析它们的方式解析,无法解析的名字会在启动时让服务器停止 |
english |
LAYA_EXTRA_MODELS |
一个 JSON 对象 {name: source},在内置 checkpoint 之外注册额外的 checkpoint:一个 Hub repo id 或本地 checkpoint 目录,写成字符串,或者写成一对 ["repo", "subfolder"]。这些名字获得与内置 checkpoint 相同的 model= 指定能力;格式错误的值或坏名字会在启动时让服务器停止 |
无 |
LAYA_API_KEY |
设置后要求 Authorization: Bearer <key> |
无 |
LAYA_LOG_LEVEL |
uvicorn 日志级别 | info |
LAYA_MAX_CONCURRENT |
通过鉴权后一次接纳的请求数;超出的拿到 503 |
16 |
LAYA_MAX_BATCH_TOKENS |
一次 /v1/systemone/batch 的前向传播可以拼接(collate)的 token 数(states x 问题数 x 行宽);更大的批次会被拆成多次传播,而不是被拒绝 |
131072 |
LAYA_JEV_STRICT |
提供严格的 Jev 线上契约:不发送根级 routing,每条答案不带 action / answer_confidence,noul 答案不带 confidence,且 usage 缩减为 input_tokens + output_tokens。供那些按 Jev 契约校验响应、不允许任何额外字段的客户端使用 |
0 |
对于一个发布在 /laya 这类前缀下的部署,设置 LAYA_ROOT_PATH=/laya。FastAPI 在生成 OpenAPI
和 Swagger UI URL 时会用它。把反向代理配置成在把请求转发给 Laya 之前剥掉 /laya;应用内部的
路由仍然是 /health 和 /v1/systemone。
容器(包括 CUDA 和 ARM64 镜像)见 Docker 快速开始。
对于突发的本地使用,设置 LAYA_IDLE_UNLOAD_SECONDS=300。推理和卸载跑在同一个 worker 上,空闲
窗口在一次单条或批量前向传播结束时重新开始计时,失败的请求也算。下一次预测要付一次冷加载的
代价。卸载会释放模型引用和设备缓存,包括 Metal;进程分配器可能保留 RAM 页,所以进程 RSS 不一定
会下降一个 checkpoint 那么多。
端点
GET /health
存活探针永远开放(无需鉴权),并且在推理期间保持响应,因为 CPU 密集的前向传播跑在它自己的
worker 上,而不是事件循环上。设置了 LAYA_API_KEY 的部署上,存活之后的那些字段并不开放:没有
bearer 时,/health 只回 {"status": "ok"},别的什么都没有,因为其余部分点名了常驻的
checkpoint、它们确切的 revision SHA、设备状态,以及每个 checkpoint 最近一次的回退原因(那会引用
主机硬件)。探针只需要那个 200,所以健康检查不受影响,带错 bearer 仍然是 200 而不是 401。没有
设置 LAYA_API_KEY 时,每个调用方都拿到这里展示的完整载荷。
{"status": "ok", "loaded": ["english", "multilingual"], "revisions": {"english": "...", "multilingual": "..."},
"device": "cuda", "device_is_preference": false,
"checkpoint_devices": {"english": "cuda", "multilingual": "cuda"},
"cpu_fallbacks": {"english": {"count": 0, "last_reason": null}, "multilingual": {"count": 0, "last_reason": null}}}
这是某一台服务器的答复,所以各块彼此一致:revisions、checkpoint_devices 和 cpu_fallbacks
的每个键都是 loaded 里的一个名字。tests/test_serve.py 逐字段地把这个样例和产生它的处理器
对齐。
启用了空闲卸载时,通过鉴权的健康响应还会带上 idle_unload_seconds(配置的窗口)和
idle_seconds(自上次推理请求或完成以来的时间)。健康探针不会重置那个时钟。空闲卸载之后
loaded 列表为空是正常的。
status只要进程还能作答就是ok。它对 checkpoint 只字未提。loaded列出常驻内存的 checkpoint。在一次请求构建出一个之前它是空的,LAYA_PRELOAD=0就是 让进程一直处于这种状态。revisions是每个常驻 checkpoint 加载时所来自的 artifact 版本,以和loaded相同的名字为键, 这样一个部署能确认它实际在服务什么。device是常驻 checkpoint 真正在其上计算的设备,它不总是LAYA_DEVICE要求的那个:一个想要 GPU 却拿不到的 checkpoint 会静默回退到 CPU,并且仍然正确作答。没有任何常驻 checkpoint 时, 它是配置的偏好设备。device_is_preference恰好在没有任何常驻 checkpoint 时为true,而在处理器能测量时立刻变为false。这就是「服务器在报告它的配置」和「服务器在报告它的工作跑在哪里」的区别:一个悄悄 丢了 GPU 的服务器会说false且device为cpu,而不是继续回答cuda。checkpoint_devices给出每个 checkpoint 的测量值,以loaded里的名字为键;device就是这些 值里的第一个。cpu_fallbacks按常驻 checkpoint 统计耗尽了 GPU 显存并在 CPU 上重试过一次的请求:count是 自进程启动以来的次数,last_reason携带最近一次的错误文本。这种降级只作用于失败的那次请求, 所以一个因为 GPU 从来就不可用而在 CPU 上构建的 checkpoint 不算回退,这里计数为0—— 那会 体现在device里。
POST /v1/systemone
一次请求带一个 state 和它上面任意数量的问题:
curl -s localhost:8000/v1/systemone -H 'content-type: application/json' -d '{
"state": "I was charged twice this month, I want my money back",
"questions": {
"queue": {"type": "choice", "instructions": "Which team?",
"criteria": {"billing": "billing and refunds", "tech": "login and app issues",
"other": "everything else"}},
"urgency": {"type": "score", "instructions": "How urgent?",
"criteria": ["calm", "firm", "angry", "furious"]}
}
}'
| 字段 | 必填 | 含义 |
|---|---|---|
state |
是 | 要据以决策的文本、邮件、工单或 JSON 文档;缺失或为 null 的 state 会得到 400 |
questions |
是 | 按问题 id 索引的对象;每个问题是 choice / score / noul,带 instructions 和 criteria |
model |
否 | 指名一个 checkpoint;路径或未发布的 Hub id 是 422,其他任何值都被忽略(见下) |
task |
否 | 用工作流名强制指定一个 checkpoint,而不是让路由决定;未知的名字会得到一个点名它的 422 |
lang |
否 | 一个语言代码(de、en-US),当它指名一种语言时跳过检测;空白或无法识别的代码会落到检测这一步 |
lang_guess |
否 | 来自客户端自带识别器的语言代码,在 lang 之后、检测之前参考;任何非英文代码都路由到 multilingual checkpoint |
max_len |
否 | 这次请求的总 token 窗口,由 LAYA_MAX_TOKEN_BUDGET 设上限 |
head_max_len |
否 | 选项提示词共享的 token 窗口,同样受上限约束;什么时候一个问题需要它,见放宽 token 预算 |
min_confidence |
否 | 弃答阈值:一个 [0.0, 1.0] 里的数,或者一个按选项数分桶的映射(以选项数桶为键,如 {"choice:3-5": 0.9, "default": 0.4}),这样阈值可以随选项数而不同;answer_confidence 低于它自己阈值的答案会带 low_confidence 标记返回,而答案本身仍然保留 |
model、task、lang、lang_guess、max_len、head_max_len 和 min_confidence 是
Router.predict 接受、而 JSON body 可以写明的参数;每一个只在请求发了它时才转发,所以缺了某个
时,由部署自己的 Router(...) 设置说了算。predict 还接受的五个钩子参数 —— hooks、
on_predict_start、on_predict_end、hooks_raise、hooks_timeout —— 会被以 422 拒绝,
而不是被丢弃:钩子是一个在服务器进程内部运行的可调用对象,而最后两个说明部署安装的钩子如何
执行,所以调用方发来的任何值在这里都没有意义。同样这五个会被一个带 base_url 的 LangChain
节点(laya.integrations.langchain)在客户端拒绝,所以一条链和一个裸 HTTP 客户端现在得到同样
的答复。
接受 model 是为了让 Jev 客户端能继续发它。公开的 Hugging Face id
(convaiinnovations/laya-multilingual、convaiinnovations/laya-typed-decisions)、checkpoint
名(english、multilingual、typed-decisions)及其别名会选定一个 checkpoint,
LAYA_EXTRA_MODELS 在这台服务器的 Router 上注册的每一个名字同样如此 —— 包括把一个内置
checkpoint 重新指过去的名字,这正是无需改动代码就能在 english 之下服务一次微调的方式。
convaiinnovations/laya,以及任何其他不是路径或 Hub repo id 的值 —— 包括像 jev-1 这样的
Jev id —— 都表示「让路由器来选」,响应里的 routing 块记录选了什么以及为什么。一个看起来像
文件系统路径或未发布 Hub id 的值(/path/to/checkpoint、org/repo、~/ckpt、.\ckpt)在
/v1/systemone 和 /v1/systemone/batch 上都会得到 422:这台服务器加载不了它,而用另一个
checkpoint 来作答会掩盖这一点。detail 和核心抛出的 unknown model 文本相同,再加上一句提醒:
省略 model 让路由器来选。
响应
{
"model": "laya-rl-agent",
"answers": {
"queue": {"type": "choice", "choice": "billing",
"probabilities": {"billing": 0.9519, "tech": 0.0327, "other": 0.0154},
"confidence": 0.797, "answer_confidence": 0.9519,
"action": {"act_probability": 1.0}, "x_jev_confidence": 0.9278},
"urgency": {"type": "score", "score": 1.6994,
"legend": {"0": "calm", "1": "firm", "2": "angry", "3": "furious"},
"probabilities": {"0": 0.0249, "1": 0.4136, "2": 0.3985, "3": 0.1629},
"confidence": 0.1925, "answer_confidence": 0.4136,
"action": {"act_probability": 1.0}, "x_jev_confidence": 0.2507}
},
"usage": {"input_tokens": 83, "output_tokens": 0, "state_tokens": 12,
"state_tokens_dropped": 0, "truncated": false, "truncated_questions": []},
"routing": {"model": "english", "repo": "convaiinnovations/laya", "reason": "English Latin text",
"detection": {"script": "latin", "script_profile": {"latin": 1.0}, "language": "en",
"is_english": true, "language_undecided": false, "diacritic_rate": 0.0,
"non_latin_fraction": 0.0, "mixed_segment": null},
"workflow": null}
}
这个样例是这台服务器给出的一条答案,逐字照录:就是上面的请求,用 CPU 上缓存的 english
checkpoint。answers 和 usage 是 Jev 客户端要解码的键;model 是决策头那个固定的名字,而
实际作答的 checkpoint 在 routing 里。
| 答案类型 | 键 |
|---|---|
choice |
choice(argmax 选项),每个选项的 probabilities,x_jev_confidence |
score |
score(期望档位索引,可能落在档位之间),以 "0".. "k-1" 为键的 probabilities,把索引映射到档位文本的 legend,x_jev_confidence |
noul |
noul,yes 选项的概率 |
| 全部 | type(判别字段,回显问题自己的类型)、confidence、answer_confidence 和 action.act_probability |
| gate | abstention、abstention_threshold 和 low_confidence,由弃答门写出 —— 见下 |
gate 这一行是弃答报告(#361),也是调用方唯一能看出它花钱启用的门确实运行过的地方。设置了
min_confidence 的请求会拿到它;没设置的请求三个键一个都拿不到。abstention 是三种状态之一,
写在一次受门控请求的每一条答案上:passed(它的置信度越过了阈值)、abstained(它落到
阈值以下,并且 low_confidence 恰好在这些答案上为 true),或者 unevaluated(答案没有携带
可用的置信度,门无法裁决 —— 把它报成通过,和把它报成标记是同一种谎)。abstention_threshold
回显那些状态所对照的阈值,正是这一点让一次带逐类阈值的批量运行可以在事后重新拆分。
min_confidence 未设置时,三个键都不会出现在任何答案上:缺席就是报告,而不是第四种状态,调用方
正是靠它区分一次未受门控的运行和一次干净通过的门。恰好为 0.0 的 min_confidence 是设置了
的,所以状态会被报告,而没有任何东西能落在那之下,于是每条答案都读作 passed —— 回显的 0.0
正是用来把它和在一个真实阈值上的通过区分开的东西。答案本身在每种状态下都保留;门只做标记,
不丢弃。
usage 报告前向传播是由什么构建起来的。模型读一个 state 的多少,是一个 token 预算,而不是字符
数,而预算会随 max_len、head_max_len 以及每个问题自己的选项提示词(#174)而变动,所以这些键
是那个事实唯一可见的地方:
usage 键 |
含义 |
|---|---|
input_tokens |
state 各行非 padding 的 token —— 每个问题一行,所以它随问题数增长,而不是一个上下文长度 |
output_tokens |
永远是 0 —— 决策头一次传播就作答,它不生成任何东西 |
state_tokens |
整个序列化 state 需要的 token 数 |
state_tokens_dropped |
其中至少一个问题没拿到的 token 数:对所有问题取最坏情况,因为每个问题留给 state 的空间不同 |
truncated |
当那个最坏情况丢掉了任何东西时为 true |
truncated_questions |
自己的窗口被削减的那些问题的 id,没有时为 [] |
options |
仅当某个问题的选项不再各自拥有一个 token 跨度时出现:以问题 id 为键,带 total(那个问题定义的选项数)、distinct(到达序列的跨度数)和 tokens_per_option |
一个被截断的答案仍然是一条答案 —— 决策头根据它拿到的证据来裁决 —— 但一个按字符数来给 state 定规模的调用方,在响应的其他任何地方都看不到这次削减。
routing 记录是哪个 checkpoint 作答以及为什么:
routing 键 |
含义 |
|---|---|
model |
作答的 checkpoint:english、multilingual 或 typed-decisions |
repo |
它从何处加载,写作 repo 或 repo/subfolder。默认服务器从 convaiinnovations/laya 这个 bundle 加载全部三个,所以 multilingual 和 typed-decisions 报告 convaiinnovations/laya/multilingual 和 convaiinnovations/laya/typed-decisions —— 一个可读的 id,而不是用来抓取的 Hub repo id |
reason |
这个选择的那句话,点名它据以行动的证据 |
detection |
对 state 跑 laya.lang.analyse() 的结果 —— script、script_profile、language、is_english、language_undecided、diacritic_rate、non_latin_fraction、mixed_segment —— 或者当路由在读文本之前就已经决定时为 null |
workflow |
问题 id 匹配到的 typed-decisions 工作流,或者 null |
在每一条不读 state 就决定的路径上,detection 都是 null:被 model 或 task 强制的那条、
由 lang 或 lang_guess 作答的那条,或从问题 id 匹配到 typed-decisions 工作流的那条。
lang_guess 不留下自己的键 —— 它据以行动的提示在 reason 里点名。model 和 task 这两条分支
也把 workflow 报成 null,因为它们在被读问题 id 之前就作答了。
置信度:三个数字,不可互换
answer_confidence是落在所报告答案上的概率质量(max(p))。它正是温度缩放所拟合的量,也是 本仓库 ECE 数字所计算的量,所以它承载着基准与已知限制页所依赖的门控性质 —— 但只对你的流量上验证过温度拟合的 checkpoint 成立。confidence每种类型含义不同:在choice和score上是归一化熵1 - H(p)/log(k),在noul上是max(p_yes, p_no)(此时它等于answer_confidence)。x_jev_confidence是 Jev 会对同一组概率报告的confidence,只出现在choice和score答案上 (Jev 的noul答案没有置信度)。它用 TypeSafe 自己的公式:choice上是(p_max - 1/n)/(1 - 1/n), 而score上则是一减去「到最可能档位的概率加权距离」,再按均匀分布的同样距离缩放。
绝不要把这三个数字拿来和同一个阈值比较。从 Jev 迁移时,一个从 Jev 部署带过来的阈值在 Laya 的熵
confidence 上门控方式不一样(#302);要拿它对着 x_jev_confidence 读。x_ 前缀让这个字段避开
Jev 以后新增的任何名字。
严格的 Jev 契约:LAYA_JEV_STRICT
上面的载荷是完整的 Laya 载荷。一个客户端可能要求它遵守的 Jev 契约定义的东西更少:三个顶层字段
(model、answers、usage)、每条答案上契约规定的键而别无其他,以及一个只含两个 token 计数的
usage。一个按那个契约、不允许任何额外字段来校验响应的客户端 —— OpenClaw 的 TypeSafe provider
插件就是其一 —— 会拒绝这个完整载荷,所以 LAYA_JEV_STRICT=1 会在作答之前把响应投影到契约上,
在 /v1/systemone 和 /v1/systemone/batch 上都是如此:
- 根级只保留
model、answers和usage;routing不发送; - 一条
choice答案保留type、choice、probabilities和confidence; - 一条
score答案保留type、score、probabilities、confidence和legend; - 一条
noul答案保留type和noul; usage保留input_tokens和output_tokens;截断事实和折叠选项的天花板不发送;x_jev_confidence不发送,和其他新增字段一样。
这个投影只保留契约规定的键,且不重算任何东西:每个值都是结果本来就携带的那个,所以严格客户端
读到的概率和分数,与完整载荷报告的一模一样。默认仍是完整载荷,而一个打开这个标志的部署会失去
usage 提供的截断可见性 —— 一个被削减的 state 那时只在日志里可见,不在响应里。在严格契约下,
score 的 criteria 应该保持为纯字符串:严格客户端会把返回的 legend 和它发来的 criteria 作
比较,而 Laya 用 Python 的 JSON 渲染一个结构化 criterion,一个把自己的 criteria 字符串化的
JavaScript 调用方可能无法逐字节匹配。
成功的响应还会带上 Server-Timing: inference;dur=<ms> 和 X-Inference-Time-Ms。
限额
请求防护栏在 tokenization 之前检查,所以一次超大的请求除了它读过的字节外不花服务器任何成本。下面
每一条大小限额都是 413;detail 说明撞上了哪条限额。最后一行是例外:并发上限是接纳限额,不是
大小限额,它回 503 并带 Retry-After: 1。
| 限额 | 值 |
|---|---|
| 请求体 | 2 MiB,在流式传输时强制 —— 分块或低报的 Content-Length 绕不过去 |
state |
模型所看到的文本 50,000 个字符 —— 字符串 state 就是字符串本身,对象或数组则是 json.dumps(state, ensure_ascii=False) |
| 每请求问题数 | 64 |
每批请求的 states 数 |
64 |
每个 choice 问题的选项数 |
100 |
每个 score 问题的档位数 |
32 |
| 所有问题的选项总数 | 512 |
同时接纳的请求数(503,不是 413) |
LAYA_MAX_CONCURRENT(16) |
/v1/systemone/batch 的边界方式不同,而且不是靠拒绝。它对每个 state 按每个问题 tokenize 一次,
并把每一行拼接成一个张量,所以各字段的上限是相乘的:64 个 state、每个 64 个问题就是 4096 行,这是
本页其他所有限额都允许的。一行花费的是它的宽度,而 max_len 本身就是一个请求字段,所以一个批次
的成本是 states x questions x width。
与其拒绝一个大批次,这个端点会把它拆分:当那个乘积超过 LAYA_MAX_BATCH_TOKENS
(默认 131,072)时,它会选一个 batch_size,让每次前向传播都留在预算之内,然后
Router.predict_batch 多次传播地跑完这批。每个 state 仍然会被作答,响应不变。行本来就装得下的
请求根本不会被传入 batch_size,所以它的行为和以前完全一样 —— 这很重要,因为批次形状会移动
浮点结果。调用方发来的 batch_size 永远优先:是它要求了那个形状。
在默认值下,一次传播跑 256 行 —— 64 个 state、每个 4 个问题,或者 8 个 state、每个 32 个问题。
更大的批次会被拆分,而提高 max_len 会让每次传播更窄,而不是花费 16 倍的工作量。这没有约束到的,
是一次请求占用服务器多长时间;那由 LAYA_MAX_CONCURRENT 和单推理 worker 决定,而且对一次跑
50,000 字符 state 的 /v1/systemone 请求本来就已经如此。
选项上限只是 HTTP 层的放大防护;模型本身要把选项 token 放进一个 head_max_len=192 的窗口,
所以一个在 HTTP 上限内的问题,当选项文本合起来超过那个预算时,仍然可能被拒绝为一个 422。
评估 harness 在没有 HTTP 层的情况下进程内跑同样的请求。
错误
| 状态码 | 何时 | body 的 detail |
|---|---|---|
400 |
body 不是合法 JSON、不是对象、没有 questions、state 缺失或为 null、questions 不是对象,或者 body 里任何位置的一个字符串含有不成对的 \udXXX 代理项转义 |
哪里不对 |
401 |
设置了 LAYA_API_KEY 而 bearer token 缺失或错误 |
invalid or missing bearer token |
413 |
上面任何一条限额 | 哪条限额、超了多少 |
422 |
问题的 JSON 合法但对 Laya 无效(未知类型、选项超过 head 预算),或者某个请求控制项(lang、min_confidence、某个钩子参数)不是这个端点接受的形式 |
点名那个问题或字段,以及要修什么 |
500 |
推理因其他任何原因失败 | inference failed —— 永远是这串字符,所以路径、权重和内存状态永远不会泄漏;原因在服务器日志里 |
503 |
LAYA_MAX_CONCURRENT 个请求已经在途 |
server busy, try again later |
那个不成对代理项的 400 是看起来不太寻常的一个。没有配对的 \udXXX 是合法 JSON,但它所指的
那个字符无法编码成 UTF-8,所以 tokenizer 会在它上面抛 TypeError —— 调用方自己的字符串变成了
一次服务器故障,每个请求一份 traceback。因此两条决策路由都会遍历解析后的 body 寻找落单的代理项,
并在它到达推理之前拒绝它。这次遍历在大小检查之后运行,所以超大的 body 仍然会先被拒绝,而字符和
问题限额约束了它能触及的范围。一个成对的代理项在解析器处理完时就是一个普通的增补平面字符,
所以 state 里的一个 emoji 不受影响。
超载的负载是被拒绝,不是排队:客户端在流式传输慢 body 时占着接纳槽位,也饿不死 /health,而
一次重试可以拿走被拒客户端留下的槽位。
并发模型
推理是一次同步的 torch 调用,在 CPU 上要花几百毫秒到几秒,所以它绝不跑在事件循环上:请求交给一个
单 worker 的执行器,也就是一次一个前向传播 —— 这正是单设备上单个 checkpoint 想要的形状。接纳
(LAYA_MAX_CONCURRENT 信号量)在读任何 body 字节之前检查,并一直持有到推理结束;推理闸门只在
body 完整之后才加入,所以一个慢客户端占着接纳槽位,却从不占推理槽位。
(还)不在这里的东西
这台服务器有意只讲一种协议。没有 OpenAI 兼容端点;改成在一次请求里跑多个问题,因为每个问题集
共享一次前向传播。另一条路由是 POST /v1/systemone/batch,它在一个 states 数组上回答一组
questions。本页还没有它的小节 —— 它的请求形状在 README 的自托管一节里 —— 而上面每一条检查都
同样适用于它,正如适用于 POST /v1/systemone:同样的形状 400,同样的不成对代理项拒绝,同样的
鉴权、接纳、大小限额、body 控制校验和 500 映射。laya CLI 和 MCP 服务器覆盖本地使用 —— 见
README。