Ollaya

ollaya-dev

一个 Rust 单文件程序，负责拉取、托管并运行开源的决策模型。原生 /api/* 管模型，另有照着 TypeSafe wire schema 实现的 /v1/* 端点。

平台: linux · macos · windows
GPU: 不需要
协议兼容: systemone-v1
许可: Apache-2.0
可运行的模型: 16

安装

linux

curl -fsSL https://ollaya.dev/install.sh | sh

macos

curl -fsSL https://ollaya.dev/install.sh | sh

windows

irm https://ollaya.dev/install.ps1 | iex

127.0.0.1:11435

文档

在自己机器上跑开源决策模型，接口与 TypeSafe 兼容

CLI、服务端、模型运行器都在同一个二进制里，不用配 Python 环境
/v1/* 照 TypeSafe 的 wire schema 实现，现有 SDK 代码改一个 base URL 就能切过来
能在 CPU 上跑 —— 小模型没有显卡也能在零点几秒内出答案
自带 MCP 服务，智能体可以在每次路由或分流前先做一次决策

兼容性是上游自己声称的，锚定在 typesafe-sdk 0.7.1 的 wire schema 上，不是 TypeSafe 的官方背书
项目很新：仓库 2026-09-23 才建立，v0.9.0 发布于 2026-10-02，命令与 API 都还可能变
准不准取决于你拉的那个模型 —— 运行时本身不决定决策质量
与 Jev 的那个头条对比数字出自上游自己的材料，不是同环境同任务的受控对照

数据核验于 2026-10-05