CLI-Referenz

Ollaya ist ein einzelnes Binary: die CLI, der Server und die Modell-Runner. Wenn du Ollama kennst, kommen dir die Befehle vertraut vor.

Jeder Befehl außer serve und update spricht mit dem Server unter OLLAYA_HOST. Wenn dort nichts antwortet und die Adresse lokal ist, startet die CLI (außer ollaya stop ohne Modell) ollaya serve im Hintergrund und protokolliert nach ~/.ollaya/logs/server.log (oder server.log in OLLAYA_LOG_DIR).

Modellnamen

Modelle werden als name:tag referenziert; ohne Tag wird latest verwendet. Bei Namen wird die Groß-/Kleinschreibung nicht beachtet.

ollaya run laya                 # same as laya:latest, a router
ollaya run laya:multilingual
ollaya pull laya:en-fp32

Ein Modell wie laya:en enthält einen fp16- und einen fp32-Graph, die sich eine Gewichtsdatei teilen. Die Genauigkeit wird beim Laden des Modells gewählt: fp16 auf einer CUDA-GPU, fp32 auf der CPU. Die Tags -fp16 und -fp32 legen jeweils eine fest.

ollaya run

ollaya run laya --preset triage "Your app crashed during checkout and I was charged twice. Please refund one of the charges."

run verbindet sich mit dem Server (startet ihn bei Bedarf), lädt das Modell herunter, falls es nicht auf diesem Rechner vorhanden ist, lädt es in den Speicher und gibt pro Frage eine Zeile aus: die Antwort, einen Balken und ihre Wahrscheinlichkeit.

Woher die Fragen kommen, entscheidet der erste Treffer: --questions, dann --preset, dann in das Modell eingebaute Fragen (die von qwen3guard oder solche, die mit einem Modelfile hinzugefügt wurden), dann das Preset triage. Wenn run auf triage zurückfällt, teilt es das auf stderr mit.

--questions nimmt das JSON auch direkt auf der Kommandozeile entgegen, so wie curl -d es macht: Ein Wert, der mit { beginnt, ist Inline-JSON, alles andere ist ein Dateipfad. @file ist immer eine Datei (praktisch, wenn ein Dateiname mit { beginnt), und @- liest die Fragen aus stdin; in dem Fall steht der Zustand auf der Kommandozeile:

ollaya run winnow:e4b --questions '{"topic":{"type":"choice","criteria":["billing","access","other"]}}' "..."
ollaya run winnow:e4b --questions @questions.json "..."
cat questions.json | ollaya run winnow:e4b --questions @- "..."

Der Zustand ist der Rest der Kommandozeile. Ohne einen liest run den weitergeleiteten stdin:

cat ticket.txt | ollaya run laya --preset triage

In einem Terminal ohne Zustand öffnet run eine Eingabeaufforderung. Gib einen Zustand ein und drücke Enter; mehreilige Eingaben schließt du in """ ein. Befehle:

ollaya serve

Startet den Server, mit dem die CLI und deine Anwendungen sprechen. Er stellt die native API (/api/*) und die TypeSafe-kompatible API (/v1/*) bereit; siehe die API-Referenz. Das Linux-Installationsprogramm führt ihn als systemd-Dienst ollaya aus.

ollaya serve

Du brauchst ihn selten: Die anderen Befehle starten den Server im Hintergrund, wenn er nicht läuft. Wenn unter OLLAYA_HOST bereits ein Server läuft, teilt ollaya serve das mit und beendet sich; stoppe ihn zuerst mit ollaya stop, um den Server im Vordergrund auszuführen.

Er wird über Umgebungsvariablen konfiguriert:

Für den systemd-Dienst änderst du sie mit sudo systemctl edit ollaya und Environment=-Zeilen.

ollaya pull

Lädt ein Modell herunter und prüft jede Ebene gegen ihren sha256. Das Herunterladen eines Routers lädt auch jedes Modell mit herunter, an das er weiterleitet. Nur die Ebenen, die dieser Rechner braucht, werden heruntergeladen, und unterbrochene Downloads werden fortgesetzt.

ollaya pull laya

ollaya list und ollaya ps

list zeigt die Modelle auf diesem Rechner mit ihrer ID, Größe und dem Zeitpunkt, an dem sie heruntergeladen wurden. ps zeigt die geladenen Modelle, das Gerät, auf dem sie laufen (cpu, cuda:0), die Genauigkeit und wann sie entladen werden.

NAME                ID             SIZE     MODIFIED
laya:latest         b87ca1631b11   11 KB    13 seconds ago
laya:multilingual   ba7a334675b4   684 MB   13 seconds ago
laya:en             bf30e4654e94   854 MB   30 seconds ago

ollaya show

Gibt die Architektur, die Parameter, die Kontextlänge, die Genauigkeiten, die Sprachen, die Fähigkeiten und die Lizenz eines Modells aus. Bei einem Router gibt es die Routen aus.

ollaya stop

ollaya stop MODEL entlädt ein laufendes Modell, sobald seine laufenden Anfragen abgeschlossen sind, anstatt zu warten, bis die Keep-alive-Zeit abläuft.

ollaya stop ohne Modell stoppt den Server unter OLLAYA_HOST, wodurch jedes Modell entladen wird. Es stoppt nur einen Server, den du gestartet hast – mit ollaya serve oder durch Ausführen eines anderen Befehls. Es stoppt niemals den Server eines anderen Benutzers, etwa den Linux-systemd-Dienst; diesen stoppst du mit sudo systemctl stop ollaya.

ollaya rm und ollaya cp

ollaya cp laya:en my-guardrail
ollaya rm my-guardrail

rm löscht außerdem die Blobs, die kein anderes Modell verwendet. Das Entfernen eines Routers behält die Modelle, an die er weiterleitet. cp überschreibt ein vorhandenes Ziel.

ollaya preset

Ein Preset ist ein benannter Fragensatz, den du mit jedem Modell wiederverwenden kannst: ollaya run MODEL --preset NAME oder "preset": "NAME" auf /api/decide. Sechs sind eingebaut. Speichere dein eigenes:

ollaya preset create billing-check --questions billing.json --description "Billing, and how upset the customer is"
ollaya run winnow:e4b --preset billing-check "I was charged twice this month."

Namen bestehen aus Kleinbuchstaben, Ziffern, - und _. Eigene Presets werden vom Server gespeichert (in presets/ neben den Modellen), sodass die CLI, die API und der MCP-Server sie alle sehen. Ein Preset unterscheidet sich von einem Modell, das mit QUESTIONS eines Modelfiles erstellt wurde: Es ist nicht an ein Modell gebunden und kopiert nichts.

ollaya update

Installiert die neueste Version über dieser: Es führt das Installationsskript erneut aus und installiert in dasselbe Präfix, sodass Modelle, Presets und der systemd-Dienst unverändert bleiben.

ollaya update --check   # only say whether a newer release exists
ollaya update

Ein Binary, das mit der Desktop-App kam (die macOS-App, das Windows-Installationsprogramm, ein AppImage oder die .deb- und .rpm-Pakete), wird durch Installieren der neuen App aktualisiert, und ein Container durch Herunterladen des neuen Images; ollaya update teilt das mit, statt es zu ändern.

ollaya create

Erstellt ein Modell aus einem Modelfile, zum Beispiel um einen Fragensatz, eine neu angepasste Kalibrierung oder eine festgelegte Genauigkeit einzubacken. -f hat den Standardwert ./Modelfile.

ollaya create triage -f Modelfile