Ein Gateway für jeden LLM-Aufruf
Keystone (KTMS) ist ein selbst gehostetes Open-Source-LLM-Gateway. Services fragen nach einem Aufwandslevel statt nach einem Modell; Keystone hält die Anbieter-Schlüssel, wählt die Modellkette, weicht bei Ausfällen aus und setzt Rate- und Kostenlimits durch.
Es begann als LLM-Proxy hinter snappyloop und wurde zu einem eigenständigen Produkt, gebaut mit demselben KI-nativen Delivery-Modell: ein einzelnes Go-Binary mit gRPC, OpenAI- und Anthropic-kompatiblen APIs und einem MCP-Gateway, rund 7 MiB Speicher im Leerlauf und unter einer Millisekunde zusätzlicher Latenz.
Die Betriebsprobleme von LLMs in Produktion löst das Gateway, nicht jeder einzelne Service: harte Kostenobergrenzen pro Schlüssel, Endnutzer und Team, atomar vor jedem Aufruf reserviert; Circuit Breaker pro Anbieter und Fallback-Ketten; lokale Inferenz-Nodes auf ungenutzten Macs und GPU-Rechnern mit Cloud-Fallback; signierte Releases mit SBOM und SLSA-Provenienz.
Drumherum: light-tokenmeter für Nutzungsberichte, die Web-Konsole ktms-admin und ein Claude-Code-Plugin, dessen Skills das Gateway bewerten, deployen und integrieren — mit einer CI, die fehlschlägt, sobald ein Skill einen Befehl nennt, den das Release nicht kennt.
