RightNow Inference, betrieben unter runinfra.ai, ist ein von Y Combinator unterstützter Inferenzanbieter mit Fokus auf die Wirtschaftlichkeit agentischer Workloads. Agents senden oft in jedem Turn denselben Kontext erneut, wodurch Eingabe-Tokens zum dominierenden Kostenfaktor werden. RightNow Inference begegnet dem mit session-bewusstem Routing: Wiederholte Aufrufe einer Session bevorzugen die GPU-Replica, die den relevanten KV-Cache bereits hält, sodass gecachte Eingaben zu einem Bruchteil des Listentarifs abgerechnet werden.
Die Plattform bedient eine kuratierte Bibliothek offener Modelle – darunter Modelle der Familien DeepSeek, GLM, Qwen und Step – über Endpunkte, die zu den SDKs von OpenAI und Anthropic kompatibel sind, sodass bestehender Agent-Code nur minimal angepasst werden muss. Das Unternehmen veröffentlicht pro Modell Ausgabegeschwindigkeit, Cache-Trefferraten und effektive Eingabepreise und dokumentiert seine Cache-Messmethodik öffentlich.
Neben der nutzungsbasierten API bietet RightNow Inference Coding-Pläne ab 10 USD pro Monat für Tools wie Claude Code und opencode, mit Nutzung, die in rollierenden Fünf-Stunden- und Wochenfenstern zurückgesetzt wird, und einer kostenlosen Standby-Option bei Erreichen des Limits. Der Dienst richtet sich an Teams, die kontrollierbare Kosten ohne Qualitätsverlust bei offenen Modellen wollen.
