Chutes ist eine Serverless-Inferenzplattform auf Basis dezentraler GPU-Infrastruktur. Statt eine feste GPU-Zuteilung zu mieten, senden Sie Anfragen an einen OpenAI-kompatiblen Endpunkt, und die Plattform leitet sie an bereits laufende Kapazität weiter. Das Verkaufsargument des Teams ist die Verfügbarkeitsgeschwindigkeit: Erscheint ein neues Open-Source-Spitzenmodell, will Chutes es innerhalb von Minuten live haben, damit Entwickler früh testen und ausliefern können.
Der Katalog ist bewusst breit. Neben den erwartbaren großen Sprachmodellen hostet Chutes Bild-, Video-, Audio-, Musik-, Embedding- und Moderationsmodelle und erlaubt es, eigenen Code als individuellen "Chute" einzubringen. So lassen sich multimodale Produkte bauen – ein Assistent, der zugleich Bilder erzeugt, Audio transkribiert oder Nutzerinhalte moderiert – ohne mehrere Anbieter zu verbinden.
Operativ zielt Chutes auf Produktionslasten: dauerhaft warme Modelle, Batch- und Ephemeral-Jobs, sekundengenaue GPU-Abrechnung für private Deployments und vertrauliche Inferenz in Trusted Execution Environments für datenschutzsensible Fälle. Öffentliche Modelle werden pro Token abgerechnet, ergänzt durch einen Live-Kostenrechner und eine Consumer-Chat-App neben der API.