Modal

Modal bietet Cloud-Infrastruktur, die direkt auf KI- und Datenteams zugeschnitten ist. Der Kerngedanke: Entwickler schreiben normales Python, definieren Funktionen per Dekorator oder bauen Container-Images, und Modal kümmert sich um den Rest – Container-Scheduling, GPU-Zuweisung, Skalierung von null und zurück sowie HTTPS-Endpunkte. Netzwerk, Storage und Kapazitätsmanagement sind abstrahiert, sodass eine Workload, die lokal läuft, genauso über eine große Flotte laufen kann.

Die Plattform gliedert sich in wenige Grundbausteine. Functions übernehmen serverloses Rechnen und lassen sich für parallele oder Batch-Arbeit auf Tausende GPUs verteilen. Sandboxes bieten isolierte Umgebungen für Coding-Agents, Reinforcement-Learning-Rollouts und anderen nicht vertrauenswürdigen Code, mit Startzeiten unter einer Sekunde und Unterstützung für sehr hohe Parallelität. Training deckt Fine-Tuning, Reinforcement Learning und Evaluierung auf Single- oder Multi-Node-GPU-Kapazität ab. Bei der Inferenz bietet Modal OpenAI-kompatible Endpunkte und erlaubt eigene Inferenz-Stacks, deren Endpunkte sich an das Traffic-Profil anpassen lassen.

Darunter betreibt Modal eine eigene Container-Runtime und ein Image-System, ausgelegt auf große Images und schnelles GPU-Scheduling, dazu ein verteiltes Dateisystem für schnellen Zugriff auf Modellgewichte und Datensätze. Die Kapazität stammt aus einem Multi-Cloud-Pool über viele Regionen, mit automatischem Routing auf verfügbare Hardware und kontinuierlichen Health-Checks. Die Abrechnung erfolgt nutzungsbasiert sekundengenau, während der Code läuft, mit granularer Kostenkontrolle. Das Unternehmen bietet ein kostenloses Startkontingent und skalierbare bezahlte Nutzung und richtet sich mit SOC-2-Type-II-Konformität und HIPAA-Bereitschaft an Unternehmen.