Modal

ModalはAI・データチームに直結するクラウド基盤を提供します。基本の発想は、開発者が通常のPythonを書き、デコレータで関数を定義するかコンテナイメージを用意すれば、あとはModalがコンテナのスケジューリング、GPUの割り当て、ゼロからの自動スケーリング、HTTPSエンドポイントの公開までを処理するというものです。ネットワーク、ストレージ、キャパシティ管理といった基盤の詳細は抽象化され、手元で動くワークロードをそのまま大規模なフリートに展開できます。

プラットフォームはいくつかの基本要素で構成されます。Functionsはサーバーレスコンピューティングを担い、数千基のGPUに並列展開して並列処理やバッチ処理を実行できます。Sandboxesはコーディングエージェント、強化学習のロールアウト、その他の信頼できないコード向けの隔離環境を提供し、1秒未満で起動して非常に高い同時実行数に対応します。TrainingはシングルGPUからマルチノードまでの微調整、強化学習、評価をカバーします。推論側ではOpenAI互換エンドポイントを用意し、独自の推論スタックを持ち込んでトラフィック特性に合わせた調整も可能です。

内部では、大きなイメージとGPUの高速スケジューリング向けに設計された独自のコンテナランタイムとイメージシステム、そしてモデルの重みやデータセットを高速に読み込む分散ファイルシステムを運用しています。キャパシティは複数リージョンにまたがるマルチクラウドのプールから供給され、空いているハードウェアへ自動的にルーティングし、継続的なヘルスチェックを行います。課金はコードが動作した秒単位で、コスト管理も細かく設定できます。無料の開始枠と拡張可能な従量課金を用意し、SOC 2 Type II準拠およびHIPAA対応でエンタープライズにも対応します。