Modal

Modal cung cấp hạ tầng đám mây nhắm trực tiếp vào đội ngũ AI và dữ liệu. Ý tưởng cốt lõi là lập trình viên viết Python thông thường, định nghĩa hàm bằng decorator hoặc tạo image container, còn Modal xử lý phần còn lại: lập lịch container, gắn GPU, tự mở rộng từ không rồi thu về, và mở endpoint qua HTTPS. Các chi tiết hạ tầng như mạng, lưu trữ và quản lý dung lượng được trừu tượng hóa, nên một workload chạy được trên máy cá nhân cũng chạy tương tự trên một hệ thống lớn.

Nền tảng được tổ chức quanh vài thành phần cơ bản. Functions đảm nhận điện toán serverless và có thể trải rộng trên hàng nghìn GPU cho công việc song song hoặc theo lô. Sandboxes cung cấp môi trường cách ly cho agent lập trình, rollout học tăng cường và mã không đáng tin cậy, khởi động dưới một giây và hỗ trợ mức đồng thời rất cao. Training bao phủ tinh chỉnh, học tăng cường và đánh giá trên dung lượng GPU một hoặc nhiều nút. Ở phía suy luận, Modal cung cấp endpoint tương thích OpenAI và cho phép mang theo stack suy luận riêng, tinh chỉnh endpoint theo đặc điểm lưu lượng.

Bên dưới, Modal vận hành runtime container và hệ thống image riêng, tối ưu cho image lớn và lập lịch GPU nhanh, cùng hệ thống tệp phân tán để truy xuất trọng số mô hình và tập dữ liệu với tốc độ cao. Dung lượng đến từ pool đa đám mây trải khắp nhiều khu vực, tự động định tuyến tới phần cứng sẵn có và kiểm tra tình trạng liên tục. Tính phí theo mức sử dụng, tính theo giây khi mã chạy, kèm kiểm soát chi phí chi tiết. Công ty cung cấp hạn mức miễn phí ban đầu và mức dùng trả phí có thể mở rộng, hướng tới doanh nghiệp với chứng nhận SOC 2 Type II và sẵn sàng HIPAA.