Anyscale empacota o projeto de código aberto Ray como serviço gerenciado para que equipes de engenharia não precisem operar a camada de cluster. A proposta é IA em escala de produção nas suas próprias GPUs de nuvem: você fornece a computação e a Anyscale cuida da orquestração, do escalonamento e da operação confiável das cargas Ray. A empresa foi fundada pelos criadores do Ray e continua sendo a principal responsável comercial pelo projeto.
A plataforma é organizada em torno das cargas que dominam o desenvolvimento de IA atual, e não de um único produto. A curadoria de dados multimodais roda grandes pipelines sobre vídeo, imagem, texto e áudio; o treino distribuído orquestra clusters de GPU com escalonamento elástico e pré-processamento de última milha; a geração de embeddings em lote paraleliza a vetorização para busca e recuperação; e o pós-treinamento suporta frameworks de RL como SkyRL e veRL, construídos nativamente sobre Ray. Bibliotecas existentes como PyTorch, vLLM, SGLang e XGBoost escalam via APIs Python em vez de serem reescritas.
No plano operacional, a Anyscale destaca a alocação granular de hardware, permitindo que partes diferentes de uma carga usem CPU, GPU, TPU ou racks de aceleradores como NVL72 de forma independente, além de comunicação distribuída eficiente pelo armazenamento de objetos em memória do Ray ou via RDMA. Orquestração multicloud, governança de computação e observabilidade completam a gestão, e créditos iniciais com teste grátis reduzem o custo de avaliação.
