O Chutes é uma plataforma de inferência sem servidor construída sobre infraestrutura descentralizada de GPU. Em vez de alugar uma alocação fixa de GPU, envia pedidos para um endpoint compatível com a OpenAI e a plataforma encaminha-os para capacidade já em execução. O argumento da equipa é a velocidade de disponibilidade: quando surge um novo modelo aberto de fronteira, o Chutes pretende tê-lo ativo em minutos, para que os programadores o possam testar e adotar cedo.
O catálogo é deliberadamente amplo. Além dos grandes modelos de linguagem esperados, o Chutes aloja modelos de imagem, vídeo, voz, música, embeddings e moderação de conteúdo, e permite trazer o seu próprio código como "chute" personalizado. Isso torna viável construir produtos multimodais — um assistente que também gera imagens, transcreve áudio ou modera conteúdo de utilizadores — sem juntar vários fornecedores.
No plano operacional, o Chutes aponta a cargas de produção: modelos sempre quentes, trabalhos em lote e efémeros, faturação por segundo de GPU em implementações privadas e inferência confidencial em ambientes de execução de confiança para casos sensíveis à privacidade. O preço é medido por token nos modelos públicos, com um estimador de custos em direto e uma app de chat para consumidores junto da API.