Plataforma & Infra de LLM

O centro da minha plataforma é o Railter: um gateway OpenAI-compatible que unifica Claude, GPT e Gemini atrás de uma única API, com auth por chave, metering, billing e retry/fallback. Nenhum produto meu fala com provider diretamente — quando nasce um app novo, ele já nasce com observabilidade de custo, streaming SSE e fallback de graça. Trocar de modelo é config, não refactor.

Economia de LLM é disciplina de infra, não otimização de fim de mês. O roteamento por tier (GLM → Sonnet → Opus) escolhe o modelo mais barato que segura a qualidade, com trava de escalação em código e telemetria de custo por sessão de worker. O eval harness participa da decisão: tier só muda quando o dado mostra que precisa.

Embaixo disso, o lastro enterprise: na Monument, migrei dezenas de clientes com pipelines idempotentes reconciliados ao centavo; na YOUSE, integrei microserviços numa malha Kafka de 50+ serviços; no Bradesco, processei 1M de registros/dia em batch com tuning que cortou 60% do tempo de query; no DETRAN, mantive 99,9% de uptime por anos. Hoje esse repertório opera uma fleet de apps Rails na DigitalOcean — auto-deploy com migrations, cluster Postgres compartilhado e o hábito de dimensionar pool de conexão antes que ele vire incidente.