Gateways de IA con LiteLLM

Desplegar LLMs en producción sin control de tráfico ni cuotas es la receta perfecta para una sorpresa desagradable en la factura de la nube 💸. En este workshop práctico de 90 minutos veremos qué es un gateway de IA y por qué usarlo, y pasaremos directamente a la infraestructura, viendo cómo desplegar una capa de gobernanza y control de costes production-ready en GCP, reemplazando el caos de credenciales dispersas por un gateway unificado y seguro 🛡️.

🔥 Lo que vamos a construir (y romper) en directo:

• Capa de cómputo y persistencia: despliegue del contenedor de LiteLLM Proxy en Cloud Run con conexión privada (VPC Direct Egress) hacia Cloud SQL (estados y reglas) y Memorystore/Redis (rate limiting e in-memory caching).
• Zero Trust e IAM nativo: integración con Vertex AI (Gemini y Claude) utilizando Service Accounts e identidades efímeras (roles/aiplatform.user), eliminando por completo las API keys estáticas.
• Throttling y presupuestos duros: configuración de Virtual Keys y parámetros de usuario para cortar llamadas al instante (HTTP 429) cuando se superen los límites de tokens por minuto (TPM/RPM) o el presupuesto en dólares ($/mes).
• Estrategia de fallback: enrutamiento dinámico entre modelos para conmutar a un modelo secundario si Vertex AI devuelve errores 429 (Rate Limit) o 500.
• Pipeline de telemetría y FinOps: streaming de logs JSON desde Cloud Logging hacia BigQuery para auditar el coste exacto por token (prompt vs. completion) e imputar gastos por equipo o aplicación.

🎯 Perfil técnico objetivo: DevOps, Platform Engineers, Cloud Architects y Backend/AI Engineers que necesiten escalar infraestructura de IA sin perder el control operativo ni financiero.

🧰 Stack que utilizaremos: LiteLLM Proxy, GCP Cloud Run, Vertex AI, Memorystore (Redis), Cloud SQL (PostgreSQL), BigQuery, Docker, cURL.

💻 Opcional: si quieres seguir el despliegue paso a paso, trae tu portátil. También puedes venir solo a mirar, todo se hace en directo.