2026 · jordimarsal/redis-toolkit
redis-toolkit
Toolkit de rate-limiting para gateways de LLM: cuotas token-bucket atómicas, stores conectables y modos de fallo honestos — con una demo de gateway en Javalin que expone un endpoint estilo OpenAI.
Problema
La inferencia de LLM es cara: tráfico sin límites es un DoS a tu propia cartera. La mayoría de limitadores sufren race conditions con concurrencia o fallan en seco cuando lo hace Redis.
Puntos clave
- Cada decisión de cuota se calcula de forma atómica — nunca un read-modify-write que cuele un token por encima del límite.
- Ante fallo de Redis: fallback local elegante + métricas ruidosas, no 5xx masivos.
- Suite de tests de contrato compartida por las implementaciones in-memory y Redis, más tests de concurrencia y de paridad.
- Cabeceras X-RateLimit-* estándar y 429 + Retry-After correctos.
Stack
- Java
- Javalin
- Redis
- Testcontainers
Métricas
- 429+Retry-After
- correct rate-limit contract
- 2
- stores, one contract suite