2026 · jordimarsal/redis-toolkit
redis-toolkit
Toolkit de rate-limiting per a gateways de LLM: quotes token-bucket atòmiques, stores connectables i modes de fallada honests — amb una demo de gateway en Javalin que exposa un endpoint estil OpenAI.
Problema
La inferència de LLM és cara: trànsit sense límits és un DoS a la vostra cartera. La majoria de limitadors pateixen race conditions amb concurrència o fallen en sec quan ho fa Redis.
Punts clau
- Cada decisió de quota es calcula de forma atòmica — mai un read-modify-write que deixi passar un token per sobre del límit.
- En cas de fallada de Redis: fallback local elegant + mètriques sorolloses, no 5xx massius.
- Suite de tests de contracte compartida per les implementacions in-memory i Redis, a més de tests de concurrència i de paritat.
- Capçaleres X-RateLimit-* estàndard i 429 + Retry-After correctes.
Stack
- Java
- Javalin
- Redis
- Testcontainers
Mètriques
- 429+Retry-After
- correct rate-limit contract
- 2
- stores, one contract suite