DEPT·F2 — TRANSPORT I TELEMETRIA2026
Redis Toolkit
Toolkit de rate-limiting per a gateways de LLM: quotes token-bucket atòmiques, stores connectables i modes de fallada honests — amb una demo de gateway en Javalin que exposa un endpoint estil OpenAI.
L’encàrrec
La inferència de LLM és cara: trànsit sense límits és un DoS a la teva cartera. La majoria de limitadors pateixen race conditions amb concurrència o fallen en sec quan ho fa Redis.
Què es va construir
Cada decisió de quota es calcula de forma atòmica — mai un read-modify-write que deixi passar un token per sobre del límit.
En cas de fallada de Redis: fallback local elegant + mètriques sorolloses, no 5xx massius.
Suite de tests de contracte compartida per les implementacions in-memory i Redis, a més de tests de concurrència i de paritat.
Capçaleres X-RateLimit-* estàndard i 429 + Retry-After correctes.