Saltar al contenido

DEPT·F2 — TRANSPORTE Y TELEMETRÍA2026

Redis Toolkit

Toolkit de rate-limiting para gateways de LLM: cuotas token-bucket atómicas, stores conectables y modos de fallo honestos — con una demo de gateway en Javalin que expone un endpoint estilo OpenAI.

El encargo

La inferencia de LLM es cara: tráfico sin límites es un DoS a tu propia cartera. La mayoría de limitadores sufren race conditions con concurrencia o fallan en seco cuando lo hace Redis.

Qué se construyó

  1. Cada decisión de cuota se calcula de forma atómica — nunca un read-modify-write que cuele un token por encima del límite.

  2. Ante fallo de Redis: fallback local elegante + métricas ruidosas, no 5xx masivos.

  3. Suite de tests de contrato compartida por las implementaciones in-memory y Redis, más tests de concurrencia y de paridad.

  4. Cabeceras X-RateLimit-* estándar y 429 + Retry-After correctos.

Métricas

429+ Retry-After, siempre
2stores, una suite de contrato

STACK

JavaJavalinRedisTestcontainers
VISITA EL REPO

Volver a Transporte y Telemetría