DEPT·F1 — HERRAMIENTAS Y PLATAFORMA2026
ggufbench
Un benchmark agéntico para modelos GGUF locales: velocidad de prompt, tool-calling, generación de código y trabajo agéntico multi-paso, medidos bajo un mismo harness y con los recibos en bruto de cada llamada — 100% local, sin nube ni APIs.
El encargo
Los benchmarks públicos se usan para entrenar, y “cuál es el modelo más listo” no es la pregunta que responde un equipo local. ggufbench pregunta qué GGUF ejecutar en tu propia máquina: cada modelo corre el mismo harness, cada fila del marcador declara el set de tareas que midió de verdad y las exclusiones quedan registradas con un motivo — nunca en silencio.
Qué se construyó
Cuatro dimensiones bajo un mismo harness: velocidad de prompt, tool-calling, generación de código y trabajo agéntico multi-paso — tres ejecuciones por tarea (semillas 42/43/44) en el mismo equipo 2× RTX 5080, reportadas como media ± desviación.
El set de tareas actual: 18 tareas de herramientas, 72 de código y 72 de agente — versionado (v1 → v5) para que cada fila del marcador declare el set que midió de verdad; un único presupuesto de razonamiento de 32768 tokens y los modos de thinking medidos por separado.
100% local — sin nube, sin APIs, sin telemetría — y con recibos: cada llamada deja timings, llamadas a herramientas y trazas por tarea para un marcador en vivo, y 13 modelos retirados se quedan solo como registro.