DEPT·F1 — EINES I PLATAFORMA2026
ggufbench
Un benchmark agèntic per a models GGUF locals: velocitat de prompt, tool-calling, generació de codi i treball agèntic multi-pas, mesurats sota un mateix harness i amb els rebuts en brut de cada crida — 100% local, sense núvol ni APIs.
L’encàrrec
Els benchmarks públics serveixen per entrenar, i “quin model és més llest” no és la pregunta que respon un equip local. ggufbench pregunta quin GGUF executar a la teva pròpia màquina: cada model corre el mateix harness, cada fila del marcador declara el set de tasques que va mesurar de debò i les exclusions queden registrades amb un motiu — mai en silenci.
Què es va construir
Quatre dimensions sota un mateix harness: velocitat de prompt, tool-calling, generació de codi i treball agèntic multi-pas — tres execucions per tasca (llavors 42/43/44) al mateix equip 2× RTX 5080, reportades com a mitjana ± desviació.
El set de tasques actual: 18 tasques d’eines, 72 de codi i 72 d’agent — versionat (v1 → v5) perquè cada fila del marcador declari el set que va mesurar de debò; un únic pressupost de raonament de 32768 tokens i els modes de thinking mesurats per separat.
100% local — sense núvol, sense APIs, sense telemetria — i amb rebuts: cada crida deixa timings, crides a eines i traces per tasca per a un marcador en viu, i 13 models retirats es queden només com a registre.