REGISTRAT 2026-11-06 · REV A
Quin model local hauria d’executar un agent de codi? Ronda 2: llama.cpp 0.9
Un mes després de la primera ronda: el mateix harness torna a mesurar la flota sobre llama.cpp 0.9.0 i Strata 0.1.57, esperant que el rànquing sobrevisqués. No hi va sobreviure — i els rebuts van caçar el motiu.
La flota, llavors i ara
| model | think | tools | code | agent | speed | global | was |
|---|---|---|---|---|---|---|---|
| minicpm-v-4.7-35b-a3b q4_k_m | on | 100% | 84% (10 excl.) | 92% | 23ms | 0.87 | 0.85 |
| qwen36-35b-distill-mxfp4_moe | off | 100% | 71% | 93% | 16ms | 0.87 | 0.84 |
| minicpm-v-4.7-35b-a3b q4_k_m | off | 100% | 80% (2 excl.) | 90% | 21ms | 0.86 | 0.85 |
| qwen3.8-27b-ud-q3_k_xl | off | 100% | 81% | 94% | 36ms | 0.83 | 0.82 |
| ornith-1.5-35b-a3b-apex-mtp-quality | off | 100% | 74% | 91% | 26ms | 0.82 | 0.82 |
| qwen3.8-27b-heretic-q4_k_m | on | 100% | 97% (7 excl.) | 97% | 1053ms | 0.84 | 0.80 |
| qwen3.8-27b-ud-q3_k_xl | on | 100% | 90% (3 excl.) | 96% | 686ms | 0.81 | 0.80 |
| ornith-1.5-35b-a3b-apex-mtp-quality | on | 94% | 87% (1 excl.) | 96% | 412ms | 0.79 | 0.77 |
| strata-iq3_xxs (strata engine 0.1.57) | on | 94% | 87% (4 excl.) | 94% | 398ms | 0.78 | 0.70 |
| gemma-4-26b-a4b-it-ud-q5_k_xl | on | 94% | 79% | 89% | 690ms | 0.75 | 0.74 |
| qwen36-35b-distill-mxfp4_moe | on | 94% | 74% (4 excl.) | 89% | 244ms | 0.73 | 0.72 |
| gemma-4-26b-a4b-it-ud-q5_k_xl | off | 89% | 83% | 89% | 32ms | 0.80 | 0.80 |
| strata-iq3_xxs (strata engine 0.1.57) | off | 89% | 83% | 90% | 36ms | 0.80 | 0.80 |
| qwen3.8-27b-heretic-q4_k_m | off | 100% | 81% | 93% | 66ms | 0.80 | 0.81 |
Les files ON van córrer amb caps de generació 1024/8192 i les OFF amb els defaults de la flota 128/512; la distància entre tots dos és el primer descobriment. Passada d’una sola tirada, llavor 42: cada número aquí és una mesura on les d’octubre eren la mitjana de tres, i les columnes ± tornen amb la passada de 3 llavors. La fila turbofcfusion-neo-coder queda com a registre — el seu quant ja no és al disc.
L’error que et mereixes: els caps
La primera cosa que vaig tornar a mesurar es va ensorrar. Les puntuacions d’agent van caure al 58% i 64% on octubre deia 96% i 97%, amb els models responent buit al primer torn. Els rebuts van dir per què: la cadena de thinking va cremar tot el pressupost de torn de 512 tokens abans de cap tool call, i l’episodi va seguir amb un forat dins. La flota d’octubre va córrer les files ON a 1024/8192; aquesta passada les va córrer primer amb els defaults del harness, 128/512.
Res en els models s’havia degradat; les condicions del harness sí. Tornada a córrer amb els caps justos, l’ensorrament es va invertir — UD-Q3 de tornada al 96% d’agent, Heretic al 97% — i ON va passar de ser un impost a ser una victòria a gairebé tot arreu. Si mides models agèntics, endús-te això: un model thinking mesurat amb caps de resposta directa mesura el harness, no el model. El mode de fallada (respostes buides, un torn, sense error) s’assembla exactament a una regressió del model tret que els rebuts ho registrin. Els meus ho van fer; per això existeix aquest paràgraf.
Què s’ha mogut amb el motor
Quatre coses van destacar.
El thinking va deixar de ser només una eina de codi difícil
A l’octubre, ON comprava qualitat només al nivell difícil. Aquesta vegada ON va millorar sis de set models. Heretic-on publica el millor codi i agent de la flota, 97% en tots dos, i MiniCPM-on empatava el cap de la taula a 0.87 mantenint els seus torns de 23ms — continua sent l’únic model el thinking del qual és gratis.
Strata es va endur la guanyada més gran
De 0.70 a 0.78 amb el motor 0.1.57 i els caps justos; tools va passar de 78 a 94% i agent de 77 a 94%. La seva fila OFF es va quedar a 0.80, així que la feina del motor va aterrar específicament en mode thinking.
OFF es va quedar al seu lloc, tret de tools
llama.cpp 0.9 va mantenir cada global de OFF dins de ±0.03 d’octubre, i la majoria de files es van moure menys que la dispersió entre tirades. El moviment va estar al tool calling: qwen36 va passar de 94 a 100% amb torns a 16ms, mentre Heretic canvia cinc punts de codi per un torn 19ms més ràpid.
El cap ara és un empat entre modes
Els empats d’octubre eren entre files OFF. Aquesta vegada MiniCPM-on 0.87 iguala qwen36-off 0.87, així que l’elecció és per ús: qwen36-off per torns de 16ms, MiniCPM-on per 84% de codi amb rebuts.
Quant context crema un model per aprovar?
La pregunta que va deixar un lector a la primera ronda: el bucle d’agent reenvia tota la conversa a cada torn, de manera que dos models amb el mateix percentatge d’encert poden costar molt diferent en tokens enviats. Fins ara el harness comptava el que el model emetia (out_tokens) i no el que llegia. Aquesta ronda cada fila porta rebuts de context — in_tokens per crida per a tools i codi, tokens per sessió d’agent sumats sobre els torns de l’episodi, mitjana i mediana sobre les 72 sessions de la flota.
| model | think | tools in/call | code in/call | agent session avg | agent session median |
|---|---|---|---|---|---|
| qwen36-35b-distill-mxfp4_moe | off | 305 / 294 | 187 / 115 | 4,839 | 3,789 |
| minicpm-v-4.7-35b-a3b q4_k_m | off | 305 / 294 | 187 / 115 | 4,502 | 3,643 |
| qwen3.8-27b-ud-q3_k_xl | off | 305 / 294 | 187 / 115 | 5,150 | 3,913 |
| ornith-1.5-35b-a3b-apex-mtp-quality | off | 305 / 294 | 187 / 115 | 5,155 | 4,120 |
| qwen3.8-27b-heretic-q4_k_m | off | 305 / 294 | 187 / 115 | 5,404 | 3,817 |
| gemma-4-26b-a4b-it-ud-q5_k_xl | off | 104 / 86 | 190 / 116 | 4,412 | 3,048 |
| strata-iq3_xxs (strata engine 0.1.57) | off | 289 / 281 | 187 / 115 | 4,663 | 3,512 |
| qwen36-35b-distill-mxfp4_moe | on | 303 / 292 | 185 / 113 | 6,086 | 4,200 |
| minicpm-v-4.7-35b-a3b q4_k_m | on | 303 / 292 | 185 / 113 | 6,186 | 4,465 |
| qwen3.8-27b-ud-q3_k_xl | on | 341 / 330 | 223 / 151 | 9,057 | 6,130 |
| ornith-1.5-35b-a3b-apex-mtp-quality | on | 303 / 292 | 185 / 113 | 10,758 | 6,353 |
| strata-iq3_xxs (strata engine 0.1.57) | on | 326 / 317 | 223 / 151 | 10,101 | 6,058 |
| qwen3.8-27b-heretic-q4_k_m | on | 341 / 330 | 223 / 151 | 8,500 | 4,710 |
| gemma-4-26b-a4b-it-ud-q5_k_xl | on | 102 / 84 | 188 / 114 | 11,060 | 7,740 |
Tres coses que diuen els rebuts.
La crema per crida és plana
Cap a 290-340 tokens d’entrada per tool call i 185-220 per crida de codi a tot arreu, perquè aquells prompts són les mateixes tasques. Tota la variància viu al bucle d’agent, on la conversa creix.
El thinking també és un impost de context
Mateix model, mateixes tasques, ON contra OFF: +26% de tokens de sessió en qwen36, +57% en Heretic, +76% en UD-Q3, +117% en Strata, +151% en gemma. La taula de latències ja va mostrar un cost del thinking; els rebuts mostren el segon.
La qualitat per token cremat és el seu propi rànquing
qwen36-off entrega l’empat al cap, 0.87, amb 4.8K de tokens per sessió, i MiniCPM-on el mateix 0.87 amb 6.2K — el pensador barat. A l’altre extrem, gemma-on crema el màxim de context de la flota (11.1K de mitjana, 7.7K mediana) per 0.75, i Strata-on paga 10.1K per 0.78. La feina del motor va comprar els seus punts cars.
Què et diria que fessis
Igual que l’altre cop, amb una esmena. Mesura al teu propi maquinari, llegeix les exclusions, tracta les files properes com a empats, i quan una puntuació es mogui, revisa els caps abans de creure’t el model. Una actualització de motor no canvia el que un model sap; canvia com compta la fontaneria. La flota segueix sense tenir un únic guanyador: tools i torns barats són de qwen36-off, codi i agent ara són de Heretic-on, la qualitat agnòstica de velocitat és de MiniCPM, i el despatx de format llarg és de Strata, que acaba de tancar gairebé tot el forat que la seva primera ronda va deixar obert.
Marcador i informe en directe: jordimarsal.github.io/ggufbench. Codi, tasques i rebuts: github.com/jordimarsal/ggufbench. La primera ronda, per context: quin model local hauria d’executar un agent de codi.