← Toda la bitácora

R-01 · Un seguidor me retó: ¿una IA más grande acierta más?

Un seguidor me dijo: «prueba una IA más grande». Entonces comparé el 8B en Q4, el 8B en Q8 y un 14B en Q4, con el mismo acertijo de LAB-01. ¿Una IA más grande acierta más?

Cómo lo medí. Equipo: RTX 5070 Ti de 16 GB. Modelos: 8B Q4, 8B Q8 y 14B Q4. Herramienta: Ollama 0.40.16, en el mismo servidor local.

  • Contexto 4096. Para la velocidad, tres rondas por modelo, rotando posiciones y con el runtime vacío antes de cada ronda.
  • El acertijo de LAB-01 (5 redacciones) en dos modos: determinista (temperatura 0, semilla 42) y tipo chat (valores de fábrica, semillas 1, 2 y 3, 15 intentos por modelo y modo).
  • Cada modelo lo intentó sin razonar y razonando (hasta 1024 tokens de salida en directo y 3500 razonando).
  • Lo medí con un script y un verificador que compara con la única solución, enumerada por fuerza bruta.
Memoria y velocidad
Medida8B Q48B Q814B Q4
Pesos GGUF (bytes)5 225 374 4968 851 075 8729 276 184 896
Incremento de memoria de la tarjeta (GB)5,8059,1389,880
Capas en GPU37/3737/3741/41
Generación, explicar RAM (tokens/s)124,0880,9372,81
Generación, ordenar robots (tokens/s)126,8885,0577,06
Generación, resumir (tokens/s)130,6284,9277,08

El 14B generó entre 9,2 % y 10,0 % menos tokens por segundo que el 8B Q8 y entre 39,3 % y 41,3 % menos que el 8B Q4. Los tres cupieron enteros en la tarjeta.

Aciertos en chat, de 15 intentos (5 redacciones por 3 semillas)
Modo8B Q48B Q814B Q4
Directo3 de 150 de 150 de 15
Razonando12 de 1512 de 1513 de 15

Lo que vi. El 14B acertó un intento más que cada 8B al razonar, y la diferencia salió de una sola redacción (v4) con una semilla. En el modo determinista, los tres acertaron las mismas 4 de 5 redacciones al razonar. Lo que más cambió el resultado fue dejarla razonar, no el tamaño. A cambio, cada intento tardó más: en la redacción original, razonando, 16,20 s en el 8B Q4, 24,72 s en el 8B Q8 y 26,00 s en el 14B.

Probé también darle más espacio a la redacción más difícil (contexto 8192 y hasta 7000 tokens de salida). Los tres acertaron 1 de 3 en chat; en el modo determinista ninguno acertó.

Lo que no prueba. Que los modelos grandes no sirvan: es un acertijo, cinco redacciones, un equipo y una configuración. Las tres semillas repiten las mismas preguntas, y en la prueba ampliada cambié a la vez el contexto y la salida máxima, así que no sé cuál de los dos pesó. Un intento más de 15 es poca diferencia para sacar una regla.

Siguiente reto. Lograr 15 de 15. Ningún modelo lo consiguió. Lo intento en un próximo laboratorio, y si tienes una idea para lograrlo, cuéntamela.

Mira el video de R-01