18 · Nov · 2026 · enlace permanente
LAB-01 · IA local en mi PC: Q4 vs Q8
Una herramienta (llmfit) me dijo que Qwen3-8B cabía en mi PC. Quise comprobarlo y, de paso, ver qué cambia entre dos versiones del mismo modelo: Q4, más comprimida, y Q8, más precisa y más pesada. ¿Cargan? ¿Qué tan rápido responden? ¿Resuelven mejor un problema difícil?
Cómo lo medí. Equipo: RTX 5070 Ti de 16 GB. Modelos: Qwen3-8B en Q4_K_M y en Q8_0. Herramienta: Ollama 0.40.16, en un servidor local.
- Tres rondas por versión, con el mismo contexto (4096), las mismas tres tareas y el mismo orden. Guardé las 18 respuestas sin editar.
- Temperatura 0 y semilla 42; lo medí con un script, y cada cifra es la mediana de las tres rondas.
- Para el problema difícil escribí un acertijo nuevo: 5 personas, 5 días y 5 condiciones. Un programa verificó por fuerza bruta que tiene una sola solución.
- Lo escribí de 5 formas distintas. Cada modelo lo intentó sin razonar y razonando.
Lo que midió la carga. Las dos versiones cargaron y respondieron las tres tareas en las tres rondas, con 100% en GPU (37/37 capas).
| Medida | Q4_K_M | Q8_0 |
|---|---|---|
| Mínimo estimado por llmfit (GB) | 5,81 | 9,66 |
| VRAM asignada por Ollama (GB) | 5,59 | 8,90 |
| Memoria de la tarjeta, cargado menos reposo (GB) | 5,81 | 9,10 |
| Precarga (s) | 2,15 | 2,40 |
| Tarea | Q4_K_M | Q8_0 |
|---|---|---|
| Explicar RAM | 114,65 | 76,50 |
| Ordenar robots | 121,49 | 79,00 |
| Resumir un párrafo | 119,89 | 79,51 |
El acertijo. Sin razonar, Q4 acertó 1 de 5 redacciones y Q8, 0 de 5. Razonando, las dos acertaron 4 de 5; en la quinta se quedaron sin espacio y no respondieron. Sin razonar tardaron menos de 1 s; razonando, Q4 tardó de 13 a 16,5 s y Q8 de 20 a 29,5 s.
| Modo | Q4_K_M | Q8_0 |
|---|---|---|
| Sin razonar | 1 de 5 | 0 de 5 |
| Razonando | 4 de 5 | 4 de 5 |
El acierto de Q4 sin razonar solo ocurrió con la redacción original: con otras fallaron las dos. En una repetición tipo chat (valores de fábrica, 3 rondas, 15 intentos por celda) el patrón se mantuvo: sin razonar, Q4 acertó 3 de 15 y Q8, 0 de 15; razonando, las dos acertaron 12 de 15.
Algo que se ve a simple vista: al ordenar a tres robots, Q8 puso a Ciro en un extremo y contradijo una condición. Y al pedirle un resumen en dos frases, Q4 dio cuatro. Ninguna versión salió limpia.
Lo que no prueba. Que llmfit acierte en otras máquinas, ni que la cifra de memoria sea exacta: solo que estas dos configuraciones cargaron y respondieron aquí. No es una puntuación de calidad: es un acertijo, cinco redacciones, un equipo y una configuración. Tampoco dice que Q4 sirva «para lo diario» y Q8 «para lo complejo»: esta prueba no respalda esa idea. Que el modelo entre en la tarjeta no significa que haga bien tu tarea.