02 · Jul · 2026 · enlace permanente
Un LLM pequeño no sabe qué no sabe
En VaultOS, la barra de comandos usa un modelo local de 3B para frases como «dame el primer password que guardé» o «la contraseña más débil» — y devolvía siempre el mismo elemento. La causa: el modelo no tiene reloj ni sabe medir fuerza de contraseñas, y ante datos que no existen un LLM no dice «no sé»: adivina.
El fix no fue prompt engineering, fue determinismo: detecto la intención con reglas, ordeno los candidatos para que el ítem 1 sea la respuesta correcta por construcción, y las frases de calidad se resuelven contra la auditoría de seguridad — con un null honesto si no hay nada. El modelo solo elige de una lista que ya no le deja equivocarse.
