← Toda la bitácora

Un LLM pequeño no sabe qué no sabe

En VaultOS, la barra de comandos usa un modelo local de 3B para frases como «dame el primer password que guardé» o «la contraseña más débil» — y devolvía siempre el mismo elemento. La causa: el modelo no tiene reloj ni sabe medir fuerza de contraseñas, y ante datos que no existen un LLM no dice «no sé»: adivina.

El fix no fue prompt engineering, fue determinismo: detecto la intención con reglas, ordeno los candidatos para que el ítem 1 sea la respuesta correcta por construcción, y las frases de calidad se resuelven contra la auditoría de seguridad — con un null honesto si no hay nada. El modelo solo elige de una lista que ya no le deja equivocarse.

Barra de búsqueda de VaultOS con la frase 'dame la contraseña más débil' y debajo la sugerencia de la IA local: Abrir · Cpanel
La frase no coincide con nada literal; la IA local la resuelve contra la auditoría y sugiere el elemento débil.