Los agentes ganaron poder. Su confianza, no.
Esta semana, dos investigaciones mostraron lo mismo desde ángulos distintos: los agentes de IA ya tienen acceso real —terminal, repos, memoria persistente— pero su modelo de confianza no escaló con ese poder. No es un problema nuevo de IA. Es un problema viejo de sistemas, y la disciplina que lo resuelve ya la conocemos: mínimo privilegio, sandboxing, auditoría.
La tesis
Un agente diseñado para ser útil y obediente no es escéptico por defecto. En un sistema crítico, la falta de escepticismo es la vulnerabilidad. A un proceso nuevo no le das acceso a datos sensibles "a ver qué pasa": le das el mínimo, lo aíslas y lo auditas. Con los agentes de IA, media industria se saltó ese paso.
Señales de la semana
El poder ya es real
DesktopCommanderMCP le da a un LLM control de terminal, filesystem y edición con diff, vía MCP. La capacidad no está en duda; MCP se consolidó como la interfaz estándar para extender agentes. Fuente: GitHub.
La confianza se rompe por inyección
GitLost: investigadores engañaron al agente de GitHub con prompt injection para filtrar repos privados. No es un bug clásico, es diseño: un agente con acceso a datos sensibles sin sandboxing serio es superficie de ataque. Fuente: Noma Security.
…y por alucinación
HalluSquatting: los atacantes registran de antemano los paquetes y dominios que los LLMs alucinan. La propiedad que los hace útiles (siempre responder) los vuelve vector. Regla de siempre: verificar, no confiar. Fuente: Ars Technica.
Mi lectura
El patrón no es "la IA es insegura". Es que le dimos poder a algo antes de resolver cómo confiar en ello, y ese orden está invertido. La confianza no se asume: se gana con límites, sandboxing y auditoría. La próxima ventaja no es hacer agentes más capaces — es hacerlos auditables, y esa parte ya sabemos hacerla.
¿Te aporta? Reenvíalo a quien le sirva.
Suscribirme— Jorel