Cuando le pides a un asistente de IA que audite un trozo de código, lo normal es que te devuelva una lista larga, bien redactada, con archivo y línea para cada hallazgo y, muchas veces, ordenada «de más a menos crítico». Es muy tentador tratar esa lista como si fuera un resultado. No lo es: es la materia prima.
Misma pregunta, mismo código, distinta lista
En una sesión práctica con una decena de desarrolladores se lanzó exactamente el mismo prompt sobre el mismo proyecto. Cada persona obtuvo una lista distinta: entre 10 y 27 hallazgos, con el orden cambiado y, en algunos casos, con hallazgos que en una ejecución aparecían por separado y en otra venían absorbidos dentro de otro. Nadie se equivocó. Todos los órdenes eran defendibles por separado.
La conclusión no es que el modelo falle, sino algo más incómodo: la severidad que devuelve un modelo no es una propiedad del sistema que audita. Es una salida de esa ejecución, igual que lo sería la redacción de un título. Si tu plan de trabajo sale de ese orden, tendrás un plan distinto cada mañana.
Por qué no puede saber qué es grave
Para decidir qué es crítico hace falta saber cosas que no están en el código: quién usa el sistema, qué datos son sensibles para ese negocio, cuántos clientes lo notarían, si hay integraciones externas que dependen de un comportamiento concreto. El modelo solo ve el repositorio, así que rellena ese vacío con lo que suele ser grave en general, no con lo que es grave en tu caso.
Cómo ordenar sin delegar el criterio
La salida práctica es definir un criterio propio con ejes que se respondan con un hecho comprobable y no con una nota subjetiva. Daño: qué se rompe y quién lo nota. Radio: cuántos sitios hay que tocar a la vez, contados y listados, nunca «varios». Reversibilidad: si un revert limpio lo deshace o deja rastro en datos ya guardados. Precedencia: si arreglar uno abarata o encarece el arreglo de otro.
Con esos cuatro ejes, el orden deja de ser una opinión: dos personas distintas deberían llegar al mismo resultado, y si no llegan, casi siempre es porque alguien estimó un radio en lugar de contarlo o coló una opinión como si fuera un hecho. No son los únicos ejes posibles: según el contexto puedes añadir el cumplimiento normativo, el esfuerzo o el tipo de cliente afectado. Lo importante es que cada eje sea medible.
Qué hacer con la lista del modelo
Úsala para lo que es buena: encontrar candidatos rápido y barato. Tira su columna de severidad sin discutirla y ordena con tu criterio. Y recuerda que el cuello de botella no es encontrar problemas, sino comprobarlos: abrir el archivo, mirar la línea y decidir si el hallazgo dice la verdad. Eso es tiempo de persona y no se puede delegar sin perder la garantía.
Resumen rápido
La lista de una auditoría con IA es materia prima, no un resultado. Su orden cambia entre ejecuciones y no refleja tu negocio. Define ejes medibles, ordena tú y dedica el tiempo humano a comprobar.