Si no se puede auditar, no va a producción

El auditor externo hace una pregunta simple: ¿por qué este pago a un proveedor se registró el día 28 y no el 30? En la empresa nadie lo sabe. El agente que concilia pagos lo propuso, alguien lo aprobó, pero no queda rastro de con qué datos se tomó la decisión ni qué regla aplicó el agente. La respuesta honesta es «no sabemos», y en una auditoría esa respuesta es cara.

La escena es una composición. Lo que describe no es un problema de la IA en particular, sino de cualquier sistema que toma decisiones sin dejar registro. Si un agente procesa casos a gran escala o ejecuta acciones con rapidez, reconstruir cada decisión importante se vuelve más difícil sin un registro diseñado para ello.

Qué significa trazabilidad

Un sistema es trazable cuando permite reconstruir las decisiones que importan. Para una cifra: qué métrica se consultó, con qué versión de su definición, sobre qué fuentes y transformaciones. Para una acción: qué la disparó, qué datos usó el agente, qué propuso y, si requirió aprobación, quién la dio y cuándo. Cuando el caso exige llegar a registros individuales, esa capacidad debe diseñarse y limitarse según los permisos y la privacidad de los datos.

Linaje: de la cifra a la fila

El linaje de datos documenta cómo una cifra depende de conjuntos de datos y transformaciones. Cuando un agente responde cuánto suma la cartera vencida, debería poder mostrar la consulta, la definición de «vencida» y las fuentes utilizadas. Si el caso y los permisos lo permiten, una vista de detalle puede mostrar las facturas que componen el total. El linaje por sí solo no ofrece siempre ese desglose: hay que conservar las claves y diseñar la consulta para poder hacerlo.

Una cifra sin definición, fuente ni versión comprobable es difícil de defender.

La regulación va en la misma dirección

No es solo una buena práctica. El artículo 12 del Reglamento de Inteligencia Artificial de la Unión Europea, aprobado en 2024, exige que los sistemas clasificados como de alto riesgo permitan el registro automático de eventos durante su funcionamiento. La obligación depende de la clasificación y del contexto de uso; no se aplica por igual a todo agente empresarial. Aun fuera de ese ámbito, conservar evidencia ayuda a investigar errores y responder preguntas de auditoría.

Qué registrar

• Consultas relevantes: identificador o categoría de la consulta, versión de la métrica y referencia al resultado; redactar o evitar el texto libre y los datos sensibles.
• Cada llamada a una herramienta: cuál, bajo qué identidad y con qué resultado, redactando parámetros sensibles.
• Propuestas con efecto en el negocio, con referencias a la evidencia que las sostiene y un detalle proporcional al riesgo.
• Decisiones humanas de control: quién aprobó, rechazó o editó, y cuándo, cuando ese paso exista.
• La versión del modelo, de las instrucciones y de las reglas vigentes en ese momento.

El último punto es el que más se olvida. Si mañana cambia la regla o el modelo, hay que poder saber con qué versión se tomó cada decisión de ayer.

Diseñarlo desde el primer día

Diseñar los registros desde el inicio facilita investigar fallas y comparar versiones. No es gratis: requiere almacenamiento, permisos, redacción de datos sensibles y una política de retención. En una infraestructura para agentes, conectores, herramientas y aprobaciones deberían compartir identificadores de operación para reconstruir el recorrido sin copiar indiscriminadamente los datos de cada paso.

Las escenas de estos episodios son composiciones de situaciones frecuentes, no casos de clientes. Las cifras que aparecen en ellas son ilustrativas.