IA explicable: trazabilidad de decisiones con ontologías

Cuando una empresa utiliza inteligencia artificial para priorizar una solicitud, evaluar un riesgo, recomendar una acción o asignar recursos, la respuesta visible suele ser apenas el último eslabón de un proceso más amplio. Para revisar esa decisión no basta con conservar el texto generado. Hace falta reconstruir qué información estuvo disponible, cómo se interpretó, qué reglas se aplicaron, qué modelo o agente intervino y qué persona —si la hubo— autorizó el resultado.

Esta necesidad suele describirse como trazabilidad. En sistemas de IA, sin embargo, conviene distinguirla de la explicabilidad y de la corrección. Una explicación puede ser comprensible sin representar fielmente el proceso que produjo la salida; un registro puede permitir reconstruir el proceso sin demostrar que la decisión fue correcta. Las ontologías ayudan a organizar las relaciones necesarias para documentar ese recorrido, pero no sustituyen los mecanismos de registro, evaluación y responsabilidad.

Explicar no es lo mismo que reconstruir

La transparencia permite saber qué ocurrió: qué sistema se ejecutó, cuándo y con qué resultado. La explicabilidad busca comunicar cómo se llegó a una salida y por qué ciertos elementos fueron relevantes. La interpretabilidad se refiere a la posibilidad de comprender el funcionamiento o el significado del comportamiento del sistema. El NIST advierte que estos conceptos están relacionados, pero no son intercambiables (NIST, 2023).

Para la gestión empresarial se necesita una cuarta capacidad práctica: la reconstrucción de la decisión. Consiste en recuperar, con suficiente integridad, la secuencia de datos, transformaciones, consultas, modelos, reglas, intervenciones y autorizaciones que condujeron a una acción. No equivale a reproducir cada operación interna de un modelo neuronal ni a revelar una cadena privada de razonamiento; significa conservar evidencia operativa verificable del proceso.

Qué aporta una ontología a la trazabilidad

Una ontología formaliza los conceptos de un dominio, sus relaciones y las restricciones que permiten interpretarlos de manera consistente. En una arquitectura de trazabilidad, puede definir qué cuenta como una fuente, un dato, una transformación, una versión de modelo, una regla, una recomendación, una decisión, una autorización o una evidencia. También puede establecer relaciones explícitas: una decisión se fundamenta en una evidencia; una evidencia procede de una fuente; una recomendación fue generada por un modelo; una acción fue autorizada por un responsable.

Esta estructura reduce la ambigüedad de los registros. En lugar de guardar eventos como textos aislados —«se aprobó», «el sistema recomendó», «se consultó información»—, la organización puede representarlos como entidades y actividades relacionadas. La ontología aporta el vocabulario compartido y las reglas semánticas; el registro de eventos aporta las instancias concretas y sus marcas temporales.

Un referente técnico útil es PROV-O, recomendación del W3C que expresa un modelo de procedencia mediante tres categorías centrales: entidades, actividades y agentes. Permite describir qué elementos fueron utilizados o generados por una actividad y qué agentes estuvieron asociados con ella (Lebo et al., 2013). Una organización puede extender este patrón con conceptos propios —por ejemplo, versión de política, umbral de riesgo, conjunto de evidencias o aprobación humana— sin confundir el estándar de procedencia con una ontología completa del negocio.

Una ontología hace explícito el significado de los elementos de una decisión; la trazabilidad conserva la historia de cómo esos elementos participaron en ella.

De los datos a una decisión reconstruible

La trazabilidad requiere una arquitectura que conecte el conocimiento con la operación. Una secuencia mínima puede organizarse en seis momentos:

1. Identificación de la solicitud. Se asigna un identificador único al caso, junto con el propósito, el dominio y el nivel de riesgo.
2. Recuperación de evidencia. Se registran las fuentes consultadas, los identificadores de documentos o registros, sus versiones, fechas y criterios de selección.
3. Contextualización semántica. La ontología vincula entidades, conceptos y relaciones, y permite detectar incompatibilidades o información faltante.
4. Procesamiento y evaluación. Se conserva qué modelo, agente, herramienta y versión participaron; qué instrucciones operativas y reglas se aplicaron; y qué resultados intermedios relevantes se produjeron.
5. Decisión y autorización. Se documenta la recomendación, la decisión final, las modificaciones realizadas y la identidad o rol del responsable que autorizó o rechazó la acción.
6. Seguimiento. Se registran el resultado posterior, las excepciones, las correcciones y cualquier revisión que modifique el estado del caso.

La capa de orquestación cognitiva coordina estos momentos. Decide qué fuente consultar, qué representación de conocimiento utilizar, qué modelo o agente convocar, qué regla aplicar y cuándo solicitar intervención humana. Además, puede centralizar la generación de registros y asociar cada evento con el identificador del caso. La trazabilidad no aparece por el simple hecho de incorporar una capa de orquestación: debe diseñarse como requisito de arquitectura, instrumentarse en cada componente y comprobarse mediante pruebas.

Un ejemplo: evaluar una decisión con evidencia territorial

La explicación debe ser fiel y evaluable

Una explicación generada después de la decisión no es necesariamente una descripción fiel del mecanismo que la produjo. Las técnicas de explicabilidad local, como LIME, buscan aproximar el comportamiento de un clasificador alrededor de una predicción concreta; son herramientas útiles para examinar ciertas salidas, pero no sustituyen el registro de las fuentes, transformaciones y acciones que ocurrieron en un flujo empresarial (Ribeiro et al., 2016).

Por ello, la organización debe separar dos artefactos. El primero es el registro de ejecución: eventos, entradas, versiones, llamadas, reglas, resultados y responsables. El segundo es la explicación dirigida a una audiencia: una síntesis que comunica los factores relevantes en lenguaje comprensible. Ambos deben vincularse, pero no confundirse. La explicación puede facilitar la revisión; la evidencia registrada permite contrastarla.

Qué debe conservar una organización

Un diseño robusto debe definir desde el inicio qué información es necesaria para cada tipo de decisión y durante cuánto tiempo debe conservarse. Registrar absolutamente todo puede elevar costos, exponer datos personales y producir grandes volúmenes de información inútil. Registrar demasiado poco impide investigar errores. El equilibrio depende del impacto de la decisión, de las obligaciones regulatorias, de la sensibilidad de los datos y de las necesidades de auditoría.

También es necesario proteger la integridad de los registros, controlar quién puede consultarlos o modificarlos, versionar las ontologías y políticas, sincronizar las marcas temporales y documentar los cambios en los sistemas. Cuando intervienen varios proveedores o agentes, los identificadores y formatos deben permitir correlacionar eventos entre componentes sin perder el contexto original.

El marco de gestión de riesgos de IA del NIST sitúa la documentación, la transparencia y la gestión continua del riesgo dentro de las prácticas necesarias para sistemas confiables (NIST, 2023). No prescribe una ontología empresarial única; ofrece un marco para organizar responsabilidades, medición y gestión. La elección de vocabularios, políticas de retención y controles debe responder al contexto concreto de cada organización.

La ventaja estratégica: decisiones que pueden revisarse

La pregunta directiva no debería limitarse a «¿qué respondió el modelo?». También debe incluir: ¿con qué evidencia?, ¿bajo qué versión de las reglas?, ¿qué componentes intervinieron?, ¿quién asumió la responsabilidad?, ¿qué ocurrió después? Una respuesta operativa exige que esas preguntas puedan contestarse sin depender de la memoria de un operador ni de una explicación improvisada del propio sistema.

Las ontologías contribuyen al proporcionar un marco semántico común para describir decisiones y relaciones. La capa de orquestación cognitiva conecta ese marco con los modelos, agentes, fuentes y procesos reales. Juntas pueden habilitar una trazabilidad más consistente, siempre que la arquitectura registre los eventos, proteja la evidencia y someta las explicaciones a evaluación.

La meta no es hacer que la IA parezca transparente. Es construir sistemas en los que las decisiones puedan reconstruirse, cuestionarse y corregirse. Esa capacidad convierte la trazabilidad en una condición de operación y responsabilidad, no en un informe elaborado después de que surge un problema.