Durante mucho tiempo, la responsabilidad en las empresas tuvo una geografía reconocible: un cargo, un nombre y una firma al final de cada decisión importante. Aunque intervinieran varias áreas, era posible reconstruir quién autorizó, aprobó o ignoró una señal. Esa claridad no era perfecta, pero permitía pedir cuentas y, con ello, sostener la confianza.
Cuando un sistema participa en la decisión, esa geografía se desdibuja. Un modelo puede ser entrenado por un equipo, configurado por otro, integrado a un proceso por un tercero y utilizado por alguien que no dispone de tiempo o información para cuestionar su recomendación. Que todos participen no significa que nadie responda: esa conclusión diluye la responsabilidad justo cuando más hace falta definirla.
Confianza y responsabilidad no son lo mismo
La confianza es una expectativa sobre lo que ocurrirá; la responsabilidad es una respuesta sobre lo que ocurrió. Confiamos en un puente porque esperamos que resista; si falla, necesitamos saber quién debe explicar qué sucedió y cómo se corregirá. En una organización que incorpora sistemas de IA, ambas cosas deben construirse, pero de manera distinta.
Expectativa verificable
Se construye con evidencia acumulada, comportamiento predecible, resultados observables y la posibilidad de comprobar cómo opera el sistema.
Respuesta por lo ocurrido
Se asigna mediante decisiones explícitas sobre quién debe explicar, revisar y corregir un resultado antes de que ocurra un problema.
Capacidad de responder
Requiere información suficiente, autoridad para intervenir y un proceso que permita investigar las decisiones y sus consecuencias.
La responsabilidad debe diseñarse
El primer principio es que la responsabilidad no se hereda automáticamente de la persona que estuvo más cerca de una decisión. La organización debe determinar quién es el responsable de cada decisión que un sistema toma o recomienda. Ser responsable no significa necesariamente ejecutar la acción: significa responder por ella ante la organización y ante las personas afectadas.
La investigación sobre responsabilidad algorítmica en las organizaciones muestra que el uso de sistemas basados en datos puede fragmentar las atribuciones entre personas, procesos y tecnología, haciendo más difícil identificar quién debe rendir cuentas (Besio et al., 2025). Por eso, el responsable debe nombrarse antes del incidente, no buscarse después.
“Una decisión sin dueño es, en la práctica, una decisión que nadie corregirá a tiempo.”
La responsabilidad debe ser proporcional al impacto
No todas las decisiones requieren el mismo grado de intervención. Clasificar un correo, sugerir un producto o priorizar una cola de tareas suele ser frecuente y reversible. En esos casos puede bastar con un responsable del sistema y un mecanismo de seguimiento. Aprobar un crédito, descartar a una persona candidata o suspender una cuenta puede afectar directamente a alguien y no siempre es sencillo revertirlo.
En las decisiones de mayor impacto, la responsabilidad debe tener nombre y la persona designada necesita capacidad efectiva para intervenir. Asignar responsabilidad sin conceder autoridad, acceso a información o margen de corrección no es un sistema de gobierno funcional: solo desplaza el costo hacia quien tiene menos poder para actuar.
Un ejemplo: selección de personal
Imaginemos que una organización utiliza un sistema para priorizar solicitudes de empleo. El equipo de selección no debería limitarse a aceptar una lista ordenada sin comprender sus criterios, sus límites y los casos en que puede fallar. Debe existir una persona responsable del proceso, acceso a información suficiente para revisar recomendaciones y una vía para corregir una clasificación cuestionada. El ejemplo ilustra el principio organizativo; no prescribe un procedimiento jurídico específico.
Comprender lo suficiente para poder responder
No hace falta que cada directivo conozca todos los detalles matemáticos de un modelo. Sí necesita poder responder preguntas básicas: qué información consideró el sistema, qué margen de error presenta, en qué situaciones tiende a equivocarse y qué alternativas estaban disponibles. Si la organización no puede responderlas, su confianza se parece más a una costumbre que a una convicción respaldada por evidencia.
La literatura sobre rendición de cuentas en IA destaca que responder por una decisión implica más que identificar un algoritmo: exige información, explicación y la posibilidad de que existan consecuencias o medidas correctivas (Busuioc, 2021; Novelli et al., 2024).
Prueba de responsabilidad: antes de delegar una decisión, la organización debería poder nombrar al responsable, explicar qué información puede consultar, describir cuándo debe intervenir y señalar cómo se documenta una revisión.
La confianza se construye con trazabilidad
La confianza se acumula cuando el sistema deja huellas legibles: qué decidió, con qué información y bajo qué reglas. También se fortalece cuando los errores se detectan pronto, se explican con honestidad y se corrigen de forma visible. En cambio, ocultar la participación de un sistema o presentar una decisión automatizada como si hubiera sido exclusivamente humana erosiona la confianza y puede encarecer la resolución posterior.
La trazabilidad no exige publicar indiscriminadamente todos los datos o detalles técnicos. Exige conservar evidencia suficiente para que las personas autorizadas puedan reconstruir la decisión, examinar sus fundamentos y determinar qué hacer después.
Equilibrar la confianza dentro de los equipos
La confianza también se juega dentro de la organización. Si las personas confían demasiado, pueden dejar de pensar y aprobar las recomendaciones por inercia. Si desconfían sistemáticamente, pueden ignorar el sistema y repetir el trabajo manual, anulando cualquier beneficio operativo.
Ese equilibrio se cultiva compartiendo información sobre el desempeño real, creando espacios para discrepar sin penalización y dejando claro que cuestionar una recomendación forma parte del trabajo. Una supervisión útil no convierte la duda en deslealtad; la trata como una señal que merece examen.
La responsabilidad sostiene la legitimidad
Clientes, empleados, proveedores y reguladores interactúan con la organización, no con el modelo abstracto. Cuando una decisión los afecta, esperan que alguien pueda explicarla y, cuando corresponda, revisarla. Si la empresa no puede ofrecer esa respuesta, el problema deja de ser únicamente técnico: afecta su legitimidad.
Responder por lo que decide un sistema no consiste en encontrar un culpable después del daño. Consiste en construir una arquitectura de responsabilidades: asignar responsables, proporcionar herramientas para comprender, registrar las decisiones y mantener abierta la posibilidad de revisión. Las organizaciones no se distinguen por no equivocarse nunca, sino por su capacidad de responder cuando se equivocan.
En síntesis
- Confianza y responsabilidad son distintas: una mira a lo que esperamos; la otra, a cómo respondemos por lo ocurrido.
- La responsabilidad debe asignarse explícitamente antes de que surja un problema.
- El nivel de intervención debe ser proporcional al impacto y a la reversibilidad de la decisión.
- Quien responde necesita información, autoridad y capacidad efectiva para corregir.
- La trazabilidad permite reconstruir decisiones y aprender de los errores.
- La confianza interna y externa depende de explicaciones honestas y vías reales de revisión.
Referencias
- Besio, C., Fedtke, C., Grothe-Hammer, M., y Pronzini, A. (2025). Algorithmic responsibility without accountability: Understanding data-intensive algorithms and decisions in organisations. Systems Research and Behavioral Science, 42(3), 739–755. https://doi.org/10.1002/sres.3028
- Busuioc, M. (2021). Accountable artificial intelligence: Holding algorithms to account. Public Administration Review, 81(5), 825–836. https://doi.org/10.1111/puar.13293
- Novelli, C., Taddeo, M., y Floridi, L. (2024). Accountability in artificial intelligence: What it is and how it works. AI & Society, 39, 1871–1882. https://doi.org/10.1007/s00146-023-01635-y
Preguntas frecuentes
¿Por qué la responsabilidad no puede dejarse implícita?
Porque una decisión puede involucrar equipos que diseñan, configuran, integran y utilizan el sistema. Sin una asignación explícita, la organización puede no saber quién debe explicar o corregir el resultado.
¿Quién debe responder por una decisión apoyada por IA?
Debe existir una persona o función responsable dentro de la organización, con autoridad y capacidad reales para revisar la decisión. La asignación concreta depende del contexto, del impacto y de quién controla el uso del sistema.
¿Cómo se construye la confianza en un sistema de IA?
Con evidencia de desempeño, comportamiento verificable, trazabilidad de las decisiones, detección temprana de errores y correcciones visibles. Ocultar la participación del sistema erosiona la confianza.
¿Toda decisión automatizada requiere el mismo nivel de supervisión?
No. La responsabilidad debe ser proporcional al impacto y a la reversibilidad de la decisión. Las decisiones que afectan a personas requieren responsables identificables y capacidad efectiva de intervención.
