Durante buena parte de la historia empresarial, controlar significaba poder mirar. La persona responsable conocía la operación porque podía recorrerla, hablar con quienes la ejecutaban, revisar resultados y corregir sobre la marcha. El control organizacional estaba apoyado, en gran medida, en la proximidad entre quien decidía y aquello sobre lo que decidía.
Esa relación empieza a deteriorarse cuando una parte creciente de la operación ocurre dentro de sistemas que procesan más información, a mayor velocidad y con más interdependencias de las que una persona puede seguir directamente. El problema no es solamente tecnológico. Es organizacional: ¿cómo se gobierna aquello que ya no puede observarse de manera continua?
Es el conjunto de reglas, roles y prácticas mediante los cuales una organización define qué pueden hacer sus sistemas, quién decide sobre ellos y cómo se corrigen cuando algo sale mal.
Hablar de gobierno algorítmico no significa imaginar una nueva capa de burocracia colocada encima de la tecnología. Significa reconocer que, cuando las decisiones se distribuyen entre personas y sistemas, también debe distribuirse de manera explícita la responsabilidad por esas decisiones.
Del control directo al gobierno de la operación
El control tradicional funciona relativamente bien cuando las relaciones causales son visibles: alguien da una instrucción, otra persona la ejecuta y un responsable puede comprobar el resultado. Pero los sistemas algorítmicos introducen una distancia distinta. Una decisión puede depender de datos, modelos, reglas, integraciones y procesos que ningún individuo observa por completo.
En ese contexto, intentar recuperar el control mediante más autorizaciones puede producir el efecto contrario. Si cada acción requiere una aprobación humana, la organización puede terminar frenando la operación sin recuperar realmente la comprensión de lo que sucede.
El gobierno algorítmico parte de otra pregunta: no cómo controlar cada acción, sino cómo establecer las condiciones bajo las cuales una acción puede ser delegada, observada, cuestionada y corregida.
“Gobernar mejor no significa controlar más, sino decidir con más claridad qué se controla y qué se delega.”
Cuatro pilares para gobernar sistemas que deciden
Una arquitectura de gobierno eficaz puede organizarse alrededor de cuatro pilares: principios, roles, procesos y evidencia. No son compartimentos aislados. Funcionan como una estructura que permite traducir las intenciones de la organización en decisiones operativas.
Qué queremos permitir
Los principios establecen pocas reglas claras sobre lo que la organización quiere y no quiere que hagan sus sistemas. Deben formularse de manera suficientemente concreta para orientar decisiones, pero no tan detallada que envejezcan rápidamente.
Quién responde
Todo sistema relevante necesita responsables identificables: alguien debe responder por su propósito, desempeño, supervisión y eventual detención. Un sistema sin propietario organizacional es, en la práctica, un sistema que nadie corrige a tiempo.
Cómo se gobierna
Los procesos determinan cómo se aprueba un sistema, cómo se evalúa su impacto, qué ocurre ante un incidente y cuándo debe modificarse o retirarse. Adoptar tecnología es solo una parte de su ciclo de vida; saber cuándo dejar de utilizarla es igualmente importante.
Cómo sabemos que funciona
Registros, métricas, pruebas, evaluaciones y trazabilidad permiten demostrar, a la propia organización y a terceros, que lo que se afirma que ocurre efectivamente ocurre.
1. Principios: pocas reglas, pero decisivas
Una política de gobierno no debería intentar anticipar cada situación posible. Cuando las reglas son excesivamente específicas, se vuelven obsoletas frente a la velocidad del cambio tecnológico. Cuando son demasiado abstractas, no sirven para orientar decisiones concretas.
El objetivo es encontrar un nivel intermedio: principios suficientemente claros para establecer límites y criterios, pero suficientemente estables para sobrevivir a diferentes herramientas y generaciones tecnológicas.
Por ejemplo, una organización puede establecer que ningún sistema automatizado podrá tomar decisiones de alto impacto sin mecanismos de revisión y apelación. Ese principio puede mantenerse aunque cambie el modelo concreto que realiza la evaluación.
2. Roles: alguien debe responder
La delegación tecnológica puede crear una ilusión peligrosa: cuando una decisión es producida por un sistema, puede parecer que nadie la tomó. Pero un algoritmo no elimina la responsabilidad organizacional; la desplaza hacia las estructuras que diseñan, implementan, autorizan y mantienen el sistema.
Por eso el gobierno necesita asignar responsabilidades explícitas. ¿Quién define el propósito del sistema? ¿Quién aprueba su puesta en operación? ¿Quién supervisa sus indicadores? ¿Quién puede detenerlo? ¿Quién decide qué hacer después de un incidente?
Estas preguntas son especialmente importantes cuando intervienen varias áreas. Un equipo puede desarrollar el sistema, otro proporcionar los datos, otro integrarlo a la operación y otro utilizar sus resultados. Sin una asignación clara, la responsabilidad puede fragmentarse hasta desaparecer.
Si nadie puede responder claramente quién tiene autoridad para detener un sistema cuando su comportamiento deja de ser aceptable, existe una debilidad de gobierno aunque el sistema funcione técnicamente.
3. Procesos: gobernar el ciclo de vida
Los sistemas de IA no deberían gobernarse solamente en el momento de su adquisición o lanzamiento. Su comportamiento depende del contexto, de los datos, de las actualizaciones y de la forma en que las personas los incorporan a la operación.
Por ello, el gobierno debe acompañar el ciclo de vida: aprobación, evaluación previa, implementación, seguimiento, gestión de incidentes, revisión y eventual retiro.
Esta última etapa suele recibir menos atención. Las organizaciones pueden desarrollar mecanismos sofisticados para incorporar nuevas tecnologías y, al mismo tiempo, carecer de procedimientos claros para retirar sistemas que ya no son adecuados.
La capacidad de retirar una tecnología también es una capacidad de gobierno. Significa reconocer que mantener un sistema activo tiene un costo y que, bajo determinadas condiciones, continuar utilizándolo puede representar más riesgo que sustituirlo.
4. Evidencia: demostrar lo que realmente ocurre
La cuarta dimensión es la evidencia. Las organizaciones necesitan poder demostrar qué sistema está funcionando, con qué propósito, bajo qué condiciones, con qué controles y con qué resultados.
Esto requiere registros, métricas, pruebas y mecanismos de trazabilidad. La evidencia no existe únicamente para responder a un auditor o a un regulador. También permite que la propia organización aprenda de su operación.
Sin evidencia, los principios quedan en declaraciones y los procesos en documentos. Con evidencia, la organización puede reconstruir qué ocurrió, evaluar si sus controles funcionaron y decidir qué debe cambiar. El NIST AI RMF incluye entre sus prácticas la documentación de roles, supervisión, incidentes, excepciones y decisiones de gobernanza.
“Gobernar mejor no significa controlar más, sino decidir con más claridad qué se controla y qué se delega.”
El riesgo de gobernar demasiado o demasiado poco
El gobierno puede fracasar de dos maneras opuestas. Por exceso, cuando se convierte en una burocracia que sofoca la experimentación y empuja a los equipos a trabajar al margen de las reglas, generando justamente los riesgos que se quería evitar.
Por defecto, cuando se limita a declaraciones solemnes sin consecuencias prácticas: un documento de principios que nadie consulta a la hora de decidir.
El equilibrio está en un gobierno proporcional: más exigente donde el impacto es alto, más ligero donde el riesgo es bajo y siempre lo bastante cercano a la operación como para ser útil. Un asistente que redacta borradores internos no necesita el mismo escrutinio que un sistema que fija precios o evalúa solicitudes de crédito.
Burocracia sin operación
Demasiadas reglas, autorizaciones y controles pueden ralentizar la experimentación y empujar la operación fuera del marco formal.
Principios sin consecuencias
Declaraciones generales que no determinan quién decide, qué se registra ni qué sucede cuando aparece un problema.
El gobierno también ocurre fuera de la empresa
Las reglas no viven solo dentro de las paredes de la empresa. Regulaciones sobre protección de datos, no discriminación, transparencia en decisiones automatizadas y responsabilidad por daños están evolucionando en distintas jurisdicciones, con ritmos y exigencias diversas.
Una organización que construye su propio gobierno con seriedad descubre que, además de protegerse, se prepara: lo que hoy es una buena práctica interna puede convertirse mañana en una obligación externa. Quien ya tiene trazabilidad, roles y procesos no parte de cero cuando llega una nueva exigencia.
La evolución regulatoria europea ilustra esta tendencia: el Reglamento de IA de la Unión Europea exige para determinados sistemas de alto riesgo un sistema de gestión de riesgos documentado y mantenido durante todo el ciclo de vida.
La cultura: la capa que ningún documento sustituye
Existe, finalmente, una dimensión cultural que ningún documento resuelve por sí solo. Las reglas funcionan cuando las personas comprenden su porqué, cuando preguntar es seguro y cuando señalar un problema se valora en lugar de penalizarse.
Una organización donde los equipos temen reportar el comportamiento extraño de un sistema es una organización que gobierna a ciegas. En cambio, aquella que cultiva la curiosidad responsable convierte a cada persona en un sensor, y ese tejido humano de atención es quizá la capa de gobierno más difícil de copiar y más valiosa de conservar.
Esta dimensión cultural coincide con una idea central del NIST AI RMF: la gestión de riesgos de IA requiere estructuras de responsabilidad, competencias, comunicación y compromiso organizacional; no basta con adoptar un marco documental.
Confiar sin ver
Gobernar una organización que ya no controla todo directamente es, en el fondo, un ejercicio de humildad práctica: aceptar que no se puede ver todo y, por eso, construir con más cuidado aquello que permitirá confiar sin verlo todo.
El gobierno algorítmico no elimina la incertidumbre ni devuelve a la dirección una visibilidad total. Hace algo más realista: construye las condiciones institucionales para que la delegación sea trazable, revisable y proporcional al riesgo.
Pero esa confianza plantea una última pregunta, más personal y más difícil de responder con procedimientos: cuando un sistema decide y algo sale mal, ¿quién responde? Sobre esa cuestión, que toca la confianza y la responsabilidad, queda abierta la siguiente etapa de esta serie.
En síntesis
- El control directo pierde eficacia cuando la operación ocurre a una velocidad y escala que ninguna persona puede observar por completo.
- El gobierno algorítmico desplaza el énfasis desde controlar cada acción hacia diseñar reglas, responsabilidades y mecanismos de corrección.
- Los cuatro pilares son principios, roles, procesos y evidencia.
- Un sistema sin responsable identificado es un sistema cuyo gobierno puede fallar aunque técnicamente siga funcionando.
- El gobierno debe ser proporcional al impacto: ni burocracia paralizante ni principios sin consecuencias.
- La cultura de reporte, curiosidad y responsabilidad completa la arquitectura formal del gobierno.
Referencias
- Kellogg, K. C., Valentine, M. A. y Christin, A. (2020). Algorithms at work: The new contested terrain of control. Academy of Management Annals, 14(1), 366–410. https://doi.org/10.5465/annals.2018.0174 .
- Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S. y Floridi, L. (2016). The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2). https://doi.org/10.1177/2053951716679679 .
- National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1). U.S. Department of Commerce. https://doi.org/10.6028/NIST.AI.100-1 .
- National Institute of Standards and Technology. (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1). U.S. Department of Commerce. https://doi.org/10.6028/NIST.AI.600-1 .
- European Parliament y Council of the European Union. (2024). Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). https://eur-lex.europa.eu/eli/reg/2024/1689 .
Preguntas frecuentes
¿Qué es el gobierno algorítmico?
Es el conjunto de reglas, roles y prácticas mediante los cuales una organización define qué pueden hacer sus sistemas, quién decide sobre ellos y cómo se corrigen cuando algo sale mal.
¿Cuáles son los cuatro pilares del gobierno algorítmico?
Son principios, roles, procesos y evidencia. Los principios orientan las decisiones; los roles asignan responsabilidades; los procesos establecen cómo se aprueba, evalúa, corrige y retira un sistema; y la evidencia permite comprobar qué ocurre.
¿Por qué el gobierno debe ser proporcional al riesgo?
Porque no todos los sistemas producen el mismo impacto. Un asistente que redacta borradores internos no requiere el mismo nivel de escrutinio que un sistema que fija precios o evalúa solicitudes de crédito.
¿Puede un documento de gobierno garantizar por sí solo una IA responsable?
No. El gobierno también depende de responsabilidades claras, procesos operativos, evidencia y una cultura donde preguntar y reportar problemas sea seguro.
