La reciente encíclica Magnifica Humanitas ha reabierto un debate que trasciende lo religioso y alcanza de lleno al mundo empresarial: qué ocurre cuando delegamos decisiones relevantes en sistemas de inteligencia artificial. En la empresa, la IA no plantea solo un dilema de valores; plantea un problema de gobierno, trazabilidad, prueba y responsabilidad. Y, sobre todo, lanza una pregunta: ¿quién responde jurídicamente cuando la máquina decide?
Aunque el documento se centra en la protección de la persona en la era digital, su mensaje conecta con una preocupación cada vez más presente en los departamentos jurídicos y de compliance. La IA ha dejado de ser únicamente una cuestión tecnológica o reputacional para convertirse en un problema de responsabilidad jurídica.
La pregunta ya no es si una empresa puede utilizar sistemas automatizados para ganar eficiencia. La cuestión es quién responde cuando esos sistemas intervienen en decisiones que afectan a personas, derechos, oportunidades económicas o relaciones laborales.
La automatización ya forma parte de numerosos procesos empresariales: selección de personal, evaluación del desempeño, concesión de financiación, prevención del fraude, segmentación comercial, atención al cliente o gestión de reclamaciones. En muchos casos, la decisión formal sigue siendo humana, pero el resultado viene condicionado por una recomendación algorítmica. En otros, la intervención humana es prácticamente residual.
Es aquí donde aparece el principal reto jurídico. Cuando una persona es descartada en un proceso de selección, se le deniega una financiación o recibe un tratamiento distinto al de otros clientes, la organización debe poder explicar quién tomó la decisión, con qué información, bajo qué criterios y qué mecanismos existían para corregir posibles errores.
RGPD y AI Act: el marco de control
El RGPD ya anticipó esta problemática en su artículo 22, al reconocer el derecho de las personas a no ser objeto de decisiones basadas únicamente en tratamientos automatizados que produzcan efectos jurídicos o les afecten significativamente de modo similar. Esta previsión no debe interpretarse como una cláusula aislada de protección de datos, sino como una garantía estructural frente a la despersonalización de la decisión.
La misma lógica inspira el Reglamento Europeo de Inteligencia Artificial (AI Act), que establece obligaciones específicas para determinados sistemas considerados de alto riesgo. Gestión de riesgos, documentación técnica, supervisión humana, trazabilidad o controles de calidad no son exigencias burocráticas. Son mecanismos destinados a garantizar que las organizaciones puedan demostrar cómo funcionan los sistemas que utilizan y quién responde por sus resultados.
La caja negra también puede ser corporativa
La clave jurídica está en la accountability, término que se introduce en varias normativas actuales.
La empresa que utiliza IA no puede escudarse en que el modelo lo desarrolló un tercero, en que el resultado fue generado automáticamente o en que la decisión final fue adoptada por un empleado que se limitó a validar una recomendación. La responsabilidad no desaparece porque intervenga una máquina. Al contrario, cuanto mayor sea la opacidad técnica, más exigente debe ser la diligencia organizativa.
Por eso, el principal riesgo no siempre está en el algoritmo, sino en la ausencia de gobierno interno. Muchas compañías desconocen qué herramientas de IA están utilizando sus áreas de negocio (se estima que el 60% de los empleados usan IA que su empresa desconoce -shadow AI-), qué datos se incorporan a los sistemas, si existen transferencias a proveedores, si se han evaluado sesgos, si el sistema aprende con datos nuevos, si hay registros de actividad o si la persona que supervisa puede apartarse realmente de la recomendación automatizada. La caja negra, en estos casos, no es solo tecnológica, es corporativa.
Este punto es especialmente relevante para los órganos de administración. La IA ya no puede tratarse como una decisión puramente técnica o departamental. Cuando afecta a procesos críticos o a derechos de terceros, entra en el perímetro del gobierno corporativo, del mapa de riesgos, del sistema de compliance y, en su caso, de la función de protección de datos.
Del cumplimiento documental al cumplimiento operativo
La diligencia debida exige identificar los usos de IA, clasificarlos por riesgo, asignar responsables, aprobar políticas internas, revisar contratos con proveedores, establecer controles periódicos y documentar las decisiones relevantes. Pero también exige superar la brecha entre cumplimiento formal y cumplimiento operativo.
El riesgo más sofisticado no es carecer de documentos, sino tenerlos sin que modifiquen la realidad. La supervisión humana es, probablemente, uno de los puntos más débiles del cumplimiento actual. El AI Act la exige para sistemas de alto riesgo, pero su eficacia dependerá de cómo se implante. No basta con colocar a una persona al final del proceso.
Por eso, el debate abierto por Magnifica Humanitas tiene una lectura especialmente relevante para el mundo empresarial. Más allá de consideraciones éticas o filosóficas, la cuestión central es jurídica: cuando una decisión que afecta a una persona está condicionada por un algoritmo, alguien debe responder por ella.
---
* María Pardo de Vera, socia del área de protección de datos y derecho digital de Ceca Magán.
No hay comentarios:
Publicar un comentario