La lucha contra la opacidad algorítmica: explicabilidad y supervisión humana, dos garantías esenciales de la IA de alto riesgo (Segunda iniciativa Interblogs)

Comparte este post

Esta entrada forma parte de la Segunda iniciativa Interblogs de Derecho del Trabajo, en la que se analizan diferentes aspectos del Derecho del Trabajo Digital. Esta iniciativa es el preludio a un Congreso que se celebrará en la Facultat de Dret de la Universidad de Valencia el 25 y 26 de junio de 2026. La iniciativa y el congreso forman parte del proyecto de investigación del Ministerio de Ciencia e Innovación titulado “Algoritmos extractivos y neuroderechos. Retos regulatorios de la digitalización del trabajo” ref. PID2022-139967NB-I00 IP Adrián Todolí e Ignasi Beltrán y del Proyecto de Investigación “La huida del mercado de trabajo y la legislación social en España (TRABEXIT), PID2022-141201OB-I00″, dirigido por el profesor Miguel Rodríguez-Piñero Royo.

  • Tenéis toda la información del congreso en este enlace (y puede accederse a las entradas ya publicadas al final de esta entrada).

¿Qué ocurriría si el sistema de IA que filtra los currículos de los candidatos para un puesto de trabajo descartase una solicitud de empleo y el candidato, al reclamar una explicación, no obtuviese del responsable del despliegue ninguna razón comprensible sobre los criterios que determinaron esa decisión? Esta pregunta, aparentemente sencilla, condensa el problema central que el Reglamento Europeo de Inteligencia Artificial (RIA) ha venido a resolver. Un sistema de IA que no puede explicar sus decisiones carece de transparencia y no puede inspirar confianza, especialmente cuando se integra en procesos tan críticos como la selección de personal, la evaluación del rendimiento o la extinción de contratos de trabajo o el resto de usos a los que se refiere el Anexo III del RIA. El presente análisis examina dos de las garantías más relevantes que el RIA consagra para los sistemas de IA de alto riesgo: la explicabilidad (artículo 86) y la supervisión humana (artículo 14). Ambas están más interrelacionadas de lo que pudiera parecer y, conjuntamente, conforman la columna vertebral de la protección de los derechos fundamentales en la era algorítmica. Cuando un sistema de IA no puede explicar sus decisiones ni ser controlado por un ser humano, la opacidad algorítmica deja de ser un inconveniente técnico y se convierte en una amenaza directa al Estado de Derecho.

La transparencia en la inteligencia artificial se refiere, en sentido estricto, a la capacidad de un modelo concreto de ser comprendido en su totalidad. Concepto estrechamente vinculado, aunque distinto, es el de interpretabilidad, que designa el grado de comprensibilidad humana de un determinado modelo o de una decisión de “caja negra”; y el de explicabilidad, que se centra en proporcionar razones claras y coherentes para predicciones o decisiones concretas: ¿por qué el sistema de IA realizó esta predicción específica? El problema radica en que muchos sistemas de IA modernos (especialmente los basados en redes neuronales profundas) no satisfacen estas condiciones. Los denominados modelos de “caja negra” son aquellos en los que incluso los propios técnicos que los implementan son a menudo incapaces de explicar las decisiones y los resultados que producen; los modelos de “caja blanca”, por el contrario, presentan un comportamiento más inteligible (como las regresiones lineales o los árboles de decisión). Cuando el sistema de IA es muy sofisticado y no cabe exigir que sea transparente por diseño; el enfoque de la explicación ex post (esto es, generar una explicación comprensible sobre la decisión concreta que el sistema adoptó en cada caso una vez que esta ya ha sido tomada) resulta el más apropiado. (EDPS, TechDispatch on Explainable Artificial Intelligence).

El artículo 86 del RIA reconoce que toda persona afectada por una decisión adoptada por el responsable del despliegue sobre la base de los resultados de un sistema de IA de alto riesgo que produzca efectos jurídicos o la afecte de manera considerable (y que considere que le causa un perjuicio para su salud, su seguridad o sus derechos fundamentales), tendrá derecho a obtener del responsable del despliegue explicaciones claras y significativas sobre el papel del sistema de IA en el proceso decisorio y los principales elementos de la decisión adoptada. Se trata de la primera ocasión en que el Derecho europeo consagra, con carácter vinculante y transversal, un derecho subjetivo a recibir explicaciones sobre una decisión adoptada con apoyo de sistemas de IA. En virtud de este derecho, quien haya sido rechazado para un puesto de trabajo, a quien se haya denegado una ayuda social o a quien un sistema de IA haya clasificado como de alto riesgo, podrá exigir que se le explique qué papel desempeñó dicho sistema y qué factores determinaron el resultado.

Conviene precisar la naturaleza técnica de la explicación que el artículo 86 del RIA demanda, pues no toda explicación sobre un sistema de IA satisface su exigencia. Cuando el sistema opera como una “caja negra” y las explicaciones se generan ex post, estas pueden ser globales (proporcionan una comprensión general del comportamiento del modelo en su conjunto, aplicable a todos los casos) o locales (se centran en esclarecer por qué el sistema adoptó una predicción o decisión particular en un caso concreto: “por qué este sistema tomó esta decisión concreta sobre mí”) (en la distinción que efectúa EDPS, TechDispatch on Explainable Artificial Intelligence). El derecho que consagra el artículo 86 del RIA es, en rigor, un derecho a la explicación local e individualizada: no a comprender cómo funciona el sistema en general, sino a recibir una explicación referida a los factores que determinaron el resultado específico del interesado. Solo la explicación local permite al afectado ejercer sus derechos de manera efectiva y al supervisor humano controlar de manera sustantiva la decisión concreta, que es precisamente la exigencia que el legislador europeo ha querido garantizar.

La explicación debe ser clara y significativa, de modo que permita al interesado ejercer sus derechos de manera efectiva. Esta exigencia se articula, entre otros instrumentos, a través del criterio de contrafactualidad: indaga en las condiciones bajo las cuales el resultado habría sido diferente, es decir, no solo qué ocurrió y por qué, sino también qué habría ocurrido de haberse dado circunstancias distintas. El Tribunal de Justicia de la Unión Europea ha validado y aplicado este criterio en su sentencia de 27 de febrero de 2025, Dun & Bradstreet Austria GmbH (C-203/22, ECLI:EU:C:2025:117), que tuvimos oportunidad de comentar hace unos meses en este blog. En el proceso de transparencia, la comparación resulta imprescindible: no basta con detallar el porqué de una predicción o decisión, sino también por qué dicha acción fue una en vez de otra y en qué circunstancias podría haber sido diferente si se hubieran modificado algunos de los factores tomados en consideración. La contrafactualidad transforma la explicación en un instrumento funcional al servicio del ejercicio de derechos: no se limita a informar al afectado de lo que sucedió, sino que le permite conocer qué condiciones habrían conducido a un resultado distinto.

La sentencia Dun & Bradstreet Austria GmbH consolida así un estándar material de explicabilidad que trasciende el Reglamento General de Protección de Datos Personales (RGPD) y resulta directamente proyectable sobre el artículo 86 del RIA: la explicación debe ser comprensible para el interesado concreto, referirse a los factores que determinaron su resultado específico e incluir, cuando sea posible, esa dimensión contrafactual. No obstante, el Tribunal reconoce que el derecho a la explicación (configurado en la sentencia a través del derecho de acceso del artículo 15 del RGPD) no es absoluto: los secretos comerciales y la propiedad intelectual del responsable del tratamiento pueden justificar una modulación de su alcance, sin que ello pueda derivar en una negativa a facilitar toda información al interesado.

La solución que el TJUE propone es de especial interés desde el punto de vista institucional: cuando el responsable del tratamiento considere que la información que debe facilitar comprende secretos comerciales, no puede limitarse a invocarlos para eludir su obligación de explicación, sino que está obligado a comunicar dicha información a la autoridad de control o al órgano jurisdiccional competente, a quienes corresponde ponderar los intereses en conflicto y determinar el alcance real del derecho de acceso. En esa ponderación, siempre que sea posible deben buscarse modalidades de comunicación que no vulneren los derechos de terceros, incluida, si resulta necesario, la divulgación parcial. En definitiva, los secretos comerciales modulan, pero no bloquean el derecho a la explicación: la tensión entre ambos intereses ha de resolverse caso por caso, con intervención de la autoridad o el juez, y nunca mediante una exclusión preestablecida que prive al interesado de toda información sobre la lógica que determinó la decisión que le perjudicó.

La obligación de explicar recae sobre el responsable del despliegue —la entidad que utiliza el sistema en su contexto concreto—, y no sobre el proveedor que lo desarrolló. Los responsables del despliegue se encuentran en posición óptima para comprender el uso específico del sistema de IA de alto riesgo, detectar los riesgos potenciales no previstos en la fase de desarrollo y conocer las características de las personas o colectivos que probablemente se verán afectados; asimismo, cuando tomen o contribuyan a tomar decisiones relativas a personas físicas, deberán informarlas de que son objeto de la utilización de un sistema de IA de alto riesgo y de su derecho a obtener una explicación (Considerando 93 del RIA). En consecuencia, el responsable del despliegue no puede escudarse en una eventual insuficiencia de la información facilitada por el proveedor: asume una obligación activa y autónoma de comprender el sistema que despliega, garantizar la formación de su personal y articular una explicación comprensible cuando el afectado la solicite.

El RIA no es el único instrumento que consagra este derecho. En el ámbito específico del trabajo en plataformas, la Directiva (UE) 2024/2831, de 23 de octubre, relativa a la mejora de las condiciones laborales en el trabajo en plataformas, anticipa y concreta el mismo principio con notable precisión procedimental. Su artículo 11.1 reconoce que las personas que realizan trabajo en plataformas tienen derecho a obtener una explicación (oral o escrita, en lenguaje claro y sencillo, sin demora indebida) sobre cualquier decisión adoptada o respaldada por un sistema automatizado de toma de decisiones; la norma añade, además, la obligación de la plataforma de designar una persona de contacto (con competencia, formación y autoridad suficientes) para debatir y aclarar los hechos y motivos que condujeron a la decisión. Cuando la decisión afecte a aspectos esenciales de la relación laboral (restricción o cancelación de cuenta, denegación de remuneración o situación contractual), la plataforma deberá proporcionar una declaración escrita de motivación antes de que la decisión surta efecto. En cuanto al procedimiento de revisión, el artículo 11.2 establece un plazo máximo de dos semanas para que la plataforma responda motivadamente a la solicitud; si la revisión concluye que la decisión ha vulnerado los derechos del trabajador, el artículo 11.3 obliga a la rectificación en ese mismo plazo o, en su defecto, a una indemnización adecuada. La lectura conjunta del artículo 86 del RIA y del artículo 11 de la Directiva de plataformas configura así un estándar europeo en formación: el derecho a la explicación ya no es una aspiración programática, sino una exigencia normativa con plazos, formas y consecuencias jurídicas predeterminadas.

El artículo 14 del RIA consagra la supervisión humana como requisito obligatorio de diseño para los sistemas de IA de alto riesgo. Su contenido normativo no puede interpretarse de manera aislada: el precepto constituye el nudo central de una red de obligaciones interconectadas que abarca desde la gestión de riesgos (artículo 9) y la documentación técnica (artículo 11) hasta la transparencia (artículo 13), los registros (artículo 12), la precisión y solidez (artículo 15), la evaluación de impacto en derechos fundamentales (artículo 27) y el derecho individual a la explicación (artículo 86). En términos sustantivos, el artículo 14 exige que los sistemas de IA de alto riesgo sean diseñados y desarrollados de modo que puedan ser vigilados efectivamente por personas físicas durante el período de uso, dotándolos para ello de herramientas de interfaz humano-máquina adecuadas.

El adverbio “efectivamente” es aquí determinante: no basta con la presencia formal de una persona en el proceso, sino que dicha persona debe estar en condiciones reales de comprender el funcionamiento del sistema, detectar sus errores y actuar en consecuencia. El objetivo de la supervisión es prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir del uso del sistema conforme a su finalidad prevista o de un uso indebido razonablemente previsible, en particular cuando tales riesgos persistan pese a la aplicación de los demás requisitos. La supervisión humana actúa, por tanto, como red de seguridad de último nivel: interviene cuando los mecanismos de calidad de datos, precisión y solidez no son suficientes para eliminar completamente el riesgo.

Para que la intervención humana pueda ser reconocida como tal, el responsable del tratamiento, como ya anticipara la interpretación del artículo 22.1 del RGPD, debe acreditar el cumplimiento acumulativo de los siguientes requisitos: (i) carácter sustantivo de la supervisión, de modo que la revisión no se reduzca a un trámite formal o un gesto simbólico, sino que sea real, efectiva y con incidencia potencial en el resultado de la decisión; (ii) competencia y autorización del revisor, debiendo ser la supervisión ejercida por una persona debidamente habilitada y con capacidad efectiva para modificar o revocar la decisión adoptada; y (iii) consideración integral de los datos pertinentes, de forma que el revisor examine toda la información relevante aplicable al caso concreto, sin limitarse a validar formalmente el resultado algorítmico (conforme al artículo 22.3 del RGPD y a las Directrices sobre decisiones individuales automatizadas y elaboración de perfiles del GT 29, actual Comité Europeo de Protección de Datos).

En la misma línea, el RIA no se conforma con la designación formal de un supervisor. Exige que la persona responsable de la supervisión pueda: (i) entender adecuadamente las capacidades y limitaciones pertinentes del sistema y vigilar debidamente su funcionamiento, con vistas a detectar y resolver anomalías, disfunciones y comportamientos inesperados; (ii) ser consciente de la posible tendencia a confiar automáticamente o en exceso en los resultados del sistema —”sesgo de automatización”—, en particular en aquellos sistemas utilizados para aportar información o recomendaciones con el fin de que personas físicas adopten una decisión; (iii) interpretar correctamente los resultados de salida del sistema; (iv) decidir, en cualquier situación concreta, no utilizar el sistema o descartar, invalidar o revertir sus resultados; y (v) intervenir en el funcionamiento del sistema o interrumpirlo mediante un botón de parada o un procedimiento análogo que permita su detención segura. Estos cinco poderes conforman lo que cabe denominar el “estatuto del supervisor”: la garantía de que la presencia humana en el proceso es real, autónoma y operativa.

Uno de los riesgos más sutiles —y más graves— que el RIA identifica explícitamente es, efectivamente, el denominado “sesgo de automatización”: la tendencia cognitiva de los seres humanos a aceptar acríticamente las recomendaciones de los sistemas automatizados, incluso cuando son incorrectas. Este fenómeno puede vaciar la supervisión humana desde dentro: si el supervisor valida sistemáticamente lo que el sistema recomienda sin ejercer juicio crítico, se produce una delegación de facto funcionalmente equivalente a la ausencia de supervisión, aunque formalmente se haya observado el requisito del artículo 14. El sistema puede estar discriminando, incurriendo en errores o generando resultados aberrantes sin que nadie lo detecte. La respuesta del RIA a este riesgo tiene dos vertientes: por un lado, obliga a que los supervisores reciban formación específica sobre este sesgo; por otro, exige que los responsables del despliegue encomienden la supervisión humana a personas físicas con la competencia, la formación y la autoridad necesarias. No cualquier persona puede ejercer la supervisión de un sistema de IA de alto riesgo.

El Derecho sectorial más avanzado en esta materia (el relativo al trabajo en plataformas) aporta elementos que el RIA no contempla expresamente. El artículo 10.2 de la Directiva (UE) 2024/2831 no solo exige que las personas encargadas de la supervisión y evaluación dispongan de la competencia, la formación y la autoridad necesarias para ejercer sus funciones (incluida la capacidad de anular las decisiones automatizadas), sino que garantiza, además, su protección frente al despido, las medidas disciplinarias y cualquier otro trato desfavorable derivado del ejercicio de dichas funciones. El estatuto del supervisor no es, pues, únicamente funcional (qué puede hacer), sino también protector (qué no le puede ocurrir por ejercer ese control). Esta protección resulta lógicamente necesaria: si el supervisor puede ser sancionado por ejercer el control, dicho control deja de ser real. En la misma línea, se sitúa la Resolución del Parlamento Europeo de 17 de diciembre de 2025 sobre digitalización, inteligencia artificial y gestión algorítmica en el lugar de trabajo.

Junto a los poderes genéricos del supervisor, el ordenamiento europeo comienza a delimitar una categoría de decisiones que, por su gravedad, quedan reservadas en todo caso a la voluntad humana: no pueden ser automatizadas ni meramente validadas por una persona que, en la práctica, actúa como mero instrumento de ratificación. El artículo 10.5 de la Directiva (UE) 2024/2831 lo establece con claridad: toda decisión de restringir, suspender o poner fin a la relación contractual o a la cuenta de una persona que realice trabajo en plataformas, o cualquier otra decisión que cause un perjuicio equivalente, será adoptada por un ser humano. La Resolución del Parlamento Europeo antes citada extiende este principio al conjunto de las relaciones laborales: las decisiones relativas al inicio o cese del empleo, a la renovación o no de un acuerdo contractual, o a cambios en la remuneración o medidas disciplinarias, deben ser adoptadas siempre por un ser humano y estar sujetas a revisión humana. El mensaje es inequívoco: la automatización tiene un techo. Hay decisiones que el Derecho europeo sustrae al algoritmo, no porque este sea necesariamente incapaz de adoptarlas, sino porque su impacto sobre la vida laboral de la persona exige la asunción humana de responsabilidad. En términos de teoría general: la automatización puede preparar, asistir y recomendar; decidir definitivamente sobre aspectos constitutivos de la relación laboral es una prerrogativa que el ordenamiento reserva al ser humano.

En suma, la explicabilidad y la supervisión humana no son garantías independientes: constituyen vasos comunicantes. La aplicación de medidas de transparencia sobre el sistema de IA permite comprender su funcionamiento e interpretar sus resultados; a su vez, la transparencia es condición necesaria para que la supervisión humana pueda ejercerse de manera efectiva, puesto que sin ella el supervisor carece de los elementos de juicio indispensables para cumplir su función. Sin transparencia no hay supervisión efectiva, y sin supervisión efectiva no hay explicación significativa.

Entradas en la Segunda Iniciativa interblogs:

TemaAutor/autoraBlogfecha
La coordinación normativa entre La directiva de plataformas digitales, el reglamento de protección de datos y de Inteligencia ArtificialMiguel Rodríguez-Piñerohttps://grupo.us.es/iwpr/Semana del 20-26 de abril
La trasposición de la Directiva de Plataformas DigitalesAdrián Todolíhttp://www.adriantodoli.comSemana del 20-26 de abril
La delimitación de la figura de empleador en la era de la IA. Redes empresariales y Cesión ilegalIgnasi Beltránhttp://www.ignasibeltran.comSemana del 27-03 de mayo
Derechos de transparencia en Protección de datos y IAAna Belén Muñozhttp://www.elforodelabos.esSemana 4-10 de mayo
Derecho de explicación y control humanoJesús Mercaderhttp://www.elforodelabos.esSemana del 11 al 17 de mayo
Nuevo derecho de alfabetización en Inteligencia ArtificialJosé María Goerlichhttp://www.elforodelabos.esSemana del 18 al 24 de mayo
Representación de las personas trabajadoras e IADaniel Pérez del Pradohttp://www.elforodelabos.esSemana del 25 al 31 de mayo
Los servicios de empleo y los derechos digitales del trabajoAntonio Fernándezhttps://aflabor.wordpress.com/Semana del 1 al 7 de junio
Clausura de la segunda iniciativa InterblogsEduardo Rojohttp://www.eduardorojotorrecilla.es8 al 14 de junio

¿Qué opinas? ¡Deja tus comentarios!

Este es un blog para la difusión de resultados de investigación y el análisis jurídico de carácter general. Por ello, no se publicarán consultas particulares, que requieren la asistencia de un profesional que analice su caso concreto. Las referencias y enlaces a sitios comerciales serán suprimidas, salvo que los editores del blog estimen su pertinencia más allá de la publicidad.

Las siguientes reglas del RGPD deben leerse y aceptarse:
Este formulario recopila tu nombre, tu correo electrónico y el contenido para que podamos realizar un seguimiento de los comentarios dejados en la web. Para más información, revisa nuestra política de privacidad, donde encontrarás más información sobre dónde, cómo y por qué almacenamos tus datos.

Lee más

Suscríbete a nuestro blog

y recibe en tu correo nuestras entradas

También en nuestro blog...

Office table

Contacta
con nosotros