La evolución de la era digital viene marcada por el uso de los algoritmos, algo lejano y difícilmente comprensible para los juristas, quienes, por inercia natural, miramos con desconfianza la esférica perfección de las matemáticas. Pero, ¿qué es un algoritmo? Se entiende por algoritmo, según el Diccionario de la Real Academia Española de la Lengua, el “conjunto ordenado y finito de operaciones que permite hallar la solución de un problema“. Una tecnología intelectual, se ha dicho, que supone, en última instancia, la sustitución de juicios intuitivos por una respuesta objetivada.
El protagonismo de los algoritmos en esta era de cambio digital es indudable y el acercamiento a su contenido desde el Derecho es una exigencia de primer orden. Esta realidad anima a una reflexión profunda e interdisciplinar sobre estas cuestiones. Ejemplo de ello es el diálogo que hemos mantenido en el marco de excelencia de la Fundación Areces, la Profesora Casas Baamonde, el Profesor Huergo y yo mismo sobre esta poderosa cuestión (que se emitirá en abierto el próximo martes, 16 de febrero de 2021 a las 19:00 horas) y en el que hemos buscado dar respuesta a diversas cuestiones desde una lógica interdisciplinar.
Y es que una de las primeras y más significativas manifestaciones del uso de los datos en el ámbito laboral se encuentra en el desarrollo de los cada vez más generalizados sistemas de selección y evaluación de los trabajadores. Algunas empresas han puesto en manos de sistemas de IA los procesos de selección. El uso de estos sistemas permite, una vez definido en detalle un perfil profesional determinado (titulación, años de experiencia, etc. y unos pesos asociados a cada una de esas características), extraer de los “curricula” de los candidatos la información relevante y calcular el más preciso ajuste al perfil deseado. El riesgo de la “discriminación algorítmica en el acceso al empleo” es más que evidente.
Lo cierto es que, aunque los ingenieros de software definen parámetros de análisis de minería de datos, los valores humanos están incrustados en cada paso en su diseño, por lo que el establecimiento de sistemas automatizados de decisión y los datos que les sirven de base pueden encontrarse sesgados en su origen, con lo que su tratamiento debe encontrarse sometido a importantes cautelas. Los algoritmos respiran el aire de los datos y si estos datos están contaminados también lo estarán los resultados que obtengamos. De ello es consciente el WP251rev.01 del GT29 (actual, Comité Europeo de Protección de Datos, en adelante, CEPD), que en sus “Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679” (en adelante, “WP 251 del GT29”), ya subrayó los riesgos de estas fórmulas señalando que: “la elaboración de perfiles y las decisiones automatizadas pueden plantear riesgos importantes para los derechos y libertades de las personas que requieren unas garantías adecuadas. Estos procesos pueden ser opacos. (…) La elaboración de perfiles puede perpetuar los estereotipos existentes y la segregación social. Asimismo, puede encasillar a una persona en una categoría específica y limitarla a las preferencias que se le sugieren (…) En algunos casos, la elaboración de perfiles puede llevar a (…) una discriminación injustificada”.
El art. 22.1 RGPD sienta, por ello, una prohibición general de las decisiones basadas “únicamente” en el tratamiento automatizado, al establecer “el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”. Ahora bien, también contempla una serie de excepciones (art. 22.2 RGPD). Como ponen de manifiesto el WP 251 del GT29, una primera exigencia es la garantía de minimización de los datos tratados para estos fines. Por otro lado, se hace necesaria la existencia de una información significativa sobre la «lógica aplicada», naciendo así un derecho a la transparencia en el diseño de los algoritmos, lo que no necesariamente supone una compleja explicación de los algoritmos utilizados o la revelación de todo el algoritmo. Se convierte en un derecho fundamental de la nueva ciudadanía digital.
La discriminación algorítmica en el acceso al empleo comienza a ser una realidad y los derechos de los interesados deben contar con garantías reforzadas en estos casos. No debe sorprender que se llame, por ello, a una intervención efectiva de los representantes de los trabajadores en estos casos. En este sentido, el Dictamen del Comité Económico y Social Europeo sobre «Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones — Generar confianza en la inteligencia artificial centrada en el ser humano» [COM (2019) 168 final] (DOUE, 11 de febrero de 2020) ha recordado “la necesidad de consultar e informar a los trabajadores y sus representantes a la hora de introducir sistemas de IA que pudieran provocar cambios en la organización del trabajo, la vigilancia y su control, así como en los sistemas de evaluación y contratación de los trabajadores”.
Pero la discriminación algorítmica aparece también en el desarrollo de la propia actividad laboral. La delegación del empresario en los algoritmos de buena parte de sus decisiones resulta especialmente trascedente en las nuevas formas de trabajo. Y es que las plataformas profesionales basan su actuación en algoritmos y, a través de los mismos, efectúan asignaciones de actividades a los profesionales incluidos dentro de las mismas. Y es aquí donde aparece la nueva “discriminación algorítmica en el empleo”. Buen ejemplo de ello es la reciente sentencia del Tribunale Ordinario di Bologna que en una reciente sentencia de 31 de diciembre de 2020 ha declarado discriminatorio el algoritmo Frank utilizado por Deliveroo en su plataforma online para clasificar o definir el “ranking reputacional” de los riders.
Según quedó acreditado, los riders gozan de dos vías para recibir encargos de viajes por parte de la empresa: pueden reservar sesiones con antelación a través del sistema de reserva SSB (“Self-Service Booking”) o pueden iniciar sesión en tiempo real. El sistema de reserva SSB proporciona a los riders un calendario de disponibilidad (“slots”) de la semana entrante para poder recibir encargos de viaje de acuerdo con un ranking (una clasificación) establecido. Los parámetros de dicha clasificación son la llamada “tasa de fiabilidad” (número de veces en el que el rider no atendió una sesión que previamente reservó) y la “tasa de participación en los picos” (número de veces en que el rider estuvo disponible para los horarios más relevantes, es decir, de las 20h a las 22h de viernes a domingo). Sobre esta base la empresa utiliza un algoritmo que, a juicio del referido Tribunal, penaliza de igual forma y sin distinción alguna tanto a los riders que se ausentan temporalmente de su plataforma (y no cumplen con los pedidos dentro de la franja horaria reservada) por motivos fútiles como a los que lo hacen por enfermedad, minusvalía, cuidado de menores o para ejercer su derecho de huelga, estos últimos supuestos legítimos y justificados de huelga, estos últimos supuestos legítimos y justificados de abstención laboral. Tal diferencia, concluye el Tribunal, encubre una discriminación en el empleo. Y llega a esta conclusión indicando que es indiferente que a los riders se les considere trabajadores por cuenta ajena o trabajadores autónomos, dado que en cualquiera de los casos estarán protegidos frente a la discriminación en el acceso al trabajo.
Pero la discriminación algorítmica se extiende, como el propio uso de estas herramientas, también a la actuación de los poderes públicos (Como pone de manifiesto, Luis Arroyo). Y es que, como hace unos días estudiamos en este mismo Blog, el Big data y el uso de algoritmos predictivos está aterrizando en la Inspección de Trabajo y Seguridad Social. Como allí decíamos, en un mundo digital, la Inspección de Trabajo también debe integrar estas herramientas pero los efectos sobre trabajadores y empresas van a ser notables y los riesgos no pequeños. Como ha puesto de manifiesto el Sindicato de Inspectores de Trabajo en una nota de gran calado, la automatización de las sanciones puede romper, dicen, “con los principios de legalidad, seguridad jurídica, eficiencia, neutralidad e imparcialidad de la Inspección de Trabajo y Seguridad Social”, concluyendo que “un robot no puede sustituir a los funcionarios de la Inspección de Trabajo”.
Pero dejando al margen esta cuestión (desde luego no menor), la discriminación algorítmica en el diseño de estos instrumentos es un riesgo añadido. Ejemplo de ello es, como explicó con todo detalle en una reciente entrada de este Blog Ana Belén Muñoz, el algoritmo SyRI (System Risk Indication) que fue utilizado por autoridades públicas para predecir la probabilidad de fraude a la Seguridad Social y al fisco por parte de los solicitantes de beneficios estatales. El Tribunal de lo Civil de la Haya en sentencia de 5 de febrero de 2020 (ECLI:NL:RBDHA:2020:865) indicó que existe una responsabilidad especial en el uso de las tecnologías emergentes y concluye que el empleo de SyRI supone un incumplimiento del artículo 8 del Convenio Europeo de los Derechos Humanos (el derecho al respeto de la vida privada y familiar) debido a la falta de transparencia y uso sesgado de este instrumento, utilizado exclusivamente en barrios donde viven personas con rentas bajas o zonas donde residen personas pertenecientes a minorías. Una sentencia que recuerda la STJUE (Gran Sala) de 16 de julio de 2015 en el asunto C-83/14, Chez Razpredelenie Bulgaria AD, en la que se debatía, precisamente, sobre la proporcionalidad de una medida que suponía un perjuicio excesivo para un grupo étnico que se veía estigmatizado sobre la base de consideraciones puramente económicas.
Y es que los poderes públicos están obligados a utilizar las nuevas herramientas tecnológicas para cumplir su función pero también deben estar especialmente vigilantes para extender ciertas garantías jurídicas propias del Estado democrático de Derecho a las decisiones administrativas adoptadas mediante la utilización de ciertos algoritmos. La intención no es demonizar a los algoritmos, sino reconocer que operan con prejuicios como el resto de nosotros y pueden, también, discriminar. Sobre esta base es más necesario que nunca debatir y dialogar públicamente sobre estas cuestiones. Gracias por ello a la Profesora María Emilia Casas y a la Fundación Areces por abrirnos sus puertas.
