Hace unos días se ha dictado una de las primeras resoluciones sobre el sistema de reconocimiento de emociones en Europa. En concreto, la Agencia de Protección de Datos en Hungría (en adelante, NAIH) ha revisado la práctica llevada a cabo por un banco durante 45 días y que consistía en utilizar un software de procesamiento de señales de voz basado en inteligencia artificial. El mencionado software analizaba y evaluaba los estados emocionales de los clientes y las palabras clave utilizadas en las llamadas. La finalidad de esta tecnología fue gestionar las quejas, controlar la calidad de las llamadas y del trabajo y, además, aumentar la eficiencia de los empleados. A continuación, los resultados de este análisis se almacenaban junto con las grabaciones de las llamadas y estos datos se usaban para clasificar las llamadas en orden de prioridad.
A raíz de este primer caso europeo, nos podemos preguntar algunas cuestiones: ¿Qué es un sistema de reconocimiento de emociones? ¿hasta qué punto se permite su uso en el entorno laboral?
Al respecto, la propuesta europea de Reglamento de Inteligencia Artificial de 21 de abril de 2021 (en adelante, Ley de Inteligencia Artificial) define el sistema de reconocimiento de emociones como un sistema de inteligencia artificial destinado a detectar o deducir las emociones o las intenciones de personas físicas a partir de sus datos biométricos (artículo 3 (34) Ley de Inteligencia Artificial). Se podría afirmar que esta tecnología es una versión moderna del polígrafo o detector de mentiras que podría detectar rasgos de la personalidad, sentimientos, la salud mental o el grado de compromiso de la persona empleada con su empresa.
Algunos ejemplos de esta realidad tecnológica son las actividades de monitorización de la actividad cerebral y las emociones de los empleados que realizan algunas empresas chinas, a través de los sensores inalámbricos colocados en los gorros de los empleados que, combinados con algoritmos e inteligencia artificial, detectan incidencias en los niveles de ira, ansiedad o tristeza.
También podemos mencionar las gafas inteligentes de Google que permiten encuadrar el rostro y junto a este superponen unas barras con indicadores de distintas emociones a través de la aplicación Shore que ha sido desarrollada en Alemania. A lo que se suman las aplicaciones que analizan los tonos de voz en una conversación o el lenguaje utilizado en un correo electrónico.
Existe un vínculo estrecho entre los sistemas de reconocimiento de emociones y los datos personales de la persona trabajadora en la medida que los primeros se alimentan de los datos biométricos (expresiones faciales, actividad cerebral, voz, entre otros). Esta conexión va a suponer consecuencias jurídicas en la normativa aplicable de forma que se debe aplicar no solo la Ley de Inteligencia Artificial sino también el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (RGPD).
La futura Ley de Inteligencia Artificial tiene en cuenta las repercusiones laborales de la tecnología emergente y prohíbe algunos de estos sistemas y califica otros de alto riesgo que afectan a los candidatos a un puesto de trabajo y a los trabajadores (Considerando 36 Ley de Inteligencia Artificial). Ello es así porque pueden lesionar los derechos fundamentales de la Carta de los Derechos Fundamentales de la Unión Europea, entre ellos, la seguridad y salud de los trabajadores, exigiendo un elevado nivel de protección de estos derechos.
Siguiendo la propuesta alemana de la pirámide de criticidad basada en el riesgo que comenté en un post anterior, la Ley de Inteligencia Artificial propone un enfoque basado en los riesgos que distingue entre los usos de la IA que generan: i) un riesgo inaceptable; ii) un riesgo alto; y iii) un riesgo bajo o mínimo.
En primer lugar, algunos de los sistemas de reconocimiento de emociones del trabajador pueden encajar en el nivel de riesgo inaceptable y, por tanto, prohibida su utilización. La prohibición tendrá lugar cuando se utilicen sistemas de identificación biométrica remota en tiempo real (artículo 5.1 d) Ley de Inteligencia Artificial). Ahora bien, parece que incluso sobre estos datos se permitirá su uso si se concede la autorización previa.
En la misma lógica de prohibición se perfila el artículo 6.5 de la Propuesta de Directiva europea sobre la mejora de las condiciones laborales en el trabajo en plataformas de 9 de diciembre de 2021. En dicho artículo se establece que las plataformas digitales de trabajo no deben tratar ningún dato personal relativo a los trabajadores de la plataforma que no esté intrínsecamente relacionado con la ejecución de su contrato y sea estrictamente necesario para ello. En particular, no podrán tratar datos personales sobre el estado emocional o psicológico del trabajador de la plataforma.
Pese a que no se mencione de forma expresa, el nivel de riesgo inaceptable se relaciona con el Principio de Precaución o de Cautela que se aplica a situaciones de incertidumbre científica y de daño grave e irreversible. En esta línea, se pronuncia la Recomendación CM/Rec (2020)1 del Comité de Ministros del Consejo de Europa a los Estados Miembros sobre los impactos de los sistemas algorítmicos sobre los derechos humanos de 8 de abril de 2020.
En segundo término, se consideran de alto riesgo los sistemas de IA que se refieren a empleo, gestión de los trabajadores y acceso al autoempleo (artículo 6.2 Ley de Inteligencia Artificial). Primero, los sistemas de IA destinados a utilizarse para la contratación o selección de personas físicas, especialmente para anunciar puestos vacantes, clasificar y filtrar solicitudes o evaluar a candidatos en el transcurso de entrevistas o pruebas. Segundo, IA destinada a utilizarse para tomar decisiones relativas a la promoción y resolución de relaciones contractuales de índole laboral, a la asignación de tareas y al seguimiento y evaluación del rendimiento y la conducta de las personas en el marco de dichas relaciones. Y, en tercer lugar, los sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley como polígrafos y similares, o para detectar el estado emocional de una persona física (Anexo III Ley de Inteligencia Artificial).
Contribuirá a esclarecer si se trata de un sistema de reconocimiento de emociones de un nivel u otro las futuras normas técnicas que se dicten. Si bien la normalización en el campo de los sistemas de reconocimiento de emociones está todavía en una fase muy temprana, existen algunos grupos de trabajo, por ejemplo, P7014 Standard for Ethical considerations in Emulated Empathy in Autonomous and Intelligent Systems (perteneciente a la IEEE Standards Association) que se encuentra en fase de experimentación y que se prevé que realice la primera publicación en diciembre de 2022. Este estándar pretende definir un modelo de consideraciones y prácticas éticas en el diseño, creación y uso de tecnología empática, incorporando sistemas que tengan la capacidad de identificar, cuantificar, responder o simular estados afectivos, como emociones y estados cognitivos.
Precisamente, en el caso de la resolución de la Agencia de Protección de Datos mencionada, el banco había realizado evaluaciones de impacto de la protección de datos del sistema implantada y reconoció que parte del procesamiento era de alto riesgo para los interesados. Pese a esta apreciación, la entidad bancaria no implementó medidas para reducir el riesgo.
Además, el NAIH concluyó que se produjeron incumplimientos adicionales en materia de protección de datos de carácter personal aplicando el RGPD. Entre las conclusiones más relevantes, cabe indicar:
-No se proporcionó información a los afectados en relación con el análisis de voz por parte de IA o el propósito de dicho procesamiento y, por lo tanto, no hubo derecho a oponerse al tratamiento realizado.
-La justificación del banco para el procesamiento de datos se basó en su interés legítimo de garantizar buenos niveles de retención de clientes y eficiencia. Sin embargo, el NAIH alcanzó la conclusión de que el banco no había considerado adecuadamente los intereses en juego.
Para finalizar, la Agencia de Protección de Datos sancionó al banco con multa de 670.000 € y le obligó a suspender el análisis de emociones descrito. Si bien el control fue de los clientes, las mismas consideraciones deben ser realizadas en el caso de las personas empleadas. En definitiva, esta primera resolución advierte que, si bien existen ciertas ventajas asociadas a estos nuevos sistemas, se debe realizar con transparencia y cumpliendo los límites vigentes en materia de protección de datos de carácter personal.
