El llamado “humman in comand“ o, en castellano, que haya “un humano supervisando“ las decisiones tomadas por la Inteligencia Artificial es una de las garantías más extendidas y populares para proteger a los humanos de las decisiones tomadas por la IA. Así, el art. 14 del RIA establece medidas en materia de supervisión humana de la IA, también la directiva de plataformas digitales en varios artículos exige la supervisión humana de las decisiones tomadas por los algoritmos. Y especialmente relevancia le da a la intervención humana el RGPD, en su art. 22. Concretamente, el art. 22, mientras prohíbe las decisiones totalmente automatizadas que tengan efectos jurídicos, sí permite las decisiones automatizadas cuando hay intervención humana. Por tanto, esa intervención humana no solo es relevante, sino que a ojos de esta norma, es imprescindible para el propio uso de sistema de IA que tome decisiones que afecten a trabajadores.
Como se puede ver, la supervisión humana es crucial en el sistema de garantías legales en el uso de la IA. Sin embargo, no es la primera vez que he sido critico con la efectividad de esta garantía para evitar discriminaciones y vulneraciones de otros derechos. En efecto, en mi libro sobre algoritmos productivos y extractivos (aquí se puede descargar gratuitamente) señalaba que: 1) las personas también discriminan; 2) el humano puede solamente dedicarse a confirmar lo que dice el algoritmo sin que ello implique un verdadero juicio humano. Por ello, concluía que no es la mera intervención humana sobre decisiones concretas e individuales lo que sería una garantía para los derechos de los trabajadores, sino la existencia de auditorias obligatorias, independientes y recurrentes.
Todo esto nos lleva a la sentencia que hoy os presento. Una sentencia, de gran relevancia, de la que me enteré hace poco en una ponencia que impartí dentro de un curso organizado por el CGPJ en A Coruña. Aprovecho para agradecer al Magistrado Carlos Villarino que me haya puesto en conocimiento de la sentencia.
Hechos de la sentencia
Esta sentencia trata el caso de una empresa que tiene un sistema para seleccionar las promociones internas basado en un sistema informático que aplica un baremo que identifica a los candidatos que más se aproximan al perfil de ocupación vacante. Tras la aplicación de este sistema se obtienen unas puntuaciones y un ranqueado de los candidatos que solicitan el puesto. No obstante, el sistema también incluye una entrevista con el supervisor o jefe de departamento para confirmar la idoneidad. Por tanto, es un sistema con "supervisión humana". En el caso juzgado, el demandante alega que, a pesar de ser el que mejor puntuación obtuvo por parte del sistema informático, no fue finalmente seleccionado. Concretamente alega que haber sido liberado sindical impidió que fuera seleccionado.
De esta forma, contraintuitivamente, en contra del popular sistema de garantias frente a algoritmos construido por la doctrina y la normativa, el trabajador lo que demanda es que se aplique lo que dice el algoritmo y no el humano, entendiendo que quién ha discriminado realmente es el humano.
Fundamentos de la sentencia
Ante estos hechos el TSJ de Galicia entiende que el hecho de haber sido liberado sindical, junto con que quedara primero por parte del algoritmo es indicio suficiente para que sea la empresa la que asuma la carga de la prueba de justificar su decisión y probar que eran fueron motivos ajenos a todo móvil atentatoria de los DDFF. En este sentido, dado que la empresa no probó las verdaderas razones por las que se apartó del criterio algorítmico, se entiende que existe vulneración de la libertad sindical.
Interes de la sentencia
En conclusión, esta sentencia resulta especialmente relevante por dos motivos. En primer lugar, por sus efectos directos: parece desprenderse de ella que las empresas que utilizan sistemas de inteligencia artificial deberán justificar adecuadamente las razones por las que se apartan del criterio algorítmico, ya que, de no hacerlo, podrían incurrir en una conducta discriminatoria.
En segundo lugar, porque revela una debilidad estructural del sistema de supervisión humana como salvaguarda frente a los riesgos de la inteligencia artificial. En efecto, si bien la inteligencia artificial puede discriminar, también puede constituir un criterio más objetivo que el juicio humano. Tal como sostuve en Algoritmos productivos y extractivos, las soluciones jurídicas no deben fundamentarse en la mera aplicación de derechos individuales (pues a un trabajador, en función del contexto, puede convenirle seguir o no el dictado del algoritmo), sino en mecanismos de control colectivo. Para erradicar eficazmente la discriminación, y también en beneficio de la seguridad jurídica necesaria para las empresas, es preciso implantar auditorías algorítmicas colectivas que examinen el conjunto de decisiones adoptadas, identificando posibles sesgos mediante herramientas estadísticas y garantizando así una protección real y estructural de los derechos de las personas trabajadoras.
Adrián Todolí