Control judicial de los algoritmos: robots, administración y estado de derecho

• 1. Introducción

  Una cantidad nada despreciable de la literatura y el cine de ciencia ficción presenta realidades distópicas y, en concreto, mundos dominados por máquinas, en los que los seres humanos no dejan de ser títeres en el mejor de los casos y siervos en el peor. La convicción de que la tecnología dominaría todas las esferas de la vida, dando incluso lugar a la aparición de una nueva “especie” de forma robótica, ha sido alimento para la imaginación de numerosos autores. Ese futuro ficcionado ya ha llegado y se ha convertido en presente, si bien ofrece una realidad rica y compleja que conviene desgranar con cuidado desde la óptica jurídica.

  Nos encontramos inmersos en la Cuarta Revolución Industrial (1), la más veloz de cuantas han tenido lugar en la Historia. Sus cimientos se retrotraen varias décadas, a un momento en el que se desarrollaron teorías matemáticas y físicas que entonces sólo permitían un tratamiento abstracto pero que ahora han encontrado las capacidades técnicas para su implantación en el mundo físico (2). Los cambios se suceden a velocidad vertiginosa y no es posible asirlos con los instrumentos clásicos del Derecho. Se requiere repensar las categorías jurídicas, sin desdeñar aquellas que presenten todavía utilidad, pero también innovar en aquellos aspectos que resulte necesario adaptar (3). Sin embargo, ante una realidad tan líquida y cambiante, el Derecho actual en ocasiones resulta insuficiente o limitado. De ahí que el camino a transitar se recorra en muchos casos todavía a tientas y se acuda a principios éticos que guíen la actuación en el nuevo entorno (4).

  En las líneas que siguen se realizará una aproximación somera a esta realidad, abordando en concreto las siguientes cuestiones: a) cuál es el papel hoy de la inteligencia artificial y los algoritmos en el sector público; b) qué ejemplos concretos pueden identificarse y qué potencial existe de cara a futuro; 3) qué resoluciones administrativas o judiciales de interés se han dado hasta la fecha, así como qué enseñanzas pueden extraerse de las mismas. Todo ello en el contexto del denominado “Estado algorítmico”, expresión que tomo de Moisés Barrio en su trabajo “Retos y desafíos del Estado algorítmico de Derecho”. (5)

• 2. Inteligencia artificial y algoritmos

  La inteligencia artificial es un concepto amplio, que ha sido y es abordado por especialistas de diversas ramas del conocimiento, de modo que definirlo para acotarlo implica adentrarse también en las teorías sobre sus manifestaciones (6). A efectos operativos, se partirá aquí de la definición que ofreció en el año 2019 el Alto Grupo de Expertos de la Unión Europea (7) y que es la siguiente:

  Los sistemas de inteligencia artificial (IA) son sistemas de software (y en algunos casos también de hardware) diseñados por seres humanos que, dado un objetivo complejo, actúan en la dimensión física o digital (5)mediante la percepción de su entorno a través de la obtención de datos, la interpretación de los datos estructurados o no estructurados que recopilan, el razonamiento sobre el conocimiento o el procesamiento de la información derivados de esos datos, y la decisión respeto de la acción o acciones óptimas que deben llevarse a cabo para lograr el objetivo establecido. Los sistemas de IA pueden utilizar normas simbólicas o aprender un modelo numérico; también pueden adaptar su conducta mediante el análisis del modo en que el entorno se ve afectado por sus acciones anteriores.

  La IA es una disciplina científica que incluye varios enfoques y técnicas, como el aprendizaje automático (del que el aprendizaje profundo y el aprendizaje por refuerzo constituyen algunos ejemplos), el razonamiento automático (que incluye la planificación, programación, representación y razonamiento de conocimientos, búsqueda y optimización) y la robótica (que incluye el control, la percepción, sensores y accionadores así como la integración de todas las demás técnicas en sistemas ciberfísicos).

  Más allá de otros elementos que no es necesario desgranar ahora, lo que caracteriza a estos sistemas es, en primer lugar, su dependencia del dato, que se erige en unidad básica del modelo. Los datos constituyen de este modo uno de los elementos clave de la innovación y del desarrollo en todos los ámbitos. Sin embargo, dado que algunos derechos pueden verse comprometidos, se requiere un modelo robusto de protección de los derechos de la ciudadanía, que haga frente a eventuales excesos y que fije límites en este espacio digital de potencial infinito. (8)

  En segundo lugar, cabe apreciar que el concepto de inteligencia artificial alberga diversas realidades, algunas de las cuales -como el aprendizaje automático y el razonamiento automático- se citan de forma expresa, pero sólo como ejemplos de una realidad más rica.

  Los algoritmos son una manifestación de la inteligencia artificial, que presentan también complejidad, por cuanto no existe una única categoría. En realidad, el concepto de algoritmo tiene unos orígenes históricos lejanos y remite hoy a “cualquier procedimiento formalizado en una serie de pasos para solucionar un problema o conseguir un resultado” (9). La nota característica del uso de algoritmos en la actualidad es justamente la existencia de datos masivos con los que alimentar el sistema, de modo que su operatividad se multiplica de forma exponencial. Barrio en su trabajo “Retos y desafíos del Estado algorítmico de Derecho”.

• 3. Los algoritmos en el sector público

  A día de hoy, en Derecho español no existe una definición operativa de algoritmo y mucho menos existe un régimen jurídico que guíe la aplicación de los algoritmos en los diversos ámbitos del Derecho. Sí existen, desde luego, diversas aproximaciones doctrinales que de forma paulatina están sentando las bases de esta materia (10). Probablemente no resulte posible articular un discurso jurídico único sobre los algoritmos en el Derecho Administrativo y ello precisamente porque sus funciones son varias y no siempre reconducibles a idénticas categorías jurídicas. En este sentido, es importante atender a cada aplicación de inteligencia artificial realizada por las Administraciones Públicas, para conocer cuándo y por qué se utilizan, así como para explorar su sentido en el conjunto del ordenamiento jurídico. Para tener conocimiento de tal cosa, así como para valorar su adecuación a Derecho, se ha de comenzar por tener acceso a esta información, esto es, qué aplicaciones de inteligencia artificial utilizan las Administraciones Públicas. En la actualidad y por lo general, esta información no se da a conocer al público, pero habría que profundizar en la construcción de garantías jurídicas, introduciendo para empezar este aspecto, una publicidad activa de los algoritmos utilizados por las Administraciones Públicas con la información adicional reseñada.

  Una categorización muy amplia de los usos potenciales de los algoritmos en el Derecho Administrativo contempla distintos escenarios. Por un lado, un algoritmo puede ser utilizado en los procesos de toma de decisiones para producir las mismas. El algoritmo estaría configurado de modo que, atendidos los datos introducidos en el sistema, se generaría un resultado que produciría los efectos jurídicos correspondientes en cada caso. En principio, cabe entender que una función de estas características operaría en los casos de procedimientos reglados, en los que existe una solución única atendidos los requisitos correspondientes en cada caso. En este supuesto, un individuo disconforme con el resultado que quiera recurrir el acto correspondiente podrá tener interés en conocer la configuración del algoritmo, así como su correcta aplicación en el supuesto concreto.

  Caso distinto son los procedimientos de naturaleza discrecional, donde el ordenamiento jurídico ha optado por conferir un margen de apreciación a la Administración Pública. En este caso, es más complicado articular un sistema algorítmico de toma de decisiones. Más adelante se detallará la opinión - restrictiva- al respecto del Consejo de Estado italiano en su jurisprudencia y ahora cabe recordar que el artículo 35ª de la Ley alemana de procedimiento administrativo (Verwaltungsverfahrensgesetz) prohíbe la adopción de actos automatizados en aquellos ámbitos en que resulte de aplicación la discrecionalidad administrativa y, en cualquier caso, siempre que exista margen de apreciación.

  En este marco, y a futuro, siendo una cuestión compleja, el algoritmo podrá ser útil como instrumento de análisis de datos existentes que ofrezcan información para reducir la discrecionalidad, pero no parece que, como decía, se le pueda atribuir la función de decidir un supuesto concreto. Más adelante se aludirá algunas aplicaciones reales de algoritmos como instrumentos en los procesos de toma de decisiones de naturaleza discrecional, como la lucha contra el fraude y el establecimiento de objetivo y prioridades. Se apreciarán con ello algunos interrogantes jurídicos planteados, en especial vinculados a los principios de transparencia y de no discriminación.

• 4. La jurisprudencia pionera del Consejo de Estado italiano

  Son todavía escasas las sentencias referidas al uso de algoritmos por parte de la Administración, pero sí cabe hacer referencia a algunas de las dictadas por órganos jurisdiccionales de otros Estados, que son pioneras y que cabe considerar modelos o fuente de inspiración también en España.

  Cabe referir en primer lugar la sentencia del Consejo de Estado italiano, equivalente como es conocido a nuestra Sala Tercera del Tribunal Supremo, de 8 de abril de 2019 (sentencia núm. 2270). La controversia surge a resultas de un concurso de provisión de puestos de trabajo de personal docente. Tras la incorporación de preferencias en la correspondiente solicitud, los recurrentes constataron que las mismas no habían sido atendidas, ni en cuanto al nivel educativo indicado (educación primera o secundaria) ni tampoco en cuanto a la zona geográfica de destino. Por el contrario, otros solicitantes sí habrían visto colmadas sus expectativas y atendidas sus preferencias, siendo así que el resultado de la clasificación no parecía obedecer, a juicio de los recurrentes, a los méritos concretos de cada solicitante. La asignación de destinos había sido conferida a un programa informático y, en particular, a un algoritmo, cuyo funcionamiento no se hizo público. Las resoluciones administrativas fruto del uso de este programa se encontraban desprovistas de motivación.

  Los recurrentes consideraron vulnerado el principio de mérito y capacidad y solicitaron que fueran reconocidos sus méritos de forma efectiva y atendidas sus solicitudes. Además, instaron a hacer público el funcionamiento del algoritmo utilizado, a fin de conocer la motivación última del acto y valorar en su caso la conformidad a Derecho del mismo. Concedidas medidas cautelares y suspendida la incorporación efectiva a los nuevos, destinos, el Tribunal Administrativo Regional del Lazio, conociendo en primera instancia, desestimó sin embargo el recurso planteado.

  Una suerte distinta correrá el recurso de apelación ante el Consejo de Estado. El alto tribunal comienza afirmando en su sentencia que “en general, no puede ponerse en discusión que un nivel más elevado de digitalización de la Administración Pública es fundamental para mejorar la calidad de los servicios dirigidos a los ciudadanos y a los usuarios”. A continuación, realiza una glosa sintética de los impulsos nacionales y europeos al proceso de digitalización de las Administraciones Públicas, y concluye de la siguiente manera, apuntando que se trata de consideraciones que guardan relación específica con el litigio: “[D]eben subrayarse las indiscutibles ventajas derivadas de la automatización del proceso decisorio de la Administración mediante el uso de un procedimiento digital y mediante un “algoritmo”, o bien una secuencia ordenada de operaciones de cálculo que, en vía informática, esté en grado de valorar y ordenar una multitud de solicitudes. La utilidad de una modalidad operativa de gestión del interés público de estas características es particularmente evidente en relación con procedimientos seriados o estandarizados, que implican la elaboración de una ingente cantidad de solicitudes y que se caracterizan por la recopilación de datos ciertos y objetivamente comprobables y por la ausencia de una valoración discrecional”.

  El Consejo de Estado considera que algo así integra a la perfección el principio de eficiencia de la Administración, así como el principio constitucional de buen funcionamiento de la Administración, contenido en el artículo 97 de la Carta Magna italiana. Sin embargo, alerta frente a usos de los procedimientos “robotizados” no conformes con el ordenamiento jurídico y, en particular, con las disposiciones que disciplinan la actividad administrativa. Así, afirma que “la regla técnica que gobierna cualquier algoritmo no deja de ser en cualquier caso una regla administrativa general” (11), que es elaborada por un ser humano, aunque se aplique por una máquina. A continuación, extrae un conjunto de consecuencias de interés, que son las siguientes:

  a) La regla, aun declinada de forma matemática, posee pleno valor jurídico y administrativo. En ese sentido, está sometida a los principios generales de la actividad administrativa, como aquellos de publicidad, transparencia, razonabilidad y proporcionalidad.

  b) No cabe dejar espacio a la discrecionalidad en la aplicación del algoritmo.

  c) La Administración ha de velar por los intereses en presencia, realizando pruebas, actualizaciones y sistemas de perfeccionamiento del algoritmo, en especial en el caso de aprendizaje progresivo y de deep learning.

  d) Desde el punto de vista del control judicial, el algoritmo o software se entiende a todos los efectos como un acto administrativo informático y el órgano jurisdiccional ha de evaluar la corrección del proceso automatizado en todas sus vertientes.

  Como corolario de lo anterior, el Consejo de Estado sienta la siguiente doctrina. De un lado, insiste en la aplicación del principio de transparencia, un principio que ha de garantizar la “cognoscibilidad” del algoritmo. Ello significa que la regla técnica ha de saber ser explicada conforme a su naturaleza de norma jurídica y ello a pesar de su caracterización multidisciplinar (informática, estadística, administrativa) y su indudable complejidad. De este modo tiene que ser legible y comprensible tanto para el ciudadano como para el juez.

  De otro lado, esta regla cognoscible ha de ser sometida a la plena cognición del juez administrativo. Así, aun cuando se trate de una innovación técnica, el alcance del control judicial es idéntico al control realizado respecto de actuación administrativa más “tradicional”. El control, aquí, se realizaría en un doble plano: 1) por un lado, habría de determinarse la conformidad a Derecho del proceso informático en todas sus componentes: construcción, inserción de datos, validez y gestión de los mismos. De ahí la exigencia de transparencia en la fase administrativa; 2) en relación con lo anterior, el juez ha de poder evaluar la lógica y la razonabilidad de la decisión administrativa automatizada.

  Como consecuencia de lo anterior, se estima el recurso de apelación y se entienden vulnerados los principios de imparcialidad, publicidad y transparencia. Y ello por cuanto no es posible comprender las razones que han determinado la asignación de puestos en el proceso administrativo, más aun atendiendo a los resultados obtenidos, que resultan paradójicos ante la información disponible.

  Con posterioridad a esta sentencia, el Consejo de Estado italiano ha tenido oportunidad de pronunciarse en otras ocasiones sobre el uso de algoritmos por las Administraciones Públicas, apuntalando algunos aspectos del régimen jurídico de este nuevo instrumento público. Así, en la sentencia núm. 8472, de 13 de diciembre de 2019, dictada en un proceso con altas similitudes respecto del anterior, el Consejo de Estado se remite a su sentencia de 8 de abril del mismo año (12). El alto órgano jurisdiccional profundiza en la teoría general de la denominada “Revolución 4.0” y añade alguna exigencia que no había mencionado con carácter previo. En este sentido, junto al requisito de cognoscibilidad del algoritmo en los términos indicados de forma extensa en la sentencia de 8 de abril, se añade el criterio de la imputación de la decisión algorítmica a un órgano titular del poder (o, en nuestra terminología, el órgano competente que tiene atribuida la potestad). Este órgano ha de ser capaz de verificar la lógica y la legitimidad de la elección, así como de los resultados que surjan del algoritmo.

  A continuación, el Consejo de Estado aborda también la cuestión concerniente al tratamiento de datos y distingue los supuestos en que existe intervención humana de aquellos en los que no existe. También aquí, se insiste, el principio de transparencia resulta vital y se conecta de forma expresa con la regulación contenida en el Reglamento General de Protección de Datos (13), en particular sus arts. 13, 14, 15 y 22. Abunda en este marco en el criterio de la imputación a efectos de responsabilidad, remitiendo además a la Carta de la Robótica, que no es sino la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica. En fin, apela a tres principios deducidos del ámbito supranacional, a saber: el citado principio de cognoscibilidad, el principio de no exclusividad de la decisión algorítmica o derecho de intervención humana y el principio de no discriminación algorítmica. Conforme a este último principio, habrían de corregirse los elementos que, en su caso, puedan conducir a resultados discriminatorios contrarios al principio de igualdad en cualquiera de sus manifestaciones. Sobre la base de estos principios entiende que la actividad de la Administración no ha sido conforme a Derecho, por cuanto la Administración no ha sido capaz de ofrecer razones que expliquen el distinto tratamiento de las solicitudes del personal docente.

• 5. Otros ejemplos comparados y nacionales

  En el ámbito comparado, interesa mencionar aquí la pionera sentencia de 5 de febrero de 2020 del Tribunal de Distrito de la Haya (14). En este pronunciamiento se concluyó que se había vulnerado el art. 8 del Convenio Europeo de Derechos Humanos- (derecho al respeto de la vida privada y familiar) por parte de las autoridades holandesas. En concreto, el pronunciamiento venía referido al uso de un instrumento para detectar fraude, instrumento de naturaleza algorítmica que realizaba predicciones sobre la base de datos insertados en el sistema. El órgano jurisdiccional holandés consideró que esta actuación administrativa contravenía el art. 8.2 del Convenio, una vez realizada la correspondiente ponderación entre los derechos e intereses concurrentes, por cuanto el algoritmo no era transparente ni verificable.

  En España, hasta la fecha no se ha producido pronunciamientos jurisprudenciales con el alcance de los ejemplos internacionales mencionados. Las Administraciones Públicas utilizan algoritmos en algunos supuestos, si bien como se señaló esta circunstancia no siempre es conocida. Ámbitos como la lucha contra el fraude en la Seguridad Social y en la Agencia Tributaria, así como la garantía de la seguridad vial a través de estrategias emprendidas por la Dirección General de Tráfico, es posible que susciten en algún momento no muy lejano interrogantes como los que se vienen planteando en estas líneas. En otro orden de cosas, la Comisión Nacional de los Mercados y de la Competencia (CNMC), así como la Comisión Nacional del Mercado de Valores, han emprendido líneas de actuación para investigar si el uso de algoritmos por determinadas empresas es utilizado para distorsionar la competencia (15), en el primer caso, o la estabilidad de los mercados bursátiles (16), en el segundo. En este caso no se trata del uso de algoritmos por las Administraciones Públicas, sino del control por parte de instituciones públicas del uso que de dichos algoritmos realizan entidades privadas.

  Más cercana se encuentra la respuesta judicial al recurso surgido a resultas de la denegación por parte de la Administración General del Estado del acceso al código fuente -o código en formato legible- de la aplicación informática utilizada para otorgar el denominado bono social en la factura de energía eléctrica (17). Recurrida esta denegación ante el Consejo de Transparencia y Buen Gobierno, este dictó resolución el 18 de febrero de 2019 estimando parcialmente la reclamación, si bien no accedió a la solicitud de hacer público el código fuente. El recurso contencioso-administrativo interpuesto a su vez contra esta resolución del Consejo de Transparencia se encuentra pendiente de sentencia en el momento de escribir estas líneas, pero el debate en torno a la transparencia y a los principios que rigen el uso de algoritmos por las Administraciones Públicas resultan, como es lógico, también de aplicación en este supuesto (18).

• 6. Conclusiones

  En las líneas precedentes se ha realizado una revisión somera de la presencia creciente de la inteligencia artificial y, en particular, los algoritmos en el sector público. Se trata, como se ha podido apreciar, de un ámbito todavía carente de un marco jurídico adecuado, que presenta desafíos técnicos no siempre abordables desde el Derecho. Los órganos jurisdiccionales se encuentran llamados a desempeñar una función fundamental en el control efectivo del uso de dichos algoritmos, siendo así que en ocasiones habrán de interpretar cuándo y de qué manera principios jurídicos ya existentes resultan de aplicación en este nuevo ámbito, siquiera con las oportunas modulaciones. Principios clásicos como el de eficacia y eficiencia de las Administraciones Públicas, no discriminación, publicidad y transparencia resultan, ahora como antes, pilares básicos del Derecho Administrativo.

  ****

Notas:

(1) Vid. https://www.globalpoliticsandlaw.com/2020/05/01/cuarta-revolucion-industrial-y-administraciones-publicas/ [último acceso de todas las referencias del texto: 21 de febrero de 2021].

(2) Véase entre otros el trabajo pionero de Alan M. Turing, Computing Machinery and Intelligence, Mind, vol. 59, núm. 236 (1950), pp. 433-460.

(3) Cfr. Susana de la Sierra, Inteligencia artificial y justicia administrativa: Una aproximación desde la teoría del control de la Administración Pública, Revista General de Derecho Administrativo 53 (2020).

(4) Véase una introducción en https://concepcioncampos.org/inteligencia-artificial-en-el-sector-publico-i-amenazas/.

(5) ARI 82/2020, Real Instituto Elcano, 9 de junio de 2020.

(6) En el ámbito del Derecho Administrativo, resulta imprescindible remitirse a los trabajos de la red DAIA (Derecho Administrativo e Inteligencia Artificial), compuesta por personas expertas en la materia y procedentes de diversas universidades. Las conclusiones del primer seminario fueron publicadas con la siguiente referencia: Centro de Estudios Europeos “Luis Ortega Álvarez”/Instituto de Investigación TransJus (2019), “Conclusiones del primer Seminario internacional Derecho administrativo e inteligencia artificial”, IDP: Revista de Internet Derecho y Política (UOC), núm. 29, pp. 1-7.

(7) Grupo Independiente de Expertos de Alto Nivel sobre Inteligencia Artificial creado por la Comisión Europea en junio de 2018, Directrices éticas para una IA fiable, documento presentado el 8 de abril de 2019, apartados 143 y 144.

(8) En este marco, y para la protección de los derechos en el entorno digital -incluyendo también la inteligencia artificial -, se ha designado un grupo de expertos para la elaboración de una Carta de derechos digitales. Vid. https://portal.mineco.gob.es/es-es/ministerio/participacionpublica/audienciapublica/Paginas/SEDIA_Carta_Derechos_Digitales.aspx.

(9) Cfr. Alejandro Huergo Lora, Una aproximación a los algoritmos desde el Derecho administrativo, en Alejandro Huergo Lora (dir.)/Gustavo Manuel Díaz González (coord.), “La regulación de los algoritmos”, Thomsom Reuters Aranzadi, 2020, pp. 23-87 (p. 27).

(10) Cfr., entre otros, Agustí Cerrillo i Martínez, El impacto de la Inteligencia Artificial en el Derecho Administrativo. ¿Nuevos conceptos para nuevas realidades técnicas?, Revista General de Derecho Administrativo 50 (2019).

(11) En este marco, y para la protección de los derechos en el entorno digital -incluyendo también la inteligencia artificial-, se ha designado un grupo de expertos para la elaboración de una Carta de derechos digitales. Vid. https://portal.mineco.gob.es/es-es/ministerio/participacionpublica/audienciapublica/Paginas/SEDIA_Carta_Derechos_Digitales.aspx.

(12) En el mismo sentido, por ejemplo, la sentencia núm. 881, de 4 de febrero de 2020.

(13) Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE.

(14) Cfr. Manuela Battaglini, Sentencia histórica del Tribunal de la Haya anulando la elaboración de perfiles para el fraude de la Seguridad Social (SyRI), World Compliance Association, entrada de 9 de febrero de 2020 ; Lorenzo Cotino, SyRI, ¿a quién sanciono? Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020, La Ley Privacidad/Wolters Kluwer, núm. 4, mayo 2020.

(15) El 21 de noviembre de 2019, la CNMC anunció en nota de prensa la apertura de una investigación concerniente a software inmobiliario que podría haberse utilizado con fines contrarios a la normativa reguladora de la competencia y, en particular, para coordinar precios y otras prácticas comerciales. Más tarde, el 19 de febrero de 2020, asimismo mediante nota de prensa, se daba cuenta de la incoación de expediente sancionador a siete empresas a resultas de las inspecciones llevadas a cabo.

(16) La negociación algorítmica ha alcanzado ya el nivel de ámbito dotado de independencia en la CNMV: https://www.cnmv.es/Portal/MiFIDII_MiFIR/Mercados-Negociacion-Algoritmica.aspx. Véase al respecto Ignacio Farrando Miguel, Algoritmos en el mercado de valores y protección del inversor: “Robo advisors”, en Alejandro Huergo Lora (dir.), “La regulación de los algoritmos”, cit., pp. 89 -128.

(17) Regulación contemplada en el RD 897/2017, de 6 de octubre, por el que se regula la figura del consumidor vulnerable, el bono social y otras medidas de protección para los consumidores domésticos de energía eléctrica, desarrollado por Orden ETU/943/2017, de 6 de octubre.

(18) Cfr. Elisa de la Nuez Sánchez-Cascado, Algoritmos y transparencia, Hay Derecho/Expansión, 19 de febrero de 2020.