Blog

Actualidad

El Uso De Fotografías Y Videos De Terceros En Redes Sociales

Las redes sociales sirven como altavoz para que todo el mundo conozca parte de la vida que sus usuarios quien mostrar: restaurantes a los que acuden, espectáculos, viajes, vida diaria…, todo ello, además, ha dado lugar a un nuevo espectro de personajes públicos, los denominados influencers –personas que, a través de su perfil público en una red social, como puede ser Instagram ® o Tik Tok ® han destacado y obtenido gran éxito gracias a sus seguidores y suscriptores-.
No obstante, las redes sociales se han globalizado, siendo utilizadas por personajes públicos y público en general, haciendo todos mismo uso de ellas, esto es, subiendo fotografías o videos con su imagen, así como comentarios, que puedan ser accesibles para todos los usuarios o para un grupo privado de ellos. En cualquier caso, dichas imágenes están protegidas

¿Cómo está protegida mi imagen en las redes sociales?
Todas las personas tenemos derecho a que nuestra imagen esté protegida de injerencias de terceros, es un derecho fundamental que se consagra en el artículo 18 de la Constitución Española, y forma parte del elenco de derechos de la personalidad o personalísimos que tenemos las personas, sin que podamos renunciar a ellos (cosa distinta es que ante una vulneración no actuemos).
En este sentido, una fotografía o video con nuestra imagen subida por un tercero o “cogida” de nuestra red social sin nuestro consentimiento, podría ser considerado como una intromisión ilegítima a nuestro derecho de imagen; además, podría estar vulnerando los derechos de autor del fotógrafo (ya sea mera fotografía u obra fotográfica), si no se ha publicado libre de derechos.

¿Qué ocurre si he sido yo mismo el que ha subido la imagen a la red social?
El hecho de haber subido una imagen a tu perfil en una red social siendo accesible al público en general no da lugar a que terceros puedan utilizar dicha imagen. Sobre este extremo se ha debatido mucho, pero, nuestro Tribunal Supremo lo tiene claro y en cualquier situación -incluso cuando se trate de un personaje público- prima el derecho que una persona tiene a su propia imagen.

¿Bajo ningún concepto pueden utilizar mi imagen sin mi consentimiento?
El uso de la imagen sin consentimiento de un tercero no está exento de matizaciones, como bien se recoge en la Ley que regula el derecho de imagen, sí que se podrá utilizar esta cuando (i) se trate de personas con proyección pública y su imagen se capte en un acto público o lugar abierto al público; (ii) se trate de caricaturas de personas con proyección pública conforme a los usos sociales; o (iii), se haya captado la imagen de forma accesoria para una noticia.

¿Qué tipo de consentimiento tengo que dar para que un tercero pueda utilizar mi imagen?
El consentimiento para que no podamos alegar que hay intromisión ilegítima en la imagen, habrá de ser expreso e inequívoco. Si bien son dos términos muy imprecisos, veremos que es muy simple, se trata de tener conocimiento del fin para el que se va a emplear la imagen y el interesado pueda decidir si otorgar o no permiso para el uso de la misma.

¿Se otorga consentimiento por el hecho de subir una imagen a una red social?
Bajo ningún concepto el interesado está otorgando consentimiento alguno por el hecho de utilizar su propia imagen en su perfil en una red social, por lo que la publicación por terceros, como ya hemos explicado vulneraría sus derechos.
En cualquier caso, aunque se haya otorgado el consentimiento, éste se puede revocar en cualquier momento.

Actualidad

Ganancias deportivas. ¿Oportunidad de negocio o fraude de inversores?

Ganancias Deportivas S.A. es una empresa, registrada en Costa Rica, creada, supuestamente, para invertir el dinero depositado por los clientes en distintas apuestas deportivas, mayoritariamente en competiciones europeas, y a través de estas obtener beneficios para repartir entre sus inversores.

El principal atractivo de la entidad Ganancias Deportivas es que se garantiza unas ganancias de un 20% mensual, es decir, un 240% anual, pudiendo incrementar el porcentaje si los usuarios eran capaces de captar nuevos clientes que hicieran aportaciones patrimoniales a la entidad.

La garantía de los beneficios reside en que supuestamente utilizan inteligencia artificial para realizar las apuestas, lo que asegura el éxito de las mismas a fin de satisfacer las retribuciones a todos sus inversores.

Pues bien, veamos si Ganancias Deportivas reúne las características propias de una estafa piramidal, de cara a concluir que estamos ante un fraude de inversores:

1.- La estafa piramidal tiene la característica principal de no estar soportado por ninguna actividad real y si la hay es insuficiente para generar los beneficios que corresponderían a cada uno de los inversores.

Echando un vistazo a diversos foros, podemos encontrarnos a inversores que hablan de las bondades de Ganancias deportivas y otros que se muestran como inversores afectados por la misma, que no puede recuperar su inversión y que no obtienen los beneficios prometidos.

Esta situación es muy normal en una estafa piramidal puesto que para la eficacia del engaño resulta fundamental que los primeros inversores cobren, a fin de que puedan acreditar respecto de los ulteriores inversores que el sistema funciona y que las ganancias son reales, cuando sin embargo las supuestas ganancias no son más que las nuevas inversiones de aquellos.

2.- Ofrecen unas rentabilidades garantizadas y muy elevadas, que están fuera de los niveles que ofrece el mercado.

Ganancias Deportivas ofrece una rentabilidad de las aportaciones de sus inversores de un 20% mensual, lo que supone un tipo muy elevado respecto de cualquier oferta de inversión convencional, lo cual, no es posible garantizar con la supuesta actividad que se realiza, puesto que las apuestas tienen un carácter aleatorio que imposibilita desarrollar un plan de negocio del que puedan derivar unos beneficios estimados.

3.- Suelen ofrecer beneficios o comisiones en forma de dinero mediante bonus o premios a aquellos que captan a inversores adicionales.

En este sentido, Ganancias Deportivas establece un aumento del porcentaje de ganancias a medida que el inversor consiga que nuevos clientes se unan. De esta forma, se consigue mantener las entradas de capital que serán las que posteriormente se utilicen para pagar a los primeros inversores.

4.- Toda la información y gestión del negocio está monopolizada por sus propietarios, sin que exista auditoria de cuentas.

En este sentido, resulta especialmente preocupante que la página web de la empresa no tenga ningún apartado en el que se informe de la regulación de la plataforma, obedeciendo al prototipo de páginas web que de ordinario utilizan los chiringuitos financieros.

5.- Situación geográfica de la sociedad de inversión.

Ganancias Deportivas, a pesar de tener vocación de captar inversores en todo el mundo, especialmente en España y Argentina, ha decidido registrarse en Costa Rica, que tiene un marco regulatorio muy pobre y no tiene suscritos convenios de cooperación jurídica internacional eficaces para luchar contra este tipo de fraudes.

6.– Falta de transparencia: no se publican las operaciones realizadas ni el destino de las ganancias.

Este requisito también concurre en Ganancias Deportivas, la compañía no publica las supuestas apuestas que se realizan ni el resultado de las mismas.

7.- Advertencias de organismos reguladores.

En este sentido debemos señalar, por resultar muy importante, que la CNMV recoge una advertencia realizada por el regulador de inversiones italiano en la que ha señalado que Ganancias Deportivas es una entidad no regulada en Italia, a fin de evitar que los inversores inviertan en la misma.

Por todo ello, existen claros indicios de que la actividad realizada por Ganancias Deportivas es la propia de una estafa piramidal, lo que supondría un fraude para sus inversores, que en su mayoría van a perder todo el capital invertido.

Actualidad

LEY DE INTELIGENCIA ARTIFICIAL. PROPUESTA DE REGLAMENTO DEL PARLAMENTO EUROPEO Y DEL CONSEJO POR EL QUE SE ESTABLECEN NORMAS ARMONIZADAS SOBRE LA INTELIGENCIA ARTIFICIAL (21 04 2021). Primera Parte

Propuesta de Reglamento de la UE sobre Inteligencia Artificial.

 

  1. Exposición de Motivos

1.1.- Motivos y Objetivos de la Ley de Inteligencia Artificial.

Con fecha 21 de abril de 2021, el Parlamento Europeo y el Consejo Europeo publican la esperada propuesta de Reglamento/Ley de Inteligencia Artificial. En la misma, se expresan, a través de la correspondiente exposición de motivos, los motivos y objetivos del denominado Reglamento.

La inteligencia artificial (“IA”) es una familia de tecnologías en rápida evolución que puede aportar una amplia gama de beneficios económicos y sociales en todo el espectro de industrias y actividades sociales. Al mejorar la predicción, optimizar las operaciones y la asignación de recursos y personalizar la prestación de servicios, el uso de la inteligencia artificial puede respaldar resultados beneficiosos desde el punto de vista social y medioambiental y proporcionar ventajas competitivas clave a las empresas y a la economía europea.

La IA es especialmente necesarias en sectores de gran impacto, como el cambio climático, el medio ambiente y la salud, el sector público, las finanzas, la movilidad y la agricultura.

Sin embargo, la IA también pueden acarrear nuevos riesgos o consecuencias negativas para las personas o la sociedad.

Es interés de la Unión Europea preservar el liderazgo tecnológico de la UE y garantizar que los europeos puedan beneficiarse de las nuevas tecnologías desarrolladas y que funcionan de acuerdo con los valores, derechos fundamentales y principios de la Unión.

La propuesta pretende llevar a la práctica el objetivo de desarrollar un ecosistema de confianza proponiendo un marco jurídico para la IA digna de confianza.

La propuesta se basa en los valores y derechos fundamentales de la UE y pretende dar a las personas y a otros usuarios la confianza necesaria para adoptar soluciones basadas en la IA, al tiempo que anima a las empresas a desarrollarlas.

La IA debe ser una herramienta para las personas y ser una fuerza para el bien en la sociedad con el objetivo final de aumentar el bienestar humano. Por lo tanto, las normas relativas a la IA disponible en el mercado de la Unión o que afecten a las personas en la Unión deben centrarse en el ser humano, para que la gente pueda confiar en que la tecnología se utiliza de forma segura y conforme a la ley, incluido el respeto de los derechos fundamentales.

Su objetivo estriba en que la Unión Europea sea un líder mundial en el desarrollo de sistemas de inteligencia artificial seguros, fiables y éticos.

Junto a los citados objetivos, la propuesta de reglamento sobre la inteligencia artificial tiene los siguientes objetivos específicos:

  • garantizar que los sistemas de IA comercializados y utilizados en la Unión Europea sean seguros y respeten la legislación vigente en materia de derechos fundamentales y valores de la Unión Europea;
  • garantizar la seguridad jurídica para facilitar la inversión y la innovación en IA;
  • mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamentales y requisitos de seguridad aplicables a los sistemas de IA;
  • facilitar el desarrollo de un mercado único de aplicaciones de IA legales, seguras y fiables y evitar la fragmentación del mercado.

Para lograr esos objetivos, esta propuesta se limita a los requisitos mínimos necesarios para abordar los riesgos y problemas vinculados a la IA, sin limitar ni obstaculizar indebidamente el desarrollo tecnológico ni aumentar de otro modo desproporcionadamente el coste de la comercialización de soluciones de IA.

La propuesta establece un marco jurídico sólido y flexible.

La propuesta establece normas armonizadas para el desarrollo, la comercialización y el uso de los sistemas de IA en la Unión Europea siguiendo un enfoque proporcionado basado en el riesgo. Propone una única definición de IA a prueba de futuro. Se prohíben determinadas prácticas de IA especialmente perjudiciales por ser contrarias a los valores de la Unión Europea, mientras que se proponen restricciones y salvaguardias específicas en relación con determinados usos de los sistemas de identificación biométrica a distancia con fines policiales.

La propuesta establece una sólida metodología de riesgo para definir los sistemas de IA de «alto riesgo» que plantean riesgos significativos para la salud y la seguridad o los derechos fundamentales de las personas. Esos sistemas de IA tendrán que cumplir una serie de requisitos horizontales obligatorios para una IA fiable y seguir procedimientos de evaluación de la conformidad antes de que esos sistemas puedan comercializarse en la Unión.

También se imponen obligaciones predecibles, proporcionadas y claras a los proveedores y usuarios de esos sistemas para garantizar la seguridad y el respeto de la legislación vigente que protege los derechos fundamentales durante todo el ciclo de vida de los sistemas de IA. Para algunos sistemas específicos de IA, solo se proponen obligaciones mínimas de transparencia, en particular cuando se utilizan chatbots o «deep fakes«.

También se proponen medidas adicionales de apoyo a la innovación, en particular a través de los «Sandbox» reglamentarios de la IA y otras medidas para reducir la carga reglamentaria y apoyar a las pequeñas y medianas empresas («PYME«) y a las empresas de nueva creación.

La propuesta pretende garantizar la coherencia con la Carta de los Derechos Fundamentales de la UE y el Derecho derivado de la Unión vigente en materia de protección de datos, protección de los consumidores, no discriminación e igualdad de género.

Además, la propuesta complementa el Derecho de la Unión vigente en materia de no discriminación con requisitos específicos que tienen por objeto minimizar el riesgo de discriminación algorítmica, en particular en relación con el diseño y la calidad de los conjuntos de datos utilizados para el desarrollo de los sistemas de IA complementados con obligaciones en materia de pruebas, gestión de riesgos, documentación y supervisión humana a lo largo del ciclo de vida de los sistemas de IA.

La propuesta se entiende sin perjuicio de la aplicación del Derecho de la competencia de la Unión.

Por lo que respecta a los sistemas de IA de alto riesgo que son componentes de seguridad de los productos, la propuesta se integrará en la legislación sectorial de seguridad existente para garantizar la coherencia, evitar duplicaciones y minimizar las cargas adicionales.

Por lo que respecta a los sistemas de IA proporcionados o utilizados por las entidades de crédito reguladas, las autoridades responsables de la supervisión de la legislación de servicios financieros de la Unión Europea deben ser designadas como autoridades competentes para la supervisión de los requisitos de la propuesta, a fin de garantizar una aplicación coherente de las obligaciones derivadas de la misma y de la legislación de servicios financieros de la Unión Europea cuando los sistemas de IA estén regulados en cierta medida de forma implícita en relación con el sistema de gobernanza interna de las entidades de crédito.

La propuesta también es coherente con la legislación de la Unión Europea aplicable a los servicios, incluidos los servicios de intermediación regulados por la Directiva sobre comercio electrónico 2000/31/CE15 y la reciente propuesta de la Comisión sobre la Ley de Servicios Digitales (DSA).

En relación con los sistemas de IA que son componentes de sistemas informáticos de gran magnitud en el Espacio de Libertad, Seguridad y Justicia gestionados por la Agencia de la Unión Europea para la Gestión Operativa de Sistemas Informáticos de Gran Magnitud (eu-LISA), la propuesta no se aplicará a aquellos sistemas de IA que hayan sido comercializados o puestos en servicio antes de que haya transcurrido un año desde la fecha de aplicación del Reglamento, a menos que la sustitución o modificación de dichos actos jurídicos suponga un cambio significativo en el diseño o la finalidad prevista del sistema o sistemas de IA en cuestión.

1.2.- Propuesta de Ley de Inteligencia Artificial. Detalle General de su Contenido.

1.2.1. Título I. Ámbito de Aplicación y Definiciones.

El Título I define el objeto de la Ley de Inteligencia Artificial y el ámbito de aplicación de dicha norma en cuanto a su comercialización, puesta en servicio y uso de los sistemas de IA.

Igualmente, en dicho Título se establecen las definiciones de los términos utilizados en todo el instrumento.

La definición de sistema de IA en el marco jurídico pretende ser lo más neutra posible desde el punto de vista tecnológico y estar preparada para el futuro, teniendo en cuenta la rápida evolución tecnológica y del mercado relacionado con la IA.

También se definen claramente los principales participantes en la cadena de valor de la IA, como los proveedores y los usuarios de los sistemas de IA, que abarcan tanto a los operadores públicos como a los privados, para garantizar la igualdad de condiciones.

1.2.2. Título II. Prohibiciones.

El Título II establece una lista de IA prohibida. Se sigue un enfoque basado en el riesgo, diferenciando entre los usos de la IA que crean (i) un riesgo inaceptable, (ii) un riesgo alto, y (iii) un riesgo bajo o mínimo.

La lista de prácticas prohibidas en el Título II comprende todos aquellos sistemas de IA cuyo uso se considera inaceptable por contravenir los valores de la Unión Europea, por ejemplo, por violar derechos fundamentales.

Las prohibiciones abarcan las prácticas que tienen un potencial significativo para manipular a las personas mediante técnicas subliminales más allá de su conciencia o explotar las vulnerabilidades de grupos vulnerables específicos, como los niños o las personas con discapacidad, con el fin de distorsionar materialmente su comportamiento de manera que pueda causarles a ellos o a otra persona un daño psicológico o físico.

Otras prácticas de manipulación o explotación que afectan a los adultos y que podrían ser facilitadas por los sistemas de IA podrían estar cubiertas por la legislación existente sobre protección de datos, protección de los consumidores y servicios digitales, que garantizan que las personas físicas estén debidamente informadas y tengan la libre elección de no ser sometidas a la elaboración de perfiles u otras prácticas que puedan afectar a su comportamiento.

Se propone prohibir la puntuación social basada en la IA para fines generales realizada por las autoridades públicas. Por último, también se recomienda prohibir el uso de sistemas de identificación biométrica a distancia «en tiempo real» en espacios de acceso público con fines policiales, a menos que se apliquen ciertas excepciones limitadas.

1.2.3. Título III. Sistemas de AI de Alto Riesgo.

El Título III contiene normas específicas para los sistemas de IA que crean un alto riesgo para la salud y la seguridad o los derechos fundamentales de las personas físicas.

Estos sistemas de IA de alto riesgo se autorizan en el mercado europeo siempre que se cumplan determinados requisitos obligatorios y se realice una evaluación de conformidad ex ante.

El capítulo 1 del Título III establece las normas de clasificación e identifica dos categorías principales de sistemas de IA de alto riesgo:

  • Los sistemas de IA destinados a ser utilizados como componente de seguridad de los productos que están sujetos a la evaluación de la conformidad ex-ante de terceros;
  • Otros sistemas autónomos de IA con implicaciones principalmente en los derechos fundamentales.

El capítulo 2 establece los requisitos legales para los sistemas de IA de alto riesgo en relación con los datos y la gobernanza de los mismos, la documentación y el mantenimiento de registros, la transparencia y el suministro de información a los usuarios, la supervisión humana, la solidez, la precisión y la seguridad.

El capítulo 3 establece un conjunto claro de obligaciones horizontales para los proveedores de sistemas de IA de alto riesgo. También se imponen obligaciones proporcionadas a los usuarios y a otros participantes en la cadena de valor de la IA (por ejemplo, importadores, distribuidores, representantes autorizados).

El capítulo 4 establece el marco para que los organismos notificados participen como terceros independientes en los procedimientos de evaluación de la conformidad, mientras que el capítulo 5 explica detalladamente los procedimientos de evaluación de la conformidad que deben seguirse para cada tipo de sistema de IA de alto riesgo.

Los sistemas de IA destinados a ser utilizados como componentes de seguridad de productos regulados por la legislación del nuevo marco legislativo (por ejemplo, maquinaria, juguetes, productos sanitarios, etc.) estarán sujetos a los mismos mecanismos de cumplimiento y ejecución ex ante y ex post de los productos de los que son componentes. La diferencia clave es que los mecanismos ex-ante y ex-post garantizarán el cumplimiento no sólo de los requisitos establecidos por la legislación sectorial, sino también de los requisitos establecidos por la Ley de Inteligencia Artificial.

Por lo que respecta a los sistemas autónomos de IA de alto riesgo, se establecerá un nuevo sistema de cumplimiento y ejecución. Éste sigue el modelo de la legislación del nuevo marco legislativo, aplicado mediante controles internos por parte de los proveedores, con la excepción de los sistemas de identificación biométrica a distancia, que estarían sujetos a una evaluación de la conformidad por parte de terceros.

Una vez que el proveedor haya realizado la correspondiente evaluación de la conformidad, deberá registrar esos sistemas autónomos de IA de alto riesgo en una base de datos de la UE que será gestionada por la Comisión para aumentar la transparencia y el control públicos y reforzar la supervisión a posteriori por parte de las autoridades competentes. En cambio, por razones de coherencia con la legislación vigente en materia de seguridad de los productos, las evaluaciones de conformidad de los sistemas de IA que sean componentes de seguridad de los productos seguirán un sistema con procedimientos de evaluación de la conformidad de terceros ya establecidos en la legislación sectorial pertinente en materia de seguridad de los productos.

Serán necesarias nuevas reevaluaciones ex ante de la conformidad en caso de que se produzcan modificaciones sustanciales en los sistemas de IA (y, en particular, cambios que vayan más allá de lo predeterminado por el proveedor en su documentación técnica y comprobado en el momento de la evaluación ex ante de la conformidad).

1.2.4. Título IV. Transparencia.

El Título IV se refiere a determinados sistemas de IA para tener en cuenta los riesgos específicos de manipulación que plantean. Las obligaciones de transparencia se aplicarán a los sistemas que (i) interactúen con personas, (ii) se utilicen para detectar emociones o determinar la asociación con categorías (sociales) a partir de datos biométricos, o (iii) generen o manipulen contenidos («deep fakes»).

Cuando las personas interactúan con un sistema de IA o se reconocen sus emociones o características a través de medios automatizados, las personas deben ser informadas de esa circunstancia. Si se utiliza un sistema de IA para generar o manipular contenidos de imagen, audio o vídeo que se parezcan sensiblemente a los contenidos auténticos, debe existir la obligación de revelar que el contenido se genera por medios automatizados. Esto permitirá a las personas tomar decisiones informadas o dar un paso atrás en una situación determinada.

1.2.5. Título V. Apoyo a la Innovación.

El Título V contribuye al objetivo de crear un marco jurídico favorable a la innovación, preparado para el futuro y resistente a las perturbaciones. Para ello, anima a las autoridades nacionales competentes a crear «Sand Boxes» reguladores y establece un marco básico en términos de gobernanza, supervisión y responsabilidad. Los “Sand Boxes” establecen un entorno controlado para probar tecnologías innovadoras durante un tiempo limitado sobre la base de un plan de pruebas acordado con las autoridades competentes.

Se reduce la carga reglamentaria para las PYMEs y las empresas de nueva creación.

1.2.6. Títulos VI, VII y VII. Gobernanza.

El Título VI establece los sistemas de gobernanza a nivel de la Unión Europea y nacional. A nivel de la Unión, la propuesta establece un Consejo Europeo de Inteligencia Artificial (el «Consejo»), compuesto por representantes de los Estados Miembros y de la Comisión.

A nivel nacional, los Estados Miembros deberán designar una o varias autoridades nacionales competentes y, entre ellas, la autoridad nacional de control, con el fin de supervisar la aplicación y ejecución de la Ley de Inteligencia Artificial.

El Supervisor Europeo de Protección de Datos actuará como autoridad competente para la supervisión de las instituciones, agencias y organismos de la Unión cuando entren en el ámbito de aplicación la Ley de Inteligencia Artificial.

El Título VII pretende facilitar la labor de control de la Comisión y de las autoridades nacionales mediante la creación de una base de datos a escala de la UE para los sistemas autónomos de IA de alto riesgo con implicaciones principalmente en los derechos fundamentales.

El Título VIII establece las obligaciones de control e información para los proveedores de sistemas de IA en lo que respecta a la vigilancia y la información posterior a la comercialización y a la investigación de los incidentes relacionados con la IA y su mal funcionamiento. Las autoridades de vigilancia del mercado también controlarían el mercado e investigarían el cumplimiento de las obligaciones y requisitos para todos los sistemas de IA de alto riesgo ya comercializados.

1.2.5. Título IX. Códigos de Conducta.

El Título IX crea un marco para la creación de códigos de conducta, cuyo objetivo es animar a los proveedores de sistemas de IA que no sean de alto riesgo a aplicar voluntariamente los requisitos obligatorios para los sistemas de IA de alto riesgo. Los proveedores de sistemas de IA que no sean de alto riesgo podrán crear y aplicar los códigos de conducta ellos mismos. Estos códigos también pueden incluir compromisos voluntarios relacionados, por ejemplo, con la sostenibilidad medioambiental, la accesibilidad para las personas con discapacidad, la participación de las partes interesadas en el diseño y desarrollo de los sistemas de IA y la diversidad de los equipos de desarrollo.

1.2.7. Títulos X, XI y XII. Disposiciones Finales.

El Título X hace hincapié en la obligación de todas las partes de respetar la confidencialidad de la información y los datos y establece normas para el intercambio de la información obtenida durante la aplicación de la Ley de Inteligencia Artificial. El Título X también incluye medidas para garantizar la aplicación efectiva de la Ley mediante sanciones eficaces, proporcionadas y disuasorias en caso de infracción de las disposiciones de la misma.

El Título XI establece normas para el ejercicio de las competencias de delegación y ejecución. La propuesta faculta a la Comisión a adoptar, en su caso, actos de ejecución para garantizar la aplicación uniforme de la Ley de Inteligencia Artificial o actos delegados para actualizar o completar las listas previstas en los anexos de la Ley.

El Título XII contiene la obligación de la Comisión de evaluar periódicamente la necesidad de actualizar determinados anexos de la Ley de Inteligencia Artificial y de elaborar informes periódicos sobre la evaluación y la revisión de la misma. También establece disposiciones finales, entre las que se incluye un periodo transitorio diferenciado para la fecha inicial de aplicabilidad del reglamento con el fin de facilitar la aplicación sin problemas para todas las partes interesadas.

 

  1. Disposiciones Generales

2.1.- Objeto del Reglamento/Ley de Inteligencia Artificial.

La Ley tiene por objeto, entre otros, establecer:

  • normas armonizadas para la comercialización, la puesta en servicio y el uso de sistemas de inteligencia artificial en la Unión Europea;
  • prohibiciones de determinadas prácticas de inteligencia artificial;
  • requisitos específicos para los sistemas de IA de alto riesgo y obligaciones para los operadores de dichos sistemas;
  • normas de transparencia armonizadas para los sistemas de IA destinados a interactuar con personas físicas, los sistemas de reconocimiento de emociones y los sistemas de categorización biométrica, así como los sistemas de IA utilizados para generar o manipular contenidos de imagen, audio o vídeo;
  • normas de control y vigilancia del mercado.

2.2.- Ámbito de Aplicación del Reglamento.

El Reglamento de Inteligencia Artificial es aplicable a:

  • los proveedores que comercialicen o pongan en servicio sistemas de IA en la Unión Europea, con independencia de que dichos proveedores estén establecidos en la Unión o en un tercer país;
  • los usuarios de sistemas de IA ubicados en la Unión Europea;
  • los proveedores y usuarios de sistemas de IA que están situados en un tercer país, cuando el resultado producido por el sistema se utiliza en la Unión Europea.

El Reglamento no se aplicará a los sistemas de IA desarrollados o utilizados exclusivamente con fines militares.

El Reglamento no se aplicará a las autoridades públicas de un tercer país ni a las organizaciones internacionales que entren en el ámbito de aplicación del Reglamento, cuando dichas autoridades u organizaciones utilicen sistemas de IA en el marco de acuerdos internacionales de cooperación policial y judicial con la Unión Europea o con uno o varios Estados Miembros.

2.3.- Definiciones.

Se proponen las como definiciones los términos utilizados a lo largo del Reglamento, que se reseñan en el Anexo I del presente artículo.

 

  1. Prácticas de IA Prohibidas

El Reglamento establece las siguientes prohibiciones, quedando, por tanto, fuera del orden público:

  • la comercialización, puesta en servicio o uso de un sistema de IA que despliegue técnicas subliminales más allá de la conciencia de una persona para distorsionar materialmente el comportamiento de una persona de manera que cause o pueda causar a esa persona o a otra un daño físico o psicológico;
  • la comercialización, puesta en servicio o uso de un sistema de IA que explote cualquiera de las vulnerabilidades de un grupo específico de personas debido a su edad, discapacidad física o mental, con el fin de distorsionar materialmente el comportamiento de una persona perteneciente a ese grupo de manera que cause o pueda causar a esa persona o a otra un daño físico o psicológico;
  • la comercialización, puesta en servicio o utilización de sistemas de IA por parte de las autoridades públicas o en su nombre para la evaluación o clasificación de la fiabilidad de las personas físicas durante un determinado período de tiempo en función de su comportamiento social o de sus características personales o de personalidad conocidas o previstas, con la puntuación social que lleva a una de las dos cosas o a ambas;
  • el tratamiento perjudicial o desfavorable de determinadas personas físicas o grupos enteros de ellas en contextos sociales que no guardan relación con los contextos en los que se generaron o recogieron originalmente los datos;
  • un trato perjudicial o desfavorable a determinadas personas físicas o a grupos enteros de ellas, injustificado o desproporcionado a su comportamiento social o a su gravedad;
  • el uso de sistemas de identificación biométrica a distancia «en tiempo real» en espacios de acceso público con fines policiales, a menos y en la medida en que dicho uso sea estrictamente necesario para uno de los siguientes objetivos la búsqueda específica de posibles víctimas de delitos, incluidos los niños desaparecidos;

El uso de sistemas de identificación biométrica a distancia «en tiempo real» en espacios de acceso público con fines policiales tendrá en cuenta los siguientes elementos

  • la naturaleza de la situación que da lugar a la posible utilización, en particular la gravedad, la probabilidad y la magnitud del daño causado en ausencia de la utilización del sistema;
  • las consecuencias de la utilización del sistema para los derechos y libertades de todas las personas afectadas, en particular la gravedad, la probabilidad y la magnitud de dichas consecuencias.

Además, el uso de sistemas de identificación biométrica a distancia «en tiempo real» en espacios de acceso público con fines policiales, deberá cumplir con las garantías y condiciones necesarias y proporcionadas en relación con el uso, en particular en lo que respecta a las limitaciones temporales, geográficas y personales.

La utilización individual a efectos de aplicación de la ley de un sistema de identificación biométrica a distancia «en tiempo real» en espacios de acceso público estará sujeta a una autorización previa concedida por una autoridad judicial o por una autoridad administrativa independiente del Estado miembro en el que vaya a tener lugar la utilización, expedida previa solicitud motivada y de conformidad con las normas detalladas de la legislación nacional. No obstante, en una situación de urgencia debidamente justificada, la utilización del sistema podrá iniciarse sin autorización y ésta sólo podrá solicitarse durante o después de la utilización.

La autoridad judicial o administrativa competente sólo concederá la autorización cuando esté convencida, basándose en pruebas objetivas o indicios claros que se le presenten, de que la utilización del sistema de identificación biométrica a distancia «en tiempo real» en cuestión es necesaria y proporcionada.

  • la prevención de una amenaza específica, sustancial e inminente para la vida o la seguridad física de las personas físicas o de un ataque terrorista;
  • la detección, localización, identificación o enjuiciamiento de un autor o sospechoso de una infracción penal castigada en el Estado Miembro de que se trate con una pena privativa de libertad o una medida de seguridad privativa de libertad de una duración máxima de al menos tres años, según determine la legislación de dicho Estado miembro.

 

 

ANEXO I

DEFINICIONES

 

A efectos de lo establecido en el Reglamento de IA se habrán de tener en cuenta las siguientes definiciones:

  • «sistema de inteligencia artificial» (sistema de IA): software desarrollado con una o varias de las técnicas y enfoques enumerados en el anexo I del Reglamento, a definir, y que puede, para un conjunto determinado de objetivos definidos por el ser humano, generar resultados como contenidos, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan;
  • «proveedor«: una persona física o jurídica, autoridad pública, agencia u otro organismo que desarrolle un sistema de IA o que haga desarrollar un sistema de IA con el fin de comercializarlo o ponerlo en servicio bajo su propio nombre o marca, ya sea a cambio de una remuneración o de forma gratuita;
  • proveedor a pequeña escala«: proveedor que es una micro o pequeña empresa;
  • usuario«: cualquier persona física o jurídica, autoridad pública, organismo o cualquier otra entidad que utilice un sistema de IA bajo su autoridad, excepto cuando el sistema de IA se utilice en el curso de una actividad personal no profesional;
  • representante autorizado«: toda persona física o jurídica establecida en la Unión Europea que haya recibido un mandato escrito de un proveedor de un sistema de IA para, respectivamente, cumplir y ejecutar en su nombre las obligaciones y procedimientos establecidos por el Reglamento de IA;
  • «importador«: toda persona física o jurídica establecida en la Unión Europea que comercialice o ponga en servicio un sistema de IA que lleve el nombre o la marca de una persona física o jurídica establecida fuera de la Unión Europea;
  • Distribuidor«: cualquier persona física o jurídica de la cadena de suministro, distinta del proveedor o del importador, que pone a disposición un sistema de IA en el mercado de la Unión Europea sin afectar a sus propiedades;
  • operador«: el proveedor, el usuario, el representante autorizado, el importador y el distribuidor;
  • «comercialización«: la primera puesta a disposición de un sistema de IA en el mercado de la Unión Europea;
  • puesta en el mercado«: todo suministro de un sistema de IA para su distribución o uso en el mercado de la Unión Europea en el curso de una actividad comercial, ya sea a cambio de una remuneración o de forma gratuita;
  • puesta en servicio«: el suministro de un sistema de IA para su primera utilización directamente al usuario o para su propio uso en el mercado de la Unión Europea para su finalidad prevista;
  • Finalidad prevista«: el uso al que el proveedor destina un sistema de IA, incluidos el contexto y las condiciones específicas de uso, tal como se especifica en la información facilitada por el proveedor en las instrucciones de uso, los materiales de promoción o venta y las declaraciones, así como en la documentación técnica;
  • Uso indebido razonablemente previsible«: el uso de un sistema de IA de forma no conforme con su finalidad prevista, pero que puede resultar de un comportamiento humano razonablemente previsible o de la interacción con otros sistemas;
  • Componente de seguridad de un producto o sistema«: un componente de un producto o de un sistema que cumple una función de seguridad para dicho producto o sistema o cuyo fallo o mal funcionamiento pone en peligro la salud y la seguridad de las personas o los bienes;
  • instrucciones de uso«: la información proporcionada por el proveedor para informar al usuario, en particular, sobre la finalidad prevista y el uso adecuado de un sistema de IA, incluido el entorno geográfico, conductual o funcional específico en el que se prevé utilizar el sistema de IA de alto riesgo;
  • «Recuperación de un sistema de IA«: cualquier medida destinada a lograr el retorno para el proveedor de un sistema de IA puesto a disposición de los usuarios;
  • retirada de un sistema de IA«: cualquier medida destinada a impedir la distribución, exhibición y oferta de un sistema de IA;
  • Rendimiento de un sistema de IA«: la capacidad de un sistema de IA para lograr su objetivo;
  • Autoridad notificante«: la autoridad nacional responsable de establecer y aplicar los procedimientos necesarios para la evaluación, designación y notificación de los organismos de evaluación de la conformidad, así como de su seguimiento;
  • Evaluación de la conformidad«: el proceso de verificar si se han cumplido los requisitos establecidos en el capítulo 2 del título III del Reglamento en relación con un sistema de IA;
  • Organismo de evaluación de la conformidad«: un organismo que realiza actividades de evaluación de la conformidad de terceros, incluidos los ensayos, la certificación y la inspección;
  • Organismo notificado«: un organismo de evaluación de la conformidad designado con arreglo al presente Reglamento y a otra legislación pertinente de armonización de la Unión Europeo;
  • Modificación sustancial«: un cambio en el sistema de IA tras su comercialización o puesta en servicio que afecte a la conformidad del sistema de IA con los requisitos establecidos en el capítulo 2 del título III del presente Reglamento o que dé lugar a una modificación de la finalidad prevista para la que se ha evaluado el sistema de IA;
  • Marcado CE de conformidad» (marcado CE)”: un marcado por el que un proveedor indica que un sistema de IA es conforme a los requisitos establecidos en el título III, capítulo 2, del Reglamento;
  • Seguimiento posterior a la comercialización«: todas las actividades realizadas por los proveedores de sistemas de IA para recoger y revisar de forma proactiva la experiencia adquirida con el uso de los sistemas de IA que comercializan o ponen en servicio, con el fin de identificar cualquier necesidad de aplicar inmediatamente las acciones correctivas o preventivas necesarias;
  • «Autoridad de vigilancia del mercado«: la autoridad nacional que realiza las actividades y adopta las medidas;
  • «Norma armonizada«: una norma europea;
  • Especificaciones comunes«: un documento, distinto de una norma, que contiene soluciones técnicas que proporcionan un medio para cumplir determinados requisitos y obligaciones establecidos en el Reglamento;
  • Datos de entrenamiento«: datos utilizados para entrenar un sistema de IA mediante el ajuste de sus parámetros aprendibles, incluidos los pesos de una red neuronal;
  • «Datos de validación» los datos utilizados para proporcionar una evaluación del sistema de IA entrenado y para ajustar sus parámetros no aprendibles y su proceso de aprendizaje, entre otras cosas, con el fin de evitar el sobreajuste; mientras que el conjunto de datos de validación puede ser un conjunto de datos separado o parte del conjunto de datos de entrenamiento, ya sea como una división fija o variable;
  • Datos de prueba«: los datos utilizados para proporcionar una evaluación independiente del sistema de IA entrenado y validado con el fin de confirmar el rendimiento esperado de dicho sistema antes de su comercialización o puesta en servicio;
  • Datos de entrada«: los datos proporcionados a un sistema de IA o adquiridos directamente por éste, a partir de los cuales el sistema produce un resultado;
  • Datos biométricos«: los datos personales resultantes de un tratamiento técnico específico relativo a las características físicas, fisiológicas o de comportamiento de una persona física, que permiten o confirman la identificación única de dicha persona física, como las imágenes faciales o los datos dactiloscópicos;
  • “Sistema de reconocimiento de emociones«: un sistema de IA destinado a identificar o inferir emociones o intenciones de personas físicas a partir de sus datos biométricos;
  • Sistema de categorización biométrica«: un sistema de IA destinado a asignar a las personas físicas a categorías específicas, como el sexo, la edad, el color del pelo, el color de los ojos, los tatuajes, el origen étnico o la orientación sexual o política, sobre la base de sus datos biométricos;
  • Sistema de identificación biométrica a distancia«: un sistema de IA destinado a identificar personas físicas a distancia mediante la comparación de los datos biométricos de una persona con los datos biométricos contenidos en una base de datos de referencia, y sin que el usuario del sistema de IA sepa previamente si la persona estará presente y podrá ser identificada;
  • «Sistema de identificación biométrica a distancia en tiempo real» se entiende un sistema de identificación biométrica a distancia en el que la captación de datos biométricos, la comparación y la identificación se producen sin un retraso significativo. Esto comprende no sólo la identificación instantánea, sino también breves retrasos limitados para evitar la elusión.
  • Sistema de identificación biométrica a distancia «posterior«: sistema de identificación biométrica a distancia distinto de un sistema de identificación biométrica a distancia «en tiempo real»;
  • Espacio de acceso público«: cualquier lugar físico accesible al público, independientemente de que se apliquen determinadas condiciones de acceso;
  • «Autoridad policial» significa:
  • cualquier autoridad pública competente en materia de prevención, investigación, detección o enjuiciamiento de delitos o de ejecución de sanciones penales, incluida la salvaguardia y la prevención de amenazas a la seguridad pública; o
  • cualquier otro organismo o entidad al que el Derecho de los Estados Miembros haya encomendado el ejercicio de la autoridad pública y de los poderes públicos a efectos de la prevención, investigación, detección o persecución de delitos o de la ejecución de sanciones penales, incluidas la salvaguardia y la prevención de las amenazas a la seguridad pública;
  • Aplicación de la ley«: las actividades llevadas a cabo por las autoridades policiales y judiciales para la prevención, la investigación, la detección o el enjuiciamiento de delitos o la ejecución de sanciones penales, incluida la salvaguardia y la prevención de las amenazas a la seguridad pública;
  • Autoridad nacional de supervisión«: la autoridad a la que un Estado miembro asigna la responsabilidad de ejecutar y aplicar el presente Reglamento, de coordinar las actividades encomendadas a dicho Estado miembro, de actuar como punto de contacto único para la Comisión y de representar al Estado miembro en el Consejo Europeo de Inteligencia Artificial;
  • Autoridad nacional competente«: la autoridad nacional de supervisión, la autoridad de notificación y la autoridad de vigilancia del mercado;
  • Incidente grave«: cualquier incidente que directa o indirectamente conduzca, pueda haber conducido o pueda dar lugar a alguno de los siguientes hechos: (i) la muerte de una persona o un daño grave a la salud de una persona, a la propiedad o al medio ambiente, o (ii) una interrupción grave e irreversible de la gestión y el funcionamiento de las infraestructuras críticas.

 

Primera Parte

Seguna Parte

Tercera Parte

Actualidad

LEY DE INTELIGENCIA ARTIFICIAL. PROPUESTA DE REGLAMENTO DEL PARLAMENTO EUROPEO Y DEL CONSEJO POR EL QUE SE ESTABLECEN NORMAS ARMONIZADAS SOBRE LA INTELIGENCIA ARTIFICIAL (21 04 2021). Segunda Parte

Propuesta de Reglamento de la UE sobre Inteligencia Artificial.

Segunda Parte

 

  1. Sistemas de IA de Alto Riesgo

4.1.- Clasificación de los Sistemas de IA como de Alto Riesgo.

Se considerará de alto riesgo un Sistema de IA cuando se cumplan las dos condiciones siguientes:

  • el sistema de IA está destinado a ser utilizado como componente de seguridad de un producto, o es en sí mismo un producto, cubierto por la legislación de armonización de la Unión Europea prevista en el correspondiente Anexo del Reglamento;
  • el producto cuyo componente de seguridad es el sistema de IA, o el propio sistema de IA como producto, debe someterse a una evaluación de la conformidad por parte de terceros con vistas a la comercialización o puesta en servicio de dicho producto.

Además de los sistemas de IA de alto riesgo que cumplan dichas condiciones, también se considerarán de alto riesgo los sistemas de IA que se mencionen en el Anexo III del Reglamento sobre Inteligencia Artificial.

4.2.- Requisitos para los Sistemas de IA de Alto Riesgo.

Los sistemas de IA de alto riesgo deberán cumplir los requisitos establecidos a continuación.

  • Sistema de gestión de riesgos: Se establecerá, aplicará, documentará y mantendrá un sistema de gestión de riesgos en relación con los sistemas de IA de alto riesgo.
  1. El sistema de gestión de riesgos consistirá en un proceso interativo continuo que se desarrollará a lo largo de todo el ciclo de vida de un sistema de IA de alto riesgo y que requerirá una actualización sistemática periódica.

Comprenderá las siguientes etapas: identificación y análisis de los riesgos conocidos y previsibles asociados a cada sistema de IA de alto riesgo;

  1. estimación y evaluación de los riesgos que pueden surgir cuando el sistema de IA de alto riesgo se utiliza de acuerdo con su finalidad prevista y en condiciones de uso indebido razonablemente previsibles;
  2. la evaluación de otros riesgos que puedan surgir, basada en el análisis de los datos recogidos en el sistema de seguimiento posterior a la comercialización;
  3. la adopción de medidas adecuadas de gestión de riesgos.

Dichas medidas de gestión de riesgos tendrán debidamente en cuenta los efectos y las posibles interacciones resultantes de la aplicación combinada de los requisitos establecidos anteriormente. Tendrán en cuenta el estado de la técnica generalmente reconocido, incluido el reflejado en las normas armonizadas o las especificaciones comunes pertinentes.

Las medidas de gestión del riesgo serán tales que cualquier riesgo residual asociado a cada peligro, así como el riesgo residual global de los sistemas de IA de alto riesgo, se consideren aceptables, siempre que el sistema de IA de alto riesgo se utilice de acuerdo con su finalidad prevista o en condiciones de uso indebido razonablemente previsibles. Estos riesgos residuales se comunicarán al usuario.

A la hora de determinar las medidas de gestión de riesgos más adecuadas, se garantizará lo siguiente:

  • eliminación o reducción de los riesgos en la medida de lo posible mediante un diseño y desarrollo adecuados;
  • en su caso, la aplicación de medidas adecuadas de mitigación y control en relación con los riesgos que no pueden eliminarse;
  • el suministro de información adecuada a la hora de eliminar o reducir los riesgos relacionados con el uso del sistema de IA de alto riesgo, se tendrán debidamente en cuenta los conocimientos técnicos, la experiencia, la educación y la formación que cabe esperar del usuario, así como el entorno en el que se pretende utilizar el sistema.

Los sistemas de IA de alto riesgo se someterán a pruebas con el fin de determinar las medidas de gestión de riesgos más adecuadas. Las pruebas garantizarán que los sistemas de IA de alto riesgo funcionen de forma coherente para su finalidad prevista.

Los procedimientos de prueba deben ser adecuados para lograr el propósito previsto del sistema de IA y no tienen que ir más allá de lo necesario para lograr ese propósito.

Las pruebas de los sistemas de IA de alto riesgo se realizarán, según proceda, en cualquier momento del proceso de desarrollo y, en cualquier caso, antes de la comercialización o la puesta en servicio. Las pruebas se realizarán en función de parámetros y umbrales probabilísticos definidos de forma preliminar y adecuados a la finalidad prevista del sistema de IA de alto riesgo.

Se tendrá en cuenta específicamente si es probable que el sistema de IA de alto riesgo sea accedido por niños o tenga un impacto sobre ellos.

  • Datos y gobernanza de datos:

Los sistemas de IA de alto riesgo que hagan uso de técnicas que impliquen el entrenamiento de modelos con datos se desarrollarán sobre la base de conjuntos de datos de entrenamiento, validación y prueba.

Los conjuntos de datos de entrenamiento, validación y prueba estarán sujetos a prácticas adecuadas de gobernanza y gestión de datos.

Dichas prácticas se referirán, en particular, a lo siguiente

  • las opciones de diseño pertinentes;
  • la recogida de datos;
  • las operaciones de procesamiento de preparación de datos pertinentes, como la anotación, el etiquetado, la limpieza, el enriquecimiento y la agregación;
  • la formulación de los supuestos pertinentes, especialmente en lo que respecta a la información que los datos deben medir y representar;
  • una evaluación previa de la disponibilidad, la cantidad y la idoneidad de los conjuntos de datos que se necesitan;
  • examen en vista de los posibles sesgos;
  • la identificación de las posibles lagunas o deficiencias de los datos, y la forma de subsanarlas.

Los conjuntos de datos de entrenamiento, validación y prueba serán pertinentes, representativos, sin errores y completos.

Deberán tener las propiedades estadísticas adecuadas, incluso, cuando sea aplicable, en lo que respecta a las personas o grupos de personas en los que se pretende utilizar el sistema de IA de alto riesgo.

Estas características de los conjuntos de datos podrán cumplirse a nivel de conjuntos de datos individuales o de una combinación de ellos.

Los conjuntos de datos de entrenamiento, validación y prueba deberán tener en cuenta, en la medida en que lo requiera la finalidad prevista, las características o elementos propios del entorno geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA de alto riesgo.

En la medida en que sea estrictamente necesario para garantizar la supervisión, la detección y la corrección de sesgos en relación con los sistemas de IA de alto riesgo, los proveedores de dichos sistemas podrán tratar las categorías especiales de datos personales con sujeción a las garantías adecuadas para los derechos y libertades fundamentales de las personas físicas, incluidas las limitaciones técnicas a la reutilización y el uso de medidas de seguridad y de preservación de la intimidad de última generación, como la seudonimización, o el cifrado cuando la anonimización pueda afectar significativamente a la finalidad perseguida. Se aplicarán prácticas adecuadas de gobernanza y gestión de datos para el desarrollo de sistemas de IA de alto riesgo distintos de los que hacen uso de técnicas que implican el entrenamiento de modelos.

  • Documentación Técnica:

La documentación técnica de un sistema de IA de alto riesgo se elaborará antes de su comercialización o puesta en servicio y se mantendrá actualizada.

La documentación técnica se elaborará de forma que demuestre que el sistema de IA de alto riesgo cumple los requisitos establecidos y proporcione a las autoridades nacionales competentes y a los organismos notificados toda la información necesaria para evaluar la conformidad del sistema de IA con dichos requisitos.

  • Registro de datos:

Los sistemas de IA de alto riesgo se diseñarán y desarrollarán con capacidades que permitan el registro automático de eventos («logs») mientras los sistemas de IA de alto riesgo están en funcionamiento.

Las capacidades de registro garantizarán un nivel de trazabilidad del funcionamiento del sistema de IA a lo largo de su ciclo de vida que sea apropiado para la finalidad prevista del sistema.

En particular, las capacidades de registro permitirán supervisar el funcionamiento del sistema de IA de alto riesgo en lo que respecta a la aparición de situaciones que puedan dar lugar a que el sistema de IA presente un riesgo, o que den lugar a una modificación sustancial, y facilitarán el seguimiento posterior a la comercialización.

En el caso de los sistemas de IA de alto riesgo mencionados en el apartado 4.1., anterior, letra a), las capacidades de registro proporcionarán, como mínimo:

  • registro del periodo de cada uso del sistema (fecha y hora de inicio y fecha y hora de finalización de cada uso);
  • la base de datos de referencia con la que el sistema ha cotejado los datos de entrada;
  • los datos de entrada para los que la búsqueda ha dado lugar a una coincidencia;
  • la identificación de las personas físicas que participan en la verificación de los resultados.
  • Transparencia y suministro de información a los usuarios:

Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de forma que se garantice que su funcionamiento es lo suficientemente transparente como para que los usuarios puedan interpretar los resultados del sistema y utilizarlos adecuadamente.

Se garantizará un tipo y grado de transparencia adecuados, con vistas a lograr el cumplimiento de las obligaciones pertinentes del usuario y del proveedor.

Los sistemas de IA de alto riesgo irán acompañados de instrucciones de uso en un formato digital adecuado o de otro tipo que incluya información concisa, completa, correcta y clara que sea pertinente, accesible y comprensible para los usuarios.

La información a proveer deberá especificar:

  • la identidad y los datos de contacto del proveedor y, en su caso, de su representante autorizado;
  • las características, capacidades y limitaciones de rendimiento del sistema de IA de alto riesgo, incluyendo:
  • su finalidad;
  • el nivel de precisión, robustez y ciberseguridad con respecto al cual se ha probado y validado el sistema de IA de alto riesgo y que puede esperarse, así como cualquier circunstancia conocida y previsible que pueda repercutir en ese nivel esperado de precisión, robustez yciberseguridad;
  • cualquier circunstancia conocida o previsible, relacionada con el uso del sistema de IA de alto riesgo de acuerdo con su finalidad prevista o en condiciones de uso indebido razonablemente previsible, que pueda dar lugar a riesgos para la salud y la seguridad o los derechos fundamentales;
  • su rendimiento en lo que respecta a las personas o grupos de personas sobre los que se pretende utilizar el sistema;
  • cuando proceda, las especificaciones de los datos de entrada, o cualquier otra información pertinente en cuanto a los conjuntos de datos de entrenamiento, validación y prueba utilizados, teniendo en cuenta la finalidad prevista del sistema de IA.
  • los cambios en el sistema de IA de alto riesgo y su rendimiento que hayan sido predeterminados por el proveedor en el momento de la evaluación inicial de la conformidad, si los hubiera;
  • las medidas de supervisión humana, incluidas las medidas técnicas establecidas para facilitar la interpretación de los resultados de los sistemas de IA por parte de los usuarios;
  • la vida útil prevista del sistema de IA de alto riesgo y las medidas de mantenimiento y cuidado necesarias para garantizar el buen funcionamiento de dicho sistema de IA, incluso en lo que respecta a las actualizaciones de software.
  • Supervisión humana:

Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de tal manera, incluso con herramientas adecuadas de interfaz hombre-máquina, que puedan ser supervisados eficazmente por personas físicas durante el período en que el sistema de IA esté en uso.

La supervisión humana tendrá por objeto prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que puedan surgir cuando un sistema de IA de alto riesgo se utilice de acuerdo con su finalidad prevista o en condiciones de uso indebido razonablemente previsible, en particular cuando dichos riesgos persistan a pesar de la aplicación de las normas previstas al efecto por el Reglamento.

La supervisión humana se garantizará mediante una o todas las medidas siguientes:

  • identificados e incorporados, cuando sea técnicamente factible, en el sistema de IA de alto riesgo por el proveedor antes de su comercialización o puesta en servicio;
  • identificados por el proveedor antes de comercializar o poner en servicio el sistema de IA de alto riesgo y que son adecuados para ser aplicados por el usuario.

Las antes citadas medidas permitirán a las personas a las que se asigne la supervisión humana hacer lo siguiente, según las circunstancias:

  • comprender plenamente las capacidades y limitaciones del sistema de IA de alto riesgo y poder supervisar debidamente su funcionamiento, de modo que puedan detectarse y abordarse lo antes posible los indicios de anomalías, disfunciones y rendimientos inesperados;
  • ser conscientes de la posible tendencia a confiar o sobre confiar automáticamente en los resultados producidos por un sistema de IA de alto riesgo («sesgo de automatización»), en particular para los sistemas de IA de alto riesgo utilizados para proporcionar información o recomendaciones para las decisiones que deben tomar las personas físicas;
  • ser capaz de interpretar correctamente los resultados del sistema de IA de alto riesgo, teniendo en cuenta en particular las características del sistema y las herramientas y métodos de interpretación disponibles;
  • poder decidir, en cualquier situación concreta, no utilizar el sistema de IA de alto riesgo o ignorar, anular o invertir el resultado del sistema de IA de alto riesgo;
  • poder intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema mediante un botón de «parada» o un procedimiento similar.
  • Precisión, solidez y ciberseguridad:

Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de manera que alcancen, a la luz de su objetivo, un nivel de precisión adecuado, robustez y ciberseguridad, y que se comporten de forma coherente en esos aspectos a lo largo de su ciclo de vida.

Los niveles de precisión y las métricas de precisión pertinentes de los sistemas de IA de alto riesgo se declararán en las instrucciones de uso que los acompañan.

Los sistemas de IA de alto riesgo deberán ser resistentes en lo que respecta a los errores, fallos o incoherencias que puedan producirse en el sistema o en el entorno en el que opera el sistema, en particular debido a su interacción con personas físicas u otros sistemas.

La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones técnicas de redundancia, que pueden incluir planes de respaldo o a prueba de fallos.

Los sistemas de IA de alto riesgo que sigan aprendiendo después de ser comercializados o puestos en servicio se desarrollarán de manera que se garantice que los resultados posiblemente sesgados debido a los resultados utilizados como entrada para futuras operaciones («bucles de retroalimentación») se aborden debidamente con medidas de mitigación adecuadas.

Los sistemas de IA de alto riesgo serán resistentes en lo que respecta a los intentos de terceros no autorizados de alterar su uso o rendimiento aprovechando las vulnerabilidades del sistema.

Las soluciones técnicas destinadas a garantizar la ciberseguridad de los sistemas de IA de alto riesgo deberán ser adecuadas a las circunstancias pertinentes y a los riesgos.

Las soluciones técnicas para hacer frente a las vulnerabilidades específicas de la IA incluirán, en su caso, medidas para prevenir y controlar los ataques que intenten manipular el conjunto de datos de entrenamiento («envenenamiento de datos»), las entradas diseñadas para hacer que el modelo cometa un error («ejemplos adversos»), o los defectos del modelo.

4.3.- Obligaciones de los proveedores y usuarios de sistemas de IA de Alto Riesgo.

  • Proveedores:

Los proveedores de sistemas de IA de alto riesgo deberán:

  • garantizar que sus sistemas de IA de alto riesgo cumplen los requisitos establecidos en el apartado 4.2. anterior;
  • disponer de un sistema de gestión de la calidad;
  • elaborar la documentación técnica del sistema de IA de alto riesgo;
  • cuando están bajo su control, conservan los registros generados automáticamente por sus sistemas de IA de alto riesgo;
  • garantizar que el sistema de IA de alto riesgo se somete al correspondiente procedimiento de evaluación de la conformidad, antes de su comercialización o puesta en servicio;
  • cumplir con las obligaciones de registro;
  • adoptar las medidas correctoras necesarias, si el sistema de IA de alto riesgo no se ajusta a los requisitos establecidos en el apartado 4.2. anterior;
  • informar a las autoridades nacionales competentes de los Estados miembros en los que hayan puesto a disposición o en servicio el sistema de IA y, en su caso, al organismo notificado del incumplimiento y de las medidas correctoras adoptadas;
  • colocar el marcado CE en sus sistemas de IA de alto riesgo para indicar la conformidad con el Reglamento;
  • a petición de una autoridad nacional competente, demostrar la conformidad del sistema de IA de alto riesgo con los requisitos establecidos en el apartado 4.2. anterior.
  • Sistema de gestión de la calidad:

Los proveedores de sistemas de IA de alto riesgo establecerán un sistema de gestión de la calidad que garantice el cumplimiento del Reglamento de IA.

Dicho sistema estará documentado de forma sistemática y ordenada en forma de políticas, procedimientos e instrucciones escritas, e incluirá al menos los siguientes aspectos:

  • una estrategia de cumplimiento de la normativa, incluido el cumplimiento de los procedimientos de evaluación de la conformidad y los procedimientos de gestión de las modificaciones del sistema de IA de alto riesgo;
  • técnicas, procedimientos y acciones sistemáticas que se utilizarán para el diseño, el control del diseño y la verificación del diseño del sistema de IA de alto riesgo;
  • técnicas, procedimientos y acciones sistemáticas que se utilizarán para el desarrollo, el control y la garantía de calidad del sistema de IA de alto riesgo;
  • los procedimientos de examen, prueba y validación que deben llevarse a cabo antes, durante y después del desarrollo del sistema de IA de alto riesgo, y la frecuencia con la que deben realizarse;
  • las especificaciones técnicas, incluidas las normas, que deben aplicarse y, cuando no se apliquen íntegramente las normas armonizadas pertinentes, los medios que deben utilizarse para garantizar que el sistema de IA de alto riesgo cumple los requisitos establecidos en el apartado 4.2. anterior;
  • los sistemas y procedimientos de gestión de datos, incluida la recopilación de datos, el análisis de datos, el etiquetado de datos, el almacenamiento de datos, el filtrado de datos, la extracción de datos, la agregación de datos, la conservación de datos y cualquier otra operación relativa a los datos que se realice antes y a efectos de la comercialización o puesta en servicio de los sistemas de IA de alto riesgo;
  • el sistema de gestión de riesgos;
  • el establecimiento, la aplicación y el mantenimiento de un sistema de seguimiento posterior a la comercialización;
  • los procedimientos relacionados con la notificación de incidentes graves y de mal funcionamiento;
  • la gestión de la comunicación con las autoridades nacionales competentes, las autoridades competentes, incluidas las sectoriales, que proporcionan o apoyan el acceso a los datos, los organismos notificados, otros operadores, los clientes u otras partes interesadas;
  • sistemas y procedimientos de registro de toda la documentación e información pertinente;
  • la gestión de los recursos, incluidas las medidas relacionadas con la seguridad del suministro;
  • un marco de responsabilidad que establezca las responsabilidades de la dirección y del resto del personal en relación con todos los aspectos enumerados en este apartado.
  • Obligación de elaborar la documentación técnica:

Los proveedores de sistemas de IA de alto riesgo establecerán un sistema de gestión de la calidad que garantice el cumplimiento del Reglamento de IA.

  • Evaluación de la conformidad:

Los proveedores de sistemas de IA de alto riesgo se asegurarán de que sus sistemas se someten al procedimiento de evaluación previsto en el Reglamento de IA, antes de su comercialización o puesta en servicio. Cuando se haya demostrado que los sistemas de IA cumplen los requisitos establecidos en el apartado 4.2. del presente título tras dicha evaluación de la conformidad, los proveedores elaborarán una declaración UE y colocarán el marcado CE.

  • Registros generados automáticamente:

Los proveedores de sistemas de IA de alto riesgo conservarán los registros generados automáticamente por sus sistemas de IA de alto riesgo, en la medida en que dichos registros estén bajo su control en virtud de un acuerdo contractual con el usuario o de otro modo por ley.

Los registros se conservarán durante un período adecuado a la luz de la finalidad prevista del sistema de IA de alto riesgo y de las obligaciones legales aplicables en virtud del Derecho de la Unión Europea o nacional.

  • Acciones correctivas:

Los proveedores de sistemas de IA de alto riesgo que consideren o tengan motivos para considerar que un sistema de IA de alto riesgo que han comercializado o puesto en servicio no es conforme con el Reglamento de IA adoptarán inmediatamente las medidas correctoras necesarias para hacerlo conforme, retirarlo o recuperarlo, según proceda. Informarán de ello a los distribuidores del sistema de IA de alto riesgo en cuestión y, en su caso, al representante autorizado y a los importadores.

  • Cooperación con las autoridades competentes:

Los proveedores de sistemas de IA de alto riesgo, a petición de una autoridad nacional competente, facilitarán a dicha autoridad toda la información y documentación necesarias para demostrar la conformidad del sistema de IA de alto riesgo con los requisitos establecidos en el apartado 4.2. anterior, en una lengua oficial de la Unión Europea determinada por el Estado miembro de que se trate.

Previa solicitud motivada de una autoridad nacional competente, los proveedores también darán a dicha autoridad acceso a los registros generados automáticamente por el sistema de IA de alto riesgo, en la medida en que dichos registros estén bajo su control en virtud de un acuerdo contractual con el usuario o de otro modo por ley.

  • Obligaciones de los fabricantes de productos:

Cuando un sistema de IA de alto riesgo relacionado con productos se comercialice o se ponga en servicio junto con el producto fabricado de conformidad con dichos actos jurídicos y bajo el nombre del fabricante del producto, el fabricante del producto asumirá la responsabilidad de la conformidad del sistema de IA con el Reglamento de IA y, en lo que respecta al sistema de IA, tendrá las mismas obligaciones impuestas por el Reglamento al proveedor.

  • Representantes autorizados:

Antes de comercializar sus sistemas en el mercado de la Unión Europea, cuando no se pueda identificar a un importador, los proveedores establecidos fuera de la Unión designarán, mediante mandato escrito, a un representante autorizado que esté establecido en la Unión.

El representante autorizado realizará las tareas especificadas en el mandato recibido del proveedor.

  • Importadores:

Antes de comercializar un sistema de IA de alto riesgo, los importadores de dicho sistema se asegurarán de que

  • el proveedor de dicho sistema de IA ha llevado a cabo el correspondiente procedimiento de evaluación de la conformidad;
  • que el proveedor haya elaborado la documentación técnica correspondiente;
  • el sistema lleva el marcado de conformidad requerido y va acompañado de la documentación y las instrucciones de uso necesarias.

Cuando un importador considere o tenga motivos para considerar que un sistema de IA de alto riesgo no es conforme con el Reglamento de IA, no lo comercializará hasta que dicho sistema de IA sea conforme.

Los importadores indicarán su nombre, su nombre comercial registrado o su marca comercial registrada y la dirección en la que se les puede contactar en el sistema de IA de alto riesgo o, cuando esto no sea posible, en su embalaje o en la documentación que lo acompañe, según proceda.

Los importadores se asegurarán de que, mientras un sistema de IA de alto riesgo esté bajo su responsabilidad, cuando proceda, las condiciones de almacenamiento o transporte no comprometan su cumplimiento de los requisitos establecidos en apartado 4.2. anterior.

Los importadores facilitarán a las autoridades nacionales competentes, previa solicitud motivada, toda la información y documentación necesarias para demostrar la conformidad de un sistema de IA de alto riesgo, en una lengua fácilmente comprensible para dicha autoridad nacional competente, incluido el acceso a los registros generados automáticamente por el sistema de IA de alto riesgo, en la medida en que dichos registros estén bajo el control del proveedor en virtud de un acuerdo contractual con el usuario o de otro modo por ley. También cooperarán con dichas autoridades en cualquier acción que la autoridad nacional competente emprenda en relación con dicho sistema.

  • Distribuidores:

Antes de comercializar un sistema de IA de alto riesgo, los distribuidores verificarán que el sistema de IA de alto riesgo lleva el marcado CE de conformidad requerido, que va acompañado de la documentación y las instrucciones de uso requeridas, y que el proveedor y el importador del sistema, según proceda, han cumplido las obligaciones establecidas en el Reglamento de IA.

Cuando un distribuidor considere o tenga motivos para considerar que un sistema de IA de alto riesgo no es conforme, no comercializará el sistema de IA de alto riesgo hasta que dicho sistema sea conforme con dichos requisitos.

Los distribuidores se asegurarán de que, mientras un sistema de IA de alto riesgo esté bajo su responsabilidad, cuando proceda, las condiciones de almacenamiento o transporte no comprometan la conformidad del sistema con los requisitos establecidos apartado 4.2. anterior.

El distribuidor que considere o tenga motivos para considerar que un sistema de IA de alto riesgo que ha comercializado no es conforme adoptará las medidas correctoras necesarias para que dicho sistema sea conforme con dichos requisitos, retirarlo o recuperarlo, o se asegurará de que el proveedor, el importador o cualquier operador pertinente, según proceda, adopte dichas medidas correctoras.

Previa solicitud motivada de una autoridad nacional competente, los distribuidores de sistemas de IA de alto riesgo facilitarán a dicha autoridad toda la información y documentación necesarias para demostrar la conformidad de un sistema de alto riesgo con los requisitos establecidos en el apartado 4.2. anterior. Los distribuidores también cooperarán con dicha autoridad nacional competente en cualquier acción que ésta emprenda.

  • Otras obligaciones de los distribuidores, importadores, usuarios o de cualquier tercero:

Todo distribuidor, importador, usuario u otro tercero será considerado proveedor a efectos del Reglamento IA y estará sujeto a las obligaciones del proveedor, en cualquiera de las siguientes circunstancias:

  • comercializan o ponen en servicio un sistema de IA de alto riesgo bajo su nombre o marca;
  • modifican la finalidad prevista de un sistema de IA de alto riesgo ya comercializado o puesto en servicio;
  • hacen una modificación sustancial del sistema de IA de alto riesgo.
  • Usuarios:

Los usuarios de los sistemas de IA de alto riesgo utilizarán dichos sistemas de acuerdo con las instrucciones de uso que acompañan a los sistemas.

Los usuarios supervisarán el funcionamiento del sistema de IA de alto riesgo sobre la base de las instrucciones de uso. Cuando tengan motivos para considerar que el uso conforme a las instrucciones de uso puede dar lugar a que el sistema de IA presente un riesgo, informarán al proveedor o distribuidor y suspenderán el uso del sistema. Asimismo, informarán al proveedor o distribuidor cuando hayan detectado cualquier incidente grave o cualquier mal funcionamiento e interrumpirán el uso del sistema de IA.

Los usuarios de sistemas de IA de alto riesgo conservarán los registros generados automáticamente por dicho sistema de IA de alto riesgo, en la medida en que dichos registros estén bajo su control. Los registros se conservarán durante un período adecuado a la luz de la finalidad prevista del sistema de IA de alto riesgo y de las obligaciones legales aplicables en virtud del Derecho de la Unión o nacional.

Primera Parte

Seguna Parte

Tercera Parte

Cerrar Cookies

Éste sitio web usa cookies, si permanece aquí acepta su uso. Puede leer más sobre el uso de cookies en nuestra política de privacidad