El mateix dia que la intel·ligència artificial xinesa DeepSeek fa caure a la borsa les grans tecnològiques implicades en els models algorítmics estatunidencs, Catalunya presenta al món una metodologia per a l’avaluació del risc per lligar de mans i peus els sistemes que vulnerin els drets de les persones. Així ho ha assenyalat la directora de l’Autoritat Catalana de Protecció de Dades (APDCAT), Meritxell Borràs, qui ha tret pit assegurant a l’acte de presentació celebrat al Parlament català que el model “és vàlid per al conjunt d’Europa” i amb transcendència global. “Per desenvolupar solucions d’IA fiables i ajudar a les persones és important que siguem pioners en la seva aplicació pràctica”, ha asseverat, “per això presentem aquesta metodologia en un moment oportú, que és una sort”.

Segons ha remarcat Borràs, el model pretén concretar els riscos, entendre’ls i facilitar-ne la prevenció o la gestió. La seva premissa és garantir el compliment dels estàndards mínims de protecció dels drets i les llibertats fonamentals amb un model que permet “passar de la teoria abstracta a la pràctica real”. El model s’ha elaborat en el marc del grup de treball de la xarxa de delegats i delegades de protecció de dades de Catalunya anomenat DPD en xarxa, liderat a partir de la interacció dels delegats i delegades de protecció de dades (DPD) d’entitats públiques i privades que l’integren, analitzant solucions d'IA de projectes de diverses entitats.

Borràs destaca que el model català permet “passar de la teoria abstracta a la pràctica real”

Tres eixos per al model

Fins al moment, són diversos els organismes que han desenvolupat guies amb l’objectiu de convertir-les en una mena de manual per a ens públics i privats. Però han partit un problema: “Són massa generals”. Tal com ha explicat el professor de Dret Privat i Dret i Tecnologia a la Politècnica de Torí, i càtedra Jean Monnet de Societats Digitals Mediterrànies i Dret, Alessandro Mantelero, l’avaluació de l’impacte sobre els drets fonamentals és un element que es té en compte des de fa dècades. “Els documents sobre els principis rectors dels drets humans de l’ONU dels anys 90 ja ho tenien en compte”, ha afirmat. Això va permetre la reflexió interna a les empreses que desenvolupaven productes i serveis amb un impacte potencial sobre les persones, amb el hàndicap que es van establir “directrius d’un nivell massa alt”.

Aquesta situació s’ha anat repetint de forma consecutiva cada cop que s’ha presentat una nova proposta que garanteixi els drets de les persones. Això ha generat que, en la transposició dels marcs teòrics, sorgeixin una allau de preguntes que en dificultin la implementació. La metodologia desenvolupada per l’APDCAT ara pretén superar aquesta barrera amb un sistema que consta de tres parts: un qüestionari d’avaluació per a la planificació, definició de l’abast i identificació dels riscos; una anàlisi del risc; i una gestió i mitigació del risc.

Les metodologies existents presenten directrius massa generals que dificulten l’aplicació en entorns reals i generen unes anàlisis ineficients dels riscos de la IA

El primer eix s’erigeix en una eina d’autoavaluació basada en preguntes que ajuden a entendre la naturalesa dels algoritmes que es volen emprar i el context en què s’aplicaran. I és que no és el mateix estudiar un entorn on hi ha una llei de protecció de dades i una autoritat pertinent que vetllen pel compliment dels drets fonamentals, que en un país sense aquest context, que obligarà l’empresa que desenvolupi una IA a ser més curosos i adquirir aquest rol.

Tot seguit, la metodologia proposa una avaluació del risc per conèixer quina és la probabilitat de l’impacte dels algoritmes sobre els drets i llibertats, i la seva gravetat. “Pot afectar a moltes o poques persones, però també podem tenir un grau d’afectació més gran o més petit”, ha detallat. Aquesta part entronca amb la tercera, que fa referència a la gestió, i és en la qual s’estudia quins mecanismes hi ha per fer front als riscos potencials.

Un escenari on es podria aplicar la metodologia és una escola amb un robot. “Podria parlar amb els estudiants de primària, però podria dir coses que no són bones o que són errònies”, ha descrit l’expert, “la presència del professor pot ser útil per contrarestar o subratllar en l'àmbit educatiu els límits de la tecnologia”. Per tant, el robot podria ser un element que faci mal als nens amb les seves paraules, de manera que hi ha un risc potencial, però existeix la figura del docent que pot capgirar la situació i limitar-ne l’impacte.

La metodologia catalana es basa en l’ús de matrius qualitatives que etiqueten cada cas en graus baix, mitjà o alt de risc, en comptes d’utilitzar números que dificulten la classificació

Per estudiar tot això s’han aplicat unes matrius del risc particulars, que són l’element que converteix el model català en pioner. Habitualment, les metodologies ja vigents utilitzen números que qualifiquen cadascun dels elements que cal estudiar per avaluar el risc de la tecnologia. Això, segons Mantelero, sempre genera “debat sobre quina qualificació cal donar a cada matriu”. En el model català, s’han canviat els números per categories de dret que s’encreuen amb els nivells d’impacte i que posen etiquetes de baix, mitjà o alt per valorar l’impacte de forma global i no només centrat en els algoritmes.

Resultats positius ja demostrats

La Universitat Politècnica de Catalunya és una de les organitzacions que ja ha utilitzat la metodologia. S’ha aplicat en l’avaluació del risc per a una plataforma d’analítica avançada que permet fer una predicció del risc d’abandonament dels estudis. Per crear-la, es van utilitzar dades obtingudes de les matrícules, del campus virtual, dels centres educatius provinents dels estudiants i informació històrica recollida pel centre. “La metodologia ens va permetre analitzar els drets fonamentals que estableix el reglament europeu d’intel·ligència artificial i tenir en compte si havíem de prendre mesures prèvies amb els algoritmes o si calia oferir solucions per mitigar-ne l’impacte”, ha apuntat la delegada de Protecció de Dades de la UPC, Cristina Guzmán Álvarez. La plataforma vol donar informació suficient als docents per avançar-se davant de qualsevol cas d’abandonament potencial, de manera que la tecnologia havia d’entrar en un àmbit molt privat.

Mitjançant l’ús de la metodologia desenvolupada per l’APDCAT, es va analitzar qualsevol possible vulneració dels drets individuals i de la família, com també la pressió que es podria exercir sobre els implicats. “Inicialment, volíem mostrar en un panell la informació amb colors verd, groc i vermell el risc, però vam veure que podia tenir una afectació per als estudiants”, relata Guzmán, “també vam poder valorar la interferència en la vida personal, perquè havíem de recopilar informació com la nacionalitat, el lloc de residència o la necessitat d’una beca o no”.

La UPC ha aplicat la metodologia en l’avaluació del risc de la plataforma que prediu casos potencials d’abandonament dels estudis

Tot aquest coneixement permet fet perfilats, una eina que la normativa europea té entre cella i cella pel risc que comporta en termes d’exclusió. Però també pot generar biaixos, ja que informació com el poder adquisitiu té un significat diferent si es tracta del 2025 o de fa dues dècades. Gràcies a la reflexió interna generada amb la metodologia, segona Guzmán, la universitat ha pres consciència de la importància de “revisar constantment l’algoritme i d’introduir dades noves”.