La meva trajectòria no ha estat una línia recta. Em vaig formar com a enginyera en computació a Veneçuela, em vaig doctorar en computació d’altes prestacions a la UAB als 24 anys i he passat per tres dels quatre departaments originals del Barcelona Supercomputing Center (BSC), pel sector bancari i per una start-up especialitzada en riscos climàtics. Durant bona part d’aquest recorregut, la pregunta que em feia sobre la tecnologia era si funcionava: si era ràpida, eficient i escalable.

Ara, per primera vegada, tinc el finançament i l’oportunitat de centrar-me en allò que realment em mou: la medicina personalitzada i la salut de les dones. I això m’ha portat a fer-me una altra pregunta: quines implicacions té allò que investiguem, dissenyem i, finalment, implementem?

Aquesta pregunta me n’ha obert una altra que encara no tinc del tot resolta: estem avaluant la intel·ligència artificial amb les eines adequades?

El confort de la llista de verificació

Davant la pressió reguladora i social, la resposta habitual ha estat recórrer a les llistes de verificació: documentació del model, anàlisi de riscos, avaluació de biaixos. Entenc per què. Aquestes llistes ajuden a posar ordre, fan comparables realitats que no sempre ho són i proporcionen un llenguatge comú a equips molt diversos.

“Una llista de verificació pot indicar que s’ha avaluat el biaix. El que no sempre explica és quin biaix s’ha examinat, sobre quines dades i quines persones han quedat fora de l’anàlisi.” 

Però em pregunto si no ens transmeten una sensació de seguretat més gran de la que realment ens poden oferir. Ens permeten comprovar si hem seguit un procediment, però no sempre ens diuen si el sistema funciona bé per a les persones que l’utilitzaran o que en patiran les conseqüències.

Una llista de verificació pot indicar que s’ha avaluat el biaix. El que no sempre explica és quin biaix s’ha examinat, sobre quines dades i quines persones han quedat fora de l’anàlisi.

El que les dades no van recollir

La recerca biomèdica n’ofereix un exemple clar. Durant dècades, la recerca bàsica s’ha dut a terme principalment amb animals i cèl·lules mascles, i sovint ni tan sols se n’informava el sexe. Les normes han anat incorporant canvis per corregir aquesta situació, però disposar de normes no vol dir disposar de les dades necessàries.

Aquesta mancança també té conseqüències en la intel·ligència artificial. El 2020, un equip de recerca va entrenar models de diagnòstic amb radiografies de tòrax i va comprovar que, quan les dades no presentaven un equilibri mínim entre homes i dones, el rendiment dels models empitjorava de manera sistemàtica per al grup infrarepresentat.

“Potser la qüestió no és si un sistema és segur en termes absoluts, sinó si estem fent una aposta informada.” 

El problema no era que el model fos dolent en termes generals, sinó que funcionava bé per a unes persones i pitjor per a unes altres. Les mètriques globals no permetien veure aquesta diferència.

Aquell mateix any, Davide Cirillo, María José Rementería i altres col·legues del BSC advertien, en un article publicat a npj Digital Medicine, que no tenir en compte les diferències de sexe i gènere pot fer que la IA amplifiqui i consolidi els biaixos ja existents. És difícil que una casella de verificació detecti un problema si ningú no s’ha plantejat la pregunta abans.

Avaluar com qui fa una aposta

Un sistema d’IA és una fotografia: reflecteix unes dades, un context i un moment determinats. Però la realitat en què s’aplica continua canviant. Com podem garantir-ne la seguretat i la fiabilitat si no ens fem les preguntes adequades?

“Avaluar bé vol dir reunir totes aquestes perspectives al voltant de la mateixa taula.” 

Cada vegada penso més que avaluar s’assembla menys a certificar i més a apostar. Desplegar un sistema d’IA en l’àmbit de la salut implica prendre decisions sense disposar de tota la informació. El risc zero no existeix. Potser, per tant, la qüestió no és si un sistema és segur en termes absoluts, sinó si estem fent una aposta informada.

Per fer-la, crec que hauríem de respondre almenys quatre preguntes:

• Què ens juguem? Quina decisió deleguem en el sistema i quin marge d’error estem disposats a acceptar.

• Per a qui? Quines persones estan representades en les dades i quines en queden fora.

• Què passa si perdem? Quin cost té un error i si les seves conseqüències es poden revertir.

• Qui assumeix el cost de l’aposta? Qui en paga les conseqüències quan surt malament i qui n’obté els beneficis quan surt bé. No sempre són les mateixes persones.

Respondre aquestes preguntes ens obligaria a treballar d’una altra manera: avaluar els sistemes en el seu context real d’ús, i no només al laboratori; implicar-hi les persones afectades; mantenir l’avaluació al llarg del temps, perquè les dades i el context canvien; i desglossar els resultats, com a mínim per sexe, per identificar on falla el sistema i no limitar-nos a observar-ne el rendiment mitjà.

Un problema sociotècnic

Aquestes preguntes difícilment es poden respondre des de la tecnologia per si sola. En el desenvolupament d’un sistema d’IA biomèdica intervenen molts actors: qui genera les dades, qui les prepara i depura, qui desenvolupa el model, qui el finança, qui el regula, qui el compra i qui l’utilitza a la consulta. Al final d’aquesta cadena hi ha una pacient que, sovint, no ha participat en cap d’aquestes decisions. Avaluar bé vol dir reunir totes aquestes perspectives al voltant de la mateixa taula.

I també importa qui seu a la taula. Perquè una aposta sigui realment informada, les dones han de ser visibles tant en les dades com en els espais on es decideix què s’avalua i com es fa. No es tracta només d’una qüestió de representació, sinó també de la qualitat de l’avaluació: qui no hi és difícilment podrà plantejar les preguntes que la resta no s’ha fet. 

“La transdisciplinarietat no és un luxe acadèmic. És una condició necessària per entendre què ens estem jugant.”

La transdisciplinarietat no és un luxe acadèmic. És una condició necessària per entendre què ens estem jugant.

És precisament el que intentem explorar amb AHEAD (AI for Health: Evaluation of Applications & Datasets), el projecte europeu que coordino des del BSC. Hi participen disset organitzacions, entre centres de recerca, universitats i empreses, i hi treballem perfils que van de la biomedicina i la intel·ligència artificial al dret, l’ètica, la psicologia i els estudis de gènere. El nostre objectiu és anar més enllà d’una simple llista de verificació i avançar cap a una metodologia extrapolable per avaluar sistemes d’IA aplicats a la salut.

Les regles han canviat

La intel·ligència artificial no es pot avaluar únicament des d’un punt de vista tecnològic. És un sistema sociotècnic i, com a tal, ens obliga a repensar la manera com n’avaluem la seguretat i la fiabilitat.

Potser, la pròxima vegada que marquem la casella “biaix avaluat”, ens hauríem d’aturar un moment i fer-nos dues preguntes: qui pagarà l’aposta si ens equivoquem i qui era a la taula quan es van prendre les decisions?

Aquesta tribuna forma part de Veus de les 100 Dones TIC Referents a Catalunya, una col·laboració entre MetaData i l'Instituto Más Mujeres per donar veu a professionals expertes del sector tecnològic.