En els darrers anys, a mesura que els algorismes han crescut en complexitat, la comunitat ha buscat noves formes d’entendre com es generen les prediccions dels models d'intel·ligència artificial. Un punt d’inflexió va ser el requisit de dotar els sistemes intel·ligents de capacitats per entendre els algorismes. En aquest sentit, el camp de recerca en IA explicable, de vegades conegut per les seves sigles en anglès com XAI -eXplainable Artificial Intelligence-, s’ha anat enfortint, cosa que permet que els algorismes d’aprenentatge automàtic puguin ser auditats independentment de la seva complexitat. El requisit d’entendre els algorismes ha sorgit dels mateixos usuaris d’aquesta tecnologia paral·lelament a la democratització de la IA en gairebé tots els sectors econòmics i industrials. Els usuaris finals han necessitat entendre les decisions preses per aquests models, especialment a mesura que les empreses utilitzen cada vegada models més complexos per a no perdre competitivitat industrial. Aquest requisit esdevé una necessitat a partir de l’any 2024, quan, amb l’entrada en vigor de la AI Act de la Unió Europea, la transparència, la traçabilitat i l’explicabilitat dels sistemes d’intel·ligència artificial passen de ser recomanacions ètiques a obligacions legals. En aquest nou marc regulador, els sistemes d’IA classificats com d’alt risc han de garantir mecanismes que permetin comprendre, supervisar i auditar el seu comportament, així com demostrar que les decisions automatitzades no vulneren drets fonamentals ni introdueixen discriminacions injustificades.

Si bé la recerca s’ha orientat a dotar els models d’intel·ligència artificial d’aquesta auditabilitat requerida, tant per raons de confiança com per requeriments legislatius, encara roman una qüestió fonamental: fins a quin punt els mecanismes d’explicabilitat actuals poden contribuir a una millor presa de decisions? Les tècniques actuals principals, així com els mètodes basats en indicadors estadístics, se centren a entendre les dades d’entrada dels diferents models. També existeixen tècniques de XAI inherents al model d’intel·ligència artificial utilitzat; per exemple, si es treballa amb arbres de decisió, es pot construir una explicació basada en l’extracció de les regles de classificació aplicades, o bé amb models post-hoc, on aquests algorismes se centren a oferir explicacions per a models ja entrenats, independentment de la seva arquitectura interna. Tot i l’aparició d’aquestes tècniques, persisteix una bretxa significativa entre la generació d’explicacions com a exercici d’auditabilitat i la seva integració efectiva en processos de decisió reals, especialment en entorns complexos i d’alt impacte. Des del punt de vista de qui escriu, les explicacions dels sistemes actuals d’XAI sovint són difícils d’entendre per a una persona no experta, fet que limita la comprensió final per part dels usuaris dins de l’entorn operatiu. Això ha donat lloc a l'estudi de com les explicacions poden traduir-se en accions útils i fiables pels usuaris finals. Les qüestions centrals inclouen identificar quins tipus d’explicacions faciliten decisions més eficients i precises, com millorar la robustesa dels models i alinear-los amb el criteri humà, i com garantir que les accions derivades de les explicacions tinguin un impacte real en entorns complexos i d’alt risc. Sovint, aquesta variant de recerca es coneix com a IA accionable (de l’anglès Actionable IA). En aquest sentit, existeix un ampli espectre encara en creixement de com aquestes explicacions es poden modelar de cara a l’usuari final. A continuació hem inclòs un parell d’exemples de com la explicabilitat es modela perquè passi a ser un element actiu en la presa de decisions dels models de sistemes d’IA.

"En els últims anys, tant equips investigadors com empreses tecnològiques han posat focus en la intel·ligència artificial explicable, però, realment entenem els resultats dels models de presa de decisions intel·ligents?"

Un exemple on l’explicabilitat juga un paper clau és el projecte del centre de recerca i innovació i2CAT és ExtremeXP. Aquest projecte europeu planteja nous reptes en l’àmbit de l’analítica de dades amb l’objectiu de dotar diversos casos d’ús de solucions de ciència de dades més precises, fiables i orientades a objectius específics. En el marc d’aquest projecte, i2CAT ha desenvolupat una prova pilot en col·laboració amb IThinkUPC sobre gestió d'anàlisi d’incidents en ciberseguretat per examinar com les metodologies de XAI poden donar suport als equips de resposta a incidents. Un dels principals reptes del sector és el temps limitat de reacció entre la detecció d’una amenaça i la resposta efectiva per part de l’analista de seguretat. En aquest sentit, els mètodes tradicionals de XAI basats, per exemple, en analitzar explicacions de forma local, desitjables per la granularitat que aporten, no són factibles donada la càrrega cognitiva que això comporta quan un analista ha de fer l'anàlisi de grans quantitats d’explicacions. Per abordar aquest repte, el projecte ha definit una metodologia basada a agrupar explicacions extretes de diferents models de classificació d’amenaces on es demana a l’analista que etiqueti certes explicacions per construir una taxonomia d’explicacions conegudes. Finalment, en fase de producció, és a dir, quan el sistema rep dades reals, per a cada instància amb una alta probabilitat de correspondre a una amenaça, es genera una explicació local que s’alinea amb un dels arquetips d’explicació prèviament definits. D’aquesta manera, l’analista pot rebre una explicació textual que indica, per exemple, que un usuari es troba en risc a causa d’activitat fora de l’horari habitual, sense la necessitat d’analitzar manualment les explicacions generades per les tècniques pròpies de XAI, com les prèviament descrites [1].

Un altre exemple en què l’ús de tècniques d’explicabilitat ha estat clau per millorar la manera en què els usuaris finals, en aquest cas residents d’edificis d’habitatges amb gestió centralitzada, tenen una millor comprensió del seu consum d’aigua basat en inferències automàtiques, és el projecte hlhAigua, desenvolupat en col·laboració amb Cetaqua-Centre Tecnològic de l’Aigua  i liderat per l’empresa SIMON. En aquest projecte RETECH (Redes Territoriales de Especialización Tecnológica), finançat per la Unió Europea - Next Generation EU amb el suport de la Generalitat de Catalunya, l’aplicació d’algorismes d’intel·ligència artificial ha permès optimitzar la gestió del cicle de l’aigua en entorns residencials. L’objectiu principal ha estat identificar els diferents usos diaris de l’aigua per part dels residents, com ara determinar quan els usuaris fan servir electrodomèstics, per fer una gestió de l’edifici més eficient, planificar millor la demanda d’aigua i oferir recomanacions per reduir l'empremta d’aigua dels residents. Mitjançant algorismes d'anàlisi de comportament ha estat possible perfilar les activitats dels usuaris de manera no intrusiva. En aquest projecte, i de forma similar al projecte ExtremeXP, s'ha generat un conjunt d’explicacions basades en XAI i mapejades amb recomanacions concretes. D’aquesta manera, es passa d’una predicció basada en la probabilitat de que succeeixi una activitat a  explicacions que parteixen de models subrogats i, finalment, a recomanacions accionables que permeten fer recomanacions a l’usuari final per reduir la incertesa en la presa de decisions. Una prova pilot del projecte es podrà veure a l’estand de SIMON (Level 0 – 1F800, Residential & Smart Building) durant la fira ISE – Integrated Systems Europe, que se celebrarà del 3 al 6 de febrer de 2026 a Barcelona.

"L’experiència obtinguda en els projectes ExtremeXP i hlhAigua demostra que l’explicabilitat no pot limitar-se a un element estàtic ni a un exercici de validació tècnica. Ha de funcionar com el vincle entre la complexitat dels models i la realitat operativa"

A mesura que la IA adquireix més autonomia en la presa de decisions automàtiques en entorns industrials, és imprescindible disposar de mecanismes d’explicabilitat efectius i adaptats al domini. Aquests mecanismes han de permetre relatar les decisions del sistema i garantir que les explicacions siguin accionables i escalables, d’acord amb la capacitat cognitiva dels usuaris finals. L’experiència obtinguda en els projectes ExtremeXP i hlhAigua demostra que l’explicabilitat no pot limitar-se a un element estàtic ni a un exercici de validació tècnica. Ha de funcionar com el vincle entre la complexitat dels models i la realitat operativa. En aquest context, el valor de la IA en entorns productius no depèn només de la precisió de les prediccions, sinó de la seva capacitat per convertir les dades en informació comprensible, fiable i útil per a la presa de decisions. És, per tant, vital dotar a les aplicacions d’IA d’un enfocament centrat en les persones (human-centric), un element clau per garantir que la IA sigui una eina estratègica que reforci decisions més ràpides, segures i eficients.