La intel·ligència artificial està adquirint un rol fonamental, plantejant a la indústria i les empreses el desafiament de mesurar el seu impacte per maximitzar el seu valor de negoci. Fa dos anys, amb el boom de la intel·ligència artificial generativa, vam poder veure nombroses publicacions i estudis sobre les rendibilitats associades a l'adopció d'aquests casos d'ús en els entorns de triple dígit de rendibilitat. En els últims mesos, hem vist un cert pessimisme contradient aquestes xifres i indicant que la rendibilitat podria no ser tan alta. Des de SDG Group destaquem la necessitat d'un marc de mesurament estructurat que avaluï els beneficis de les solucions algorítmiques, de manera que puguem quantificar de la forma més precisa possible el retorn d'aquestes solucions, per a fer la millor assignació de recursos possible.

L'adopció de la IA comporta múltiples oportunitats i reptes. Sense un enfocament quantificat, es dificulta justificar la inversió en IA i demostrar el seu valor sostenible a llarg termini. Aquest marc permet a les organitzacions mesurar l'impacte financer i operatiu de cada solució, optimitzant l'ús de recursos i minimitzant riscos. Així, la IA no sols justifica la rendibilitat de la inversió (ROI), sinó que també ajuda a complir amb normatives i a prendre decisions basades en dades objectives.

"Sense un enfocament quantificat, es dificulta justificar la inversió en IA i demostrar el seu valor sostenible a llarg termini"

El mesurament de l'impacte d'una solució de la IA segueix diverses etapes:

• Business case inicial: avaluació preliminar dels beneficis esperats per calcular el mínim impacte que permet recuperar el valor de la nostra inversió.
• Solució en desenvolupament: confirmació inicial de beneficis, tenint en compte els primers indicis de l'impacte que aportarà la nostra solució.
• Solució productiva: ofereix una primera versió per mesurar el benefici real amb la solució en producció.
• Solució evolucionada: les diferents versions que generem de la solució s'han de mesurar enfront de la versió inicial, obtenint xifres d'impacte concordes a les millores implementades.

Per a una avaluació optimitzada, recomanem considerar quatre dimensions crítiques: el tipus de problema, ja que diferents algorismes i casos d'ús requereixen mètriques específiques d'avaluació; el cas d'ús, ja que la solució d'IA podria influir en les dades futures segons la seva aplicació; l'àmbit corporatiu, on la cultura i la tecnologia de l'organització determinen el tipus de mesurament viable; i els efectes externs, com a canvis en l'entorn regulador i econòmic o usos inadequats del model que poden afectar el rendiment de la solució.

A partir d'aquí, existeixen diferents tècniques de mesurament en funció del context en el qual s'apliquen i diferent grau de complexitat: experiments estadístics, que divideixen aleatòriament en grups de control i tractament permetent aïllar totalment els factors a quantificar i els separen de qualsevol efecte extern; quasi-experiments, similars a les anteriors, però detalls de disseny que hem de tenir en compte; counterfactuals, que estimen l'impacte mitjançant models predictius per avaluar possibles canvis en el rendiment on no som capaços d'aïllar els diferents efectes; i estadística descriptiva, per analitzar les tendències en les dades on no requerim tant de nivell de sofisticació a escala quantitativa.

A partir d'aquí, considerant les diferents dimensions que hem de tenir en compte a l'hora de decidir com mesurar l'impacte d'una solució d'IA i de les diferents tècniques disponibles per al mesurament, comptem amb un full de ruta que ens permet establir el camí del mesurament per al nostre cas d'ús. La implementació de les solucions d'IA, en l'estimació de risc per segons la Segona Directiva de Serveis de Pagament -PSD2- és un exemple de com un sistema estructurat de mesurament permet a les organitzacions obtenir beneficis concrets mitjançant la IA.

“Amb la creació d'un patró de programació sòlid, les empreses poden garantir que les solucions d'IA aporten valor tangible i s'adapten a les necessitats de l'organització, a l’entorn regulador i al mercat”

Després de la nova regulació, les entitats financeres observen que moltes operacions es perden i no arriben a realitzar-se pel fet que la doble autenticació en el terminal del client no arriba a produir-se per diversos motius com un procés nou, mala experiència de l'usuari o errors de programari, entre altres. En aquest context, una solució d'IA per a estimar la probabilitat de frau en la transacció permet generar valor en el procés, atès que la doble autenticació podrà evitar-se en operacions que gairebé no presentin risc, millorant la satisfacció del client i evitant la pèrdua de transaccions.

En aquest cas, el mesurament d'impacte ens permet monitorar la creació de valor al llarg de tot el procés de desenvolupament de la solució:

1. Partim d'uns costos d'inversió inicial en infraestructura i costos operatius que suposen en total uns 8.000 euros mensuals. Aquest és el punt de partida per a generar beneficis
2. Durant el desenvolupament de la solució, el grau d'encert en el conjunt de proves ens indica que l'algorisme estaria prop de poder generar 24.000 euros mensuals de recuperació de transaccions que deixarien de perdre's.
3. En producció veiem que finalment la xifra es queda en 22.000 euros mensuals de retorn, superant amb escreix els 8.000 euros mensuals.
4. Les futures evolucions de la solució, que van permetre la inclusió de xarxes neuronals en la tecnologia de desplegament, van incrementar el retorn de la solució a 38.000 euros mensuals de recuperació de transaccions de les quals s'ha evitat la seva pèrdua.

Aquestes solucions han aconseguit no sols incrementar ingressos i reduir riscos, sinó també demostrar la capacitat de la IA per a integrar-se estratègicament i generar un impacte positiu en els resultats financers. Amb la creació d'un patró de programació sòlid, les empreses poden garantir que les seves solucions d'IA no sols aporten valor tangible, sinó que s'adaptin a les necessitats específiques de l'organització i al seu entorn regulador i de mercat.