Director de Ciència de Dades de SDG Group
IA generativa: com mesurar l’èxit d’un LLM?
“L’especialització de la IA està comportant millores en el temps de generació i escalabilitat, dos dels grans esculls”
La intel·ligència artificial generativa i cognitiva, lluny d'haver aconseguit el zenit d'expectatives, continua de manera imparable la seva penetració en una gran quantitat d'aspectes tant de la vida quotidiana com del món empresarial. Assistim a com els models fundacionals i els models lingüístics (LLMs) evolucionen constantment, i la multimodalitat comença a ser la norma en un context en el qual l'enteniment i la generació d'imatge, àudio i vídeo ja no són una promesa, sinó una realitat.
Aquest nou escenari, a més, no suposa una millora de les capacitats brutes d'aquestes intel·ligències artificials únicament, sinó que també està suposant una miniaturització, optimització i, fins i tot, especialització que està comportant millores en els temps de generació i l'escalabilitat, dos dels grans esculls que encara queden per davant.
No obstant això, els aspectes purament tècnics empal·lideixen davant el gran repte de la IA, que no és un altre que el de complir (i, qui sap, potser fins i tot sobrepassar) les expectatives ja dipositades en ella, i aconseguir amb això aportar tot el valor que ja s'està donant per assumit. I aquesta teorització no es veurà resolta -com resulta habitual- per cap via que no sigui la de l'experimentació, l'aprenentatge i, sobretot, l'anàlisi de la seva aplicació.
“Els aspectes purament tècnics empal·lideixen davant el gran repte de la IA de complir les expectatives ja dipositades en ella”
1. Observabilitat de la IA
L'observabilitat, entesa aquesta com la virtut de mesurar l'estat i acompliment intern d'un sistema a partir del coneixement que tenim de la seva aplicació, fa ja temps que es va convertir en un element clau dins de les estratègies d'aplicació de la IA i l'aprenentatge automàtic en el món empresarial, amb objectius que circulen al voltant de la catalogació, el govern, la explicabilitat i, fins i tot, la regulació de les solucions d'intel·ligència artificial.
No obstant això, l'aplicació d'aquests conceptes en l'àmbit de la IA generativa s'ha topat amb la complexitat d'afegir una capa cognitiva als sistemes de mesura i avaluació. Resulta paradigmàtic el cas de determinar les capacitats d'un agent conversacional, on el fet d'establir -i, sobre la base d'això, derivar mètriques- la bondat i la qualitat de les respostes proporcionades davant les peticions dels usuaris requereix una anàlisi basada, al seu torn, en les mateixes tècniques que han donat lloc a la solució: LLMs, prompt engineering, o chain-of-thought (Cot), entre altres. És per això que aquesta certa subjectivitat no únicament assenteix necessitats en relació amb arquitectures que suporten la captura i el processament de tota aquesta activitat i aquestes interaccions, sinó que amplia l'àmbit en el qual una estratègia apropiada d'aplicació de la IA és essencial, i dona lloc nous conceptes amb els quals bregar -com les mètriques ROUGE/BLEU score-.
2. Mesurar l'impacte i el retorn
La qualitat d'una solució o producte des d'una perspectiva purament tècnica no és garantia del seu èxit a nivell empresarial. Aquest èxit únicament es pot establir en virtut de la mesura efectiva en termes més pròxims al negoci, on parlem de conceptes com la vinculació o l’engagement, l'impacte i, sobretot, el retorn.
L'establiment de tots aquests KPIs requereix efectivament i de manera fundacional de tota l'habilitació tecnològica que acompanya el paradigma de l'observabilitat de la IA, però ha de contemplar igualment una estratègia de pre i postimplantació que acompanyin a l'hora de definir un baseline operatiu o de rendiment, mètriques adequades al voltant dels processos a millorar, i un rollout que habiliti capacitats per a mesurar, comparar i, en definitiva, esclarir si l'impacte reeixit materialitza tot l'estudi previ a la inversió.
"És clau entendre que la IA serà tan bona com ho sigui la informació i la dada que manegem"
3. Millora contínua
Les expectatives, no obstant això, no sempre són de fàcil compliment, i l'estratègia més sòlida davant una possible desil·lusió és el fet d'entendre que la IA generativa i cognitiva, no de manera distinta al ja viscut en altres etapes de la intel·ligència artificial, requereix de molta iteració i aprenentatge -i no únicament per part dels models i els sistemes, sinó també dels desenvolupadors que hi ha darrere-. És així, que el cercle es tanca, i aquest aprenentatge adquirit cal ser aplicat des d'una perspectiva novament tecnològica completant el camí del negoci a l'enginyeria; de l'enginyeria a l'observabilitat; de l'observabilitat al negoci; i de tornada a l'enginyeria, concebent una nova iteració que caigui pel gradient de les expectatives cap al veritable valor empresarial. I és aquí on és clau entendre que la IA -la que tenim ara- serà tan bona com ho sigui la informació i la dada que manegem, que el grounding i la nostra base de coneixement són realment el combustible, i que aquest combustible ha de ser refinat tant com sigui possible -i en moltes ocasions amb tècniques igualment cognitives- perquè la mescla entre algorisme i informació faci combustió amb la potència esperada. I, sobretot, serà essencial considerar que aquest coneixement que la IA "genera", retorça i adapta a la nostra necessitat no es crea del no-res; pertany al mateix pla de realitat en el qual viu el coneixement propi del negoci, representat per tots aquests actors rellevants el feedback -forçosa dels quals i agradecidamente humà- pot incorporar-se a aquests sistemes per a donar lloc a una nova iteració.
Per davant quedaran, per descomptat, altres paradigmes i reptes. Les tendències ja previstes per a la creació de models més petits, densos i especialistes en àmbits de coneixement concrets (SLMs), així com la democratització dels recursos de còmput que possibilitin la hiperpersonalització algorítmica, portaran amb si avantatges a l'hora incrementar l'adaptabilitat de la IA a cada necessitat empresarial, però no a qualsevol preu: metodologies com LLMOps hauran d'assumir aquest etern retorn, i contemplar aquestes necessitats en el govern i control de la IA que, encara que solament de manera passatgera, alguns van creure superades. Qualsevol que sigui el cas, en tot això SDG Group està i estarà ajudant a les empreses en aquesta constant transformació, assentant les bases tècniques, metodològiques i de negoci que permetin obtenir realment el màxim valor de la IA.