Si busquem a Internet la coneguda aplicació conversacional ChatGPT, obtenim al voltant de 744.000.000 resultats. Entre les últimes notícies sobre aquest xatbot construït sobre la base de GPT destaca que Microsoft ha inclòs al seu motor de cerca Bing la intel·ligència artificial de la companyia OpenAI, desafiant així el domini de dues dècades del motor de Google.

ChatGPT és sens dubte la sensació del moment per l'ampli nombre de tasques que realitza i perquè imita el llenguatge humà de forma molt realista. Però... sabem què hi ha darrere d'aquest “artefacte”? La resposta està al PLN, el Processament del Llenguatge Natural, més conegut com a NLP (Natural Language Processing en anglès).

Aquest camp ha experimentat una transformació exponencial als últims anys: des de l'extracció manual de característiques i l'ús d'aprenentatge automàtic per a identificar patrons fins a arribar als potents models generatius. Les xarxes neuronals recurrents i les unitats de memòria a llarg termini han permès un maneig sense precedents de les seqüències de text. Els transformers han introduït l'atenció autodirigida, adoptada posteriorment per BERT de Google per a utilitzar models de llenguatge bidireccionals i preentrenament en grans corpus de text.

“El NPL (Processament del Llenguatge Natural) ha passat de l’aprenentatge automàtic per identificar patrons fins arribar a potents models generatius”

Finalment, OpenAI ha desenvolupat GPT, culminant amb GPT-4, que lidera la capacitat de generació i comprensió del llenguatge en ple 2023. Per la seva banda, a més, Google ha llançat molt recentment PALM2, oferint funcionalitats molt similars a GPT-4. I fins i tot, segons alguns informes, sobrepassen les seves capacitats en alguns aspectes.

El llenguatge és la forma principal en la qual els humans ens comuniquem, d'aquí ve que cada dia es generi una ingent quantitat d'aquesta mena d'informació. El NLP (l'àrea de la intel·ligència artificial que s'ocupa de l'anàlisi del llenguatge humà tant parlat com escrit) ens permet estructurar-lo, interpretar-lo, explotar-lo i incorporar-lo als nostres processos productius. És més, podem classificar les accions que podem dur a terme amb NLP en tres grans blocs. 

En primer lloc, l’anàlisi de paraules identifica termes que posseeixen determinades característiques dins un text i les categoritza o estableix relacions entre elles. D’altra banda, tenim l’anàlisi de textos i conjunts de text, que assigna a cadascun una categoria d’entre un conjunt, el qual pot estar predefinit o descobrir-se com a part del procés. Aquí trobem la classificació de documents segons tipologia, temàtica, tòpics, sentiment, etc. Per últim, la generació de text crea una resposta generalment a partir d'un input igualment textualment. 

“L’alta especialització algorítmica de les solucions que proporciona la NLP inclou nocions de lingüística computacional i de tècniques que no s'apliquen amb freqüència en altres àrees”

A més, existeixen tres característiques intrínseques que separen les solucions de NLP de qualsevol altra iniciativa d'analítica avançada. Una és l’alta especialització algorítmica de les solucions de NLP. Les característiques i complexitats del llenguatge han habilitat l'aparició de nous algorismes i models que inclouen nocions de lingüística computacional, així com del maneig de tècniques de ML que no s'apliquen amb freqüència en altres àrees, com Hidden Markov Models o Conditional Random Fields.

En segon lloc, els problemes tradicionals de Machine Learning treballen amb dades de molt diversa índole. Per exemple, les que s’empren per a predir l'evolució de demanda elèctrica són completament diferents de les que poden usar-se per a recomanar quan i com un comercial pot dirigir-se a un potencial client. Això fa que cada problema  requereixi dades i models únics. El llenguatge, encara amb variants, és molt més constant. Això dona lloc als anomenats models fundacionals: grans patrons entrenats sobre enormes conjunts de textos, capaços de capturar i esculpir les estructures i característiques del llenguatge. La capacitat d'explotar i adaptar aquests models és un dels factors fonamentals que defineixen el NLP actual.

I en darrera instància, el marcat caràcter tecnològic de les solucions basades en NLP fa que la generació dels models fundacionals puguin ser transferits a diferents tasques. Això planteja, per la seva escala, reptes tecnològics únics i implica consideracions més enllà de l'àmbit tècnic, com pot ser la petjada de carboni associada.

“La NPL ha de concebre’s més enllà de les metodologies de la pròpia disciplina: cal que es combini amb d’altres àmbits de la IA, l’arquitectura de sistemes de ‘Machine Learning’ i el processament de dades”

Fins i tot si s'empren les metodologies esmentades anteriorment per a aplicar models ja existents, tant l'emmagatzematge i/o explotació de dades no estructurades com la productivització de models basats en deep learning plantegen desafiaments específics del Machine Learning engineer que han de ser contemplats des de la fonamentació inicial de les plataformes. En aquest sentit, existeixen una àmplia oferta de serveis gestionats i SaaS per a NLP, que obliguen (o propicien) a adoptar un enfocament tecnològic per a trobar el disseny adequat a cada solució.

Una bona conclusió de tot plegat és que les solucions basades en NLP rara vegada poden contemplar-se únicament des del prisma de les tècniques i metodologies pròpies d'aquesta disciplina. En la majoria dels casos és necessària una combinació de coneixements de NLP, d’altres àmbits de la IA, processament de dades i arquitectura de sistemes de Machine Learning.

L'enfocament adoptat en els projectes d'aquest àmbit és, per tant, una aproximació holística fonamentada en l'aproximació a la ciència de dades, el disseny de sistemes de ML, l'enteniment a nivell de negoci de les particularitats dels diferents sectors, i la interacció entre el NLP i la resta de les àrees de la IA.