Els grans models de llenguatge que són la base d’algunes de les principals aplicacions d’intel·ligència artificial no són capaços de detectar amb garanties si una frase està ben construïda des del punt de vista gramatical. Així ho ha demostrat un equip investigador liderat per la URV que va posar a prova aquests sistemes per comprovar si tenen capacitats lingüístiques equiparables a les de les persones. Per fer-ho van comparar l’habilitat humana amb la dels tres millors grans models de llenguatge disponibles actualment —dos basats en GPT3, així com ChatGPT, basat en GPT3.5— i va resultar sortir victoriosa la primera.

L’experiment va consistir a assignar una tasca fàcilment executable per a les persones: a partir de molts tipus diferents d’oracions havien d’identificar al moment si aquesta estava gramaticalment ben formada en la seva llengua materna o no. Els resultats van demostrar que els humans van respondre correctament, mentre que els grans models de llenguatge van donar moltes respostes errònies. De fet, es va detectar que van adoptar una estratègia predeterminada que consistia a respondre “sí” la majoria de vegades, independentment de si la resposta era correcta o no.

Doble desajust entre humans i IA

L’estudi posa de manifest, segons els seus autors, que hi ha un “doble desajust” entre humans i IA. Les persones no tenen accés a una “evidència negativa” sobre el que no és gramaticalment correcte en aquell idioma, mentre que la IA té un ampli accés a aquesta informació a través de la retroalimentació humana, però, així i tot, no pot reconèixer errades gramaticals trivials.

“El resultat és sorprenent, ja que a aquests sistemes se’ls instrueix segons el que és gramaticalment correcte o no en un idioma”, explica Vittoria Dentella, investigadora del Departament d’Estudis Anglesos i Alemanys de la URV, que ha impulsat la recerca en col·laboració amb la Institució Catalana de Recerca i Estudis Avançats (ICREA), la UAB i la participació de la Universitat Humboldt de Berlín. “Amb aquests resultats pensem que cal una reflexió crítica sobre les afirmacions que atribueixen a les IA capacitats lingüístiques similars a les de les persones”, conclou Dentella.