Quina intel·ligència artificial escriu millor en català? I fins a quin punt les eines de reconeixement de veu entenen les diferents varietats de la llengua? Softcatalà ha posat en marxa dues plataformes participatives, ArenaCat i GarbellaVeus, perquè siguin els mateixos parlants els qui avaluïn la qualitat dels sistemes d'intel·ligència artificial (IA) en català. Les iniciatives volen millorar les dades disponibles per desenvolupar tecnologies lingüístiques i detectar errors que sovint passen desapercebuts en les avaluacions automàtiques.

Com explica l’Arnau Font en aquest vídeo, ArenaCat permet comparar a cegues les respostes de dos models d’intel·ligència artificial i votar quina s’expressa millor en català, mentre que GarbellaVeus convida a escoltar fragments d’àudio per validar-ne la transcripció i la identificació del dialecte. L’objectiu és que els parlants contribueixin a millorar els recursos lingüístics oberts en català.

La qualitat de les eines d'IA en una llengua depèn, entre altres factors, de les dades amb què s'entrenen els models i de la capacitat de comprovar si els resultats són correctes i naturals. En català, una part important de les dades de veu s'ha generat i verificat automàticament, mentre que moltes de les proves per comparar models de llenguatge s'han dissenyat principalment pensant en l'anglès.

Aquesta situació pot deixar fora de les avaluacions errors de concordança, expressions poc naturals, problemes de registre o confusions entre dialectes. Per això, Softcatalà vol incorporar-hi el criteri de les persones que parlen la llengua, amb dues eines que actuen sobre àmbits complementaris: la parla i el text.

ArenaCat: una competició a cegues per trobar la millor IA en català

ArenaCat permet comparar les respostes de diferents models d'intel·ligència artificial i construir un rànquing públic segons la qualitat del català. El funcionament és el d'un duel a cegues: la plataforma presenta una tasca i dues respostes, identificades com a A i B, sense revelar quins models les han generat.

Les persones participants han de llegir-les i decidir quina resol millor l'encàrrec. Per fer-ho, poden valorar aspectes com la correcció lingüística, la naturalitat del text, el respecte pel significat original i el compliment de les instruccions. També poden indicar si les dues respostes són igualment bones o si cap de les dues és satisfactòria.

 ArenaCat permet comparar a cegues les respostes de dos models d’IA i votar quina és més correcta, natural i fidel a les instruccions.

Les tasques inclouen exercicis de correcció, reformulació, traducció i generació de textos. Cada vot contribueix a actualitzar un marcador públic que permet veure quins models funcionen millor en català, tant de manera global com en diferents tipus de tasques.

Per participar-hi cal crear un compte i superar una breu prova de competència lingüística, d'uns cinc minuts, que només s'ha de fer una vegada. A partir d'aquí, cada comparació requereix aproximadament dos minuts i es pot completar al ritme de cada persona.

GarbellaVeus: validar fins a 920 hores de parla catalana

La segona iniciativa, GarbellaVeus, se centra en la qualitat de les dades de veu que utilitzen els sistemes de reconeixement de la parla. La plataforma convida a escoltar fragments d'àudio i comprovar si la transcripció coincideix amb el que s'hi diu, així com si s'ha identificat correctament el dialecte de la persona que parla.

Quan es detecta una errada, els participants poden proposar una transcripció més acurada o corregir la varietat dialectal. També poden descartar fragments que no siguin en català, que continguin música o soroll, o en què intervinguin diverses persones, per evitar que aquestes mostres contaminin les dades.

GarbellaVeus vol incorporar fins a 920 hores de parla en català validades per persones, a partir de fragments d’àudio i les seves transcripcions

L'objectiu és afegir fins a 920 hores de parla catalana validada per persones als conjunts de dades oberts. Els fragments provenen de Catalan YouTube Speech, un conjunt de dades extret de vídeos de plens publicats amb llicència lliure. Les transcripcions ja havien estat verificades automàticament pel Barcelona Supercomputing Center (BSC), i ara s'hi incorpora una nova capa de revisió humana.

Quan un fragment acumula prou vots favorables, queda marcat com a validat. D'aquesta manera, les aportacions permeten identificar quines transcripcions són fiables i detectar errors en el reconeixement de la parla i en la identificació de les varietats del català.

Aquestes dades poden contribuir a millorar tecnologies que ja formen part del dia a dia, com els subtítols automàtics, les eines de transcripció de reunions o els sistemes de reconeixement de veu. Softcatalà també vol ampliar progressivament les fonts d'àudio amb registres més espontanis i parlants que actualment estan menys representats.

Dades obertes per millorar la tecnologia en català

Les dues plataformes comparteixen una mateixa filosofia: les aportacions de la ciutadania han de tornar a la comunitat en forma de recursos oberts. En el cas de GarbellaVeus, les transcripcions i els dialectes validats s'incorporaran als conjunts de dades de veu. A ArenaCat, les tasques, les respostes i les preferències recollides es publicaran perquè també puguin servir per entrenar i millorar models en català.

Les dades i els resultats seran oberts per contribuir a millorar eines com els correctors, els subtítols automàtics i la transcripció de reunions.

A més, el rànquing d'ArenaCat pot oferir una referència útil a les persones usuàries a l'hora de triar quina eina utilitzar i fer visible davant dels desenvolupadors el comportament dels seus models amb la llengua catalana.

La iniciativa vol convertir els parlants en una part activa del desenvolupament de la tecnologia lingüística: no només com a usuàries de les eines d'IA, sinó també com a responsables de valorar com parlen i escriuen la seva llengua.

Amb el suport del Departament de Política Lingüística