El Barcelona Supercomputing Center – Centre Nacional de Supercomputació (BSC-CNS) i la Universitat Politècnica de Catalunya (UPC) han ajuntat forces per crear una eina de traducció automàtica de llengua de signes basada en intel·ligència artificial. El programa, encara en fase experimental, s’ha publicat en codi obert i utilitza les més de 80 hores de vídeo de traduccions de la iniciativa How2Sign per entrenar un model capaç d'aprendre el mapat entre vídeo i text. L’objectiu de la iniciativa és que eines tecnològiques que es basen en la interpretació del llenguatge, com els assistents de veu, puguin interactuar també amb llengües no parlades.

Per dur a terme el projecte, els investigadors del BSC i la UPC han combinat diverses tècniques tecnològiques, com la visió per computació, el processament de llenguatge natural i l’aprenentatge automàtic. El model resultant és del tipus Transformers, la mateixa classe d’intel·ligència artificial que fan servir eines com ChatGPT, amb la diferència que interpreta frases senceres en llengua de signes en format vídeo i les converteix en text. L’eina s’ha entrenat amb vídeos enregistrats en llengua de signes americana, però els autors confien que, un cop enllestida, es podrà adaptar a altres llengües de signes sempre que es disposi d’un corpus de dades paral·leles prou gran.

“Aquesta eina oberta és una contribució valuosa per a la comunitat científica centrada en accessibilitat, i la seva publicació representa un pas significatiu cap a la creació de tecnologia més inclusiva i accessible per a tothom”, ha assegurat la investigadora Laia Tarrés duran la seva presentació. L’equip alerta que el projecte es troba encara en una fase molt primerenca i que encara queda “molt marge de millora” fins a tenir una aplicació per a l’usuari final, però els recercadors confien que avancen cap a la “direcció correcta”. La iniciativa s’exposarà en la futura exposició que el Centre de Cultura Contemporània de Barcelona (CCCB) dedicarà el mes d’octubre a la intel·ligència artificial.