La investigadora del Barcelona Supercomputing Center (BSC) Amanda Duarte ha creat una base de dades per a la traducció automàtica del llenguatge de signes amb intel·ligència artificial. La plataforma How2Sign conté més de 80 hores de vídeos on intèrprets del sistema americà (ASL) tradueixen videotutorials com receptes de cuina o trucs de bricolatge que poden ajudar als més de 466 milions de persones sordes o amb dificultats auditives que hi ha al món.

La solució permetrà que investigadors tant del camp del processament del llenguatge natural com els de visió per computador puguin seguir avançant en l'àrea de la traducció automàtica i producció del llenguatge de signes. Una de les primeres aplicacions de How2Sign ha estat el desenvolupament d'una tecnologia que permet transferir els gestos de llenguatge de signes d'una persona a una altra.

"Els principals avenços en intel·ligència artificial necessiten tres ingredients: els algoritmes, la computació i les dades. How2Sign són les dades que, analitzades per xarxes neuronals profundes en centres de supercomputació, permetran millorar significativament l'accessibilitat a tecnologies com els assistents virtuals o robòtics", comenta Duarte. La investigadora va gravar tres hores de vídeo al Panoptic Studio de la Carnegie Mellon University, que compta amb un estudi multivista en forma de cúpula i que està equipat amb 510 càmeres, que permeten reconstruir la postura 3D dels intèrprets.

La solució es presentarà en la conferència CVPR 2021, que actualment és la que té més impacte científic, segons Google Scholars Metric 2020.