Aprendre a tocar un instrument musical és un repte que exigeix constància i moltes hores de dedicació. Assistir a una escola de música o comptar amb un professor particular és una part molt important del procés, ja que aporten les bases i són capaços d’aconsellar amb precisió, però és innegable que un alt percentatge de l’aprenentatge consisteix a practicar dia rere dia en solitari. És per a aquests moments d’estudi individual pels quals va néixer SkyNote, una plataforma digital basada en intel·ligència artificial que analitza el so produït pels instruments i la postura en què toquen els intèrprets en temps real per detectar-ne els errors i oferir vies per solucionar-ho.

“Normalment, el model d’ensenyament musical és que vas a una classe un cop a la setmana i practiques tota la setmana sol a la teva habitació. Tot el període d’entrenament en què no tens el teu professor, que no tens cap feedback, pots estar practicant malament”, explica l’investigador del Music Technology Group (MTG) de la Universitat Pompeu Fabra (UPF) i un dels principals impulsors de SkyNote, Rafael Ramírez. El programari permet superar aquest entrebanc, a més a més d’oferir informació addicional al formador, ja que li permet “veure si ha practicat, què ha practicat i quins errors ha comès”, la qual cosa pot servir per orientar millor la classe.

Ramírez: “Tot el període d’entrenament en què no tens el teu professor, que no tens cap feedback, pots estar practicant malament”

Anàlisi profunda del so i la postura

Això és possible gràcies a un sistema que esprem les funcionalitats dels algoritmes d’aprenentatge automàtic i els aplica a dos vessants complementaris. La idea és que, mentre toquem l’instrument, ho fem davant de l’ordinador o el telèfon mòbil amb la càmera encesa, de manera que la plataforma pugui captar les dades sonores i visuals i avaluï com de bé estem interpretant la peça en qüestió. En el cas del so, s’analitzen diverses variables, com si es toca la nota correcta, si l’instrument està afinat o si s’interpreta amb el ritme i l’expressivitat que pertoquen, mentre que l’anàlisi d’imatge localitza totes les articulacions del cos implicades en la interpretació i detecta si es troben en la posició adequada. “Analitzem tot el camí d’un músic, des que comença a tocar fins que és un expert”, es vana l’investigador.

L’aplicació de SkyNote compta amb un ampli catàleg de pistes ja preparades per practicar, però també permet importar les peces que vulguem en format MusicXML. El programari ens mostra la partitura a mesura que anem tocant i assenyala els errors que cometem. Si cliquem en ells, l’app ofereix diversos vídeos divulgatius relacionats amb la falta. A més, la plataforma també disposa d’una sèrie d’exercicis per practicar diverses tècniques d’interpretació, classificades per diferents nivells de dificultat. “Tenim dues coses que ningú té: una és l’anàlisi de gestos, ja que ningú fa servir la càmera, només el micro; i l’altra, un model d’IA per cada aspecte de l’aprenentatge: l’anàlisi del so, d’expressivitat musical i la detecció d’errors, suggeriments i solucions”, assegura Ramírez.

SkyNote fa servir algoritmes d'aprenentatge automàtic per analitzar el so i la postura d'una interpretació musical i valorar-ne la qualitat a través del ritme, l’expressivitat o el to

El software està dissenyat per treballar amb qualsevol classe d’instruments monofònics, és a dir, aquells en què només es pot tocar una sola nota al mateix temps. D’entrada, la plataforma només és compatible amb el violí, ja que és l’instrument amb què es va treballar per recollir les dades necessàries per entrenar el sistema i del qual se n’han preparat píndoles didàctiques, en forma de vídeo, que ajuden a corregir els problemes. Tanmateix, Ramírez comenta que és una tasca “fàcil” incorporar nous instruments monofònics, atès que només s’ha de tornar a entrenar el sistema perquè sigui capaç de valorar la qualitat del so de diferents estris. En el curt termini, l’equip té previst estendre la solució a la veu, i més endavant també es preveu incorporar instruments de vent, com la trompeta, la flauta o el saxofon.

La idea de SkyNote es va originar com a evolució d’un projecte d’investigació amb finançament europeu coordinat pel MTG, un dels centres neuràlgics de la innovació musical a Catalunya que ha vist néixer projectes com el sintetitzador de veu VOCALOID o la plataforma BMAT. La recerca, que va tenir una durada de tres anys i es va elaborar conjuntament amb la Universitat de Gènova i el Royal College of Music de Londres, se centrava en trobar noves maneres d’implementar la tecnologia en els processos d’aprenentatge musical. El prototip de SkyNote va ser una de les possibles solucions, i des del MTG van decidir muntar una spin-off per materialitzar la idea en un projecte comercial.

L’aplicació es va llançar a principis de 2023 en una versió de prova amb un públic tancat, i s’hi podia accedir amb registre a través de la pàgina web, però en l’actualitat estan temporalment tancats. Dins de la planificació de l’empresa es troba la implementació de sistemes que permetin als professors “posar material i captar estudiants nous en línia d’altres països” i una expansió cap al mercat estatunidenc, ja que “és un mercat molt gran té la tradició de pagar per les aplicacions”. Més endavant, l’equip vol tractar d’introduir-se al mercat xinès i, mentrestant, implementar nous instruments compatibles amb l’aplicació.