De camps magnètics a ones cerebrals: els instruments tecnològics que reinventen la manera de fer música

La intel·ligència artificial monopolitza el protagonisme d’un Sónar+D interessat en la relació entre el codi i els fenòmens de la naturalesa

Categories:

Marc Vilajosana

'ENAKD' fa servir el casc amb elèctrodes de Neuroelectrics per crear una obra audiovisual reactiva a les emocions del públic
'ENAKD' fa servir el casc amb elèctrodes de Neuroelectrics per crear una obra audiovisual reactiva a les emocions del públic | Marc Vilajosana

En pocs festival creatius la intel·ligència artificial té un paper tan protagonista com al Sónar+D. El germà tecnològic del Sónar, celebrat del 13 al 15 de juny a la Fira Barcelona de Montjuïc, ha estat l’escenari en què artistes i programadors catalans i internacionals han mostrat les possibilitats expressives d’una tecnologia que molt sovint vinculem només a l’àmbit productiu.

Per descomptat, la música interpreta el paper principal en aquesta nova onada de creativitat digital, i ho fa a través de nous instruments que canvien la nostra manera de generar sons. En això s’especialitza l’Intelligent Instruments Lab, un laboratori d’investigació establert a Reykjavík (Islàndia) que estudia “el discurs i les pràctiques que emergeixen de les tecnologies intel·ligents”, segons explica un dels seus investigadors, Nicola Privato. Ell és el creador de Stacco i Thales, dos instruments musicals que fan servir el magnetisme i la intel·ligència artificial per generar nous sons que representin els “romanents acústics” creats en els espais espectrals de les tecnologies musicals. “Bàsicament, jugues amb imants, forces que s’atrauen i es repelen. Tens esferes magnètiques, que són atrets a la superfície, i això afecta el camp magnètic que controla l’espai latent d’una sèrie de models de neurosíntesi”, explica l’autor. Les variacions en els camps electromagnètics es converteixen en  dades musicals que són interpretades per diversos models generatius entrenats amb sons diferents, com un per la veu, un pel soroll d’aigua o un altre amb cants d’ocells. Privato va escollir el magnetisme perquè és una força “tangible, però no visible”, la qual cosa combat la idea de basar-se en la visió quan interactuem amb objectes. “Aquests sistemes es carreguen les regles, i el virtuosisme es converteix en una altra cosa: es basa en la pràctica i en el procés descobrir cada model”, assegura.

Satacco és un instrument que genera música basada en els camps magnètics que controlem amb unes esferes imantades i uns controladors per decidir quins models fer servir | Imatge: MV

La idea de captar senyals provinents de la natura per convertir-los en so digital és la que també aplica l’artista Ferran Lega Lladós en l’obra Thymus Vulgaris, un parterre amb plantes de farigola que analitza la conductivitat natural que generen els arbustos durant el procés de fotosíntesi. “El timó és una planta icònica de la zona mediterrània, però sobretot a Lleida, a la Timoneda d’Alfés, la zona estepària més gran de Catalunya”, explica l’autor. “Als anys 90 i als 2000 va haver-hi un conflicte polític molt gran perquè es volia transformar l’espai en un aeroport, i els grups ecologistes van fer una pressió molt gran. El que faig és donar veu a la planta”. Un dels aspectes més interessants és que els visitants no només poden escoltar la traducció sonora del camp elèctric del timó, sinó que també poden interactuar amb ell. “Pots tocar-la, parlar-li... De fet, atansar-s’hi ja la fa reaccionar, perquè nosaltres també tenim un camp elèctric i transformem el seu propi”.

El camí invers al de Lega és el que fa el col·lectiu Axolot amb EIXAM, una obra conformada per un conjunt de petits dispositius anomenats Kilobots que busca simular el pensament col·lectiu dels insectes a través d’algoritmes. “Els Kilobots tenen una sèrie d’instruccions molt senzilles i bàsiques i es comuniquen entre ells per decidir què volen fer”, explica una de les seves autores, Lina Bautista. Entre les accions que poden fer es troba moure’s, seguir un altre robot o bé canviar de color el LED que els identifica. “Volíem jugar amb aquestes idees de decisions col·lectives i provar nous algoritmes que no siguin necessàriament per estudiar coses que passin en l'àmbit acadèmic, sinó fer-los sincronitzar, ballar o fer música”. Una experimentació que també es percep amb el so: cada color de LED està associat a una tonalitat concreta, de manera que el soroll conjunt que genera l’eixam és producte de les decisions preses individualment per cada Kilobot.

Els Kilobots simulen les intel·ligències col·lectives d’eixams d’insectes a través d’algoritmes | Imatge: MV

Explorant les parts més íntimes d’un humà

La intel·ligència artificial també s’ha mostrat com un mecanisme per relacionar-se amb les parts més biològiques dels éssers humans. Fundada el 2011, Neuroelectrics és una companyia especialitzada en neurociència que ha creat un casc amb una trentena d’elèctrodes per monitorar els senyals del cervell. Aquesta solució, dissenyada per pal·liar la simptomatologia de malalties com l’epilèpsia i l’Alzheimer, ha servit també com a base del projecte artístic ENAKD (Emotionally, Electronically Naked), un sistema que mescla la neurociència amb la creació visual, sonora i poètica. “Agafem els senyals cerebrals amb l’equip de Neuroelectrics, els processem i extraiem emocions a partir de la persona que porta el casc”, explica Eleni Kroupi, membre de l’equip. Amb aquestes dades, el programa genera uns visuals, una música i uns poemes que es van modificant en funció de les captures emocionals de l’espectador en temps real. “La música i els visuals estan pregenerats pels artistes, però tot es dona pels senyals: tot i que estan una mica tocats, la combinació de la música es deu només a les seves emocions. Hi ha algunes formes predissenyades, però moltes altres són en temps real”, assenyala Kroupi. El projecte és una col·laboració entre Neuroelectrics i Starlab, que s’encarreguen de l’àmbit neurocientífic, Teo Ruffini Maiques, autor de la part visual, i Nina Emocional, compositora de la música.

Eleni Kroupi (esquerra) explica a una assistent el funcionament de l’obra ‘ENAKD’ | Imatge: MV

L’ús d’algoritmes i models generatius és percebut per alguns com una amenaça per a la diversitat lingüística a internet, atès que un percentatge molt elevat dels textos amb què s’entrenen les intel·ligències artificials són només en anglès, però iniciatives com el Projecte Aina demostren que també poden ser una eina de defensa i promoció de llengües minoritàries. És un objectiu que també persegueix Kieli, una instal·lació desenvolupada per Ferran Belmon dins de l’ESPRONCEDA Institute of Art & Culture que busca visibilitzar llengües en perill d’extinció. “La llengua no solament és un mitjà de comunicació, sinó que té intrínsec la forma de viure, de comprendre el món, com es relaciona una comunitat... Així que vam proposar què passaria si, a l’espai digital, agafem una d’aquestes llengües i la barregem amb una altra, com si fessin frontera, i en generem una de nova”, resumeix el director artístic del centre, Alejandro Martín. Així, el projecte agafa cinc idiomes minoritaris d’Europa (l’aranès, el seto, l’aromanès, el còrnic i el serbocroat de Burgenland) i una selecció de paraules, cadascuna d’elles amb totes les llengües. “El que fa la instal·lació per dins és generar unes paraules a partir de dues. Transcrivim les dues paraules al diccionari fonètic i li demanem a l’eina d’intel·ligència artificial que les barregi i els doni un sentit gramatical en les dues llengües”, explica Belmon. “Un cop tenim aquestes paraules, les passem a ElevenLabs, una altra eina d’IA, perquè les pronunciï”.

Un museu per preservar “el naixement d’una cultura”

L’esclat de la intel·ligència artificial generativa ha encès les alarmes de múltiples artistes per l’ús il·lícit que s’ha fet i es fa de les seves obres per entrenar models, però també ha obert la porta a un nou grup d’artistes interessats en el codi com a eina artística. Aquests darrers són el focus principal de The Generative Art Museum (TGAM), una organització sense ànim de lucre nascuda el 2021 per promoure l’art generatiu. “Vivim en un món on hi haurà més i més pantalles, i aquest tipus d’art estarà a l’abast de tothom. És el naixement d’una cultura que està creixent, i volíem organitzar l’escena a Barcelona”, assegura el fundador del TGAM, Xavier Hernández. L’entitat té una seu virtual al metavers Voxels, en la qual cada tres mesos organitzen una nova exhibició amb tres artistes generatius diferents, i ara fa un any van organitzar la primera edició de Responsive Dreams, el primer festival d’art generatiu de Barcelona que va acollir sis obres inèdites d’artistes convidats.