El BSC i el Prado s’alien perquè la intel·ligència artificial aprengui a interpretar art pictòric
El projecte FrAI Angelico ajudarà a clasificar millor les obres, estudiar relacions temàtiques i descriure els quadres a persones amb discapacitat visual
Categories:
El Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) i el Museo Nacional del Prado han sumat forces per crear FrAI Angelico, un projecte basat a entrenar models d’intel·ligència artificial d’aprenentatge automàtic perquè siguin capaços de reconèixer els objectes i elements que conformen una pintura. L’objectiu de la iniciativa és desenvolupar una eina que pugui generar descripcions detallades de qualsevol quadre sense intervenció humana.
La motivació de FrAI Angelico és establir-se com una eina que resulti d’utilitat tant als professionals del món museístic com al públic general. L’eina es podrà aprofitar, per exemple, per classificar les obres per temàtica o per objectes representats. “Gràcies a aquesta iniciativa es podran analitzar les pintures, detectar objectes que el visitant possiblement no ha percebut, inferir temes, descobrir relacions entre els seus elements o interpretar el seu simbolisme per tal de crear iniciatives culturals i de difusió com a exposicions virtuals amb pintures relacionades de qualsevol part del món”, ha destacat la investigadora del BSC Maria Cristina Marinescu. Així mateix, el fet de generar descripcions detallades d’obres visuals pot ser de gran utilitat per als visitants amb discapacitat visual.
El projecte no neix de zero, sinó que es basa en una tecnologia desenvolupada en el passat pel BSC en col·laboració amb l’Europeana Foundation, anomenat Saint George on a Bike. Partint d’aquest treball, investigadors del departament d'Aplicacions Computacionals per a la Ciència i l'Enginyeria (CASE) del BSC han entrenat un model d’IA amb milers de descripcions de quadres. En una primera fase, FrAI Angelico es testejarà analitzant 25 peces del Museo del Prado, però la intenció és cobrir el fons sencer de la pinacoteca, conformada per 8.000 pintures i més de 35.000 obres d’art.
La novetat de FrAI Angelico respecte a altres iniciatives de l’estil és que la tecnologia no només pot identificar quins elements localitza en el quadre, sinó que també té en compte el context històric. És un aspecte que molts sistemes d’intel·ligència artificial no havien tingut en compte, i que conduïen a errors com assegurar que hi havia un telèfon mòbil o un bat de beisbol en pintures del segle XVI. Així, el nou prototip no només té en compte si és temporalment factible que un element aparegui en un quadre concret, sinó que també pot identificar elements icònics habituals com les calaveres, els àngels o els dimonis. En una etapa futura, el BSC espera que els algoritmes puguis fer el pas cap a conceptes abstractes comuns en la pintora clàssica europea, com entendre el fet que dos cossos nus probablement representen a Adam i Eva, o bé que un colom i un àngel junts fan referència a l’Esperit Sant.