Quan un model d’IA fa una cosa que no esperàvem, culpar a la màquina és molt més fàcil que revisar qui li va donar l’objectiu, les eines i els permisos. Una intel·ligència artificial va escapar del seu entorn de proves, va arribar a internet i va atacar els servidors de Hugging Face.

Aquesta és la història que vam llegir als mitjans. Segons molts mitjans, una mena de primer capítol de Terminator. El relat era bo: OpenAI estava provant un model encara més avançat que els que coneixem. Alguns el van presentar directament com una versió preliminar de GPT-6. Durant les proves, el model hauria ignorat els límits que li havien imposat, hauria escapat del seu entorn controlat i aïllat i hauria atacat una altra empresa pel seu compte. Si li havien dit que fes X i va decidir fer Y, la conclusió semblava evident: aquestes eines són molt més perilloses del que ens expliquen.

Però el que va passar és més interessant. I, sobretot, més incòmode.

Primer, no sabem del cert que fos la propera iteració de la família GPT: GPT-6. OpenAI ha confirmat que en l’incident hi van participar GPT-5.6 Sol i un prototip intern més capaç. Segons l’empresa, aquest segon model era una eina de recerca i no estava destinada a fer-se pública.

“No estem davant d’una màquina que hagi desenvolupat odi contra els humans. Estem davant d’un sistema que perseguia un objectiu estret amb molta capacitat d’actuació i amb uns límits que van resultar insuficients.”

Segon, el model no es va despertar un matí amb ganes d’atacar Hugging Face, com moltes persones he vist que creuen. Estava participant en una prova anomenada ExploitGym, dissenyada per mesurar la capacitat dels models per trobar i explotar vulnerabilitats informàtiques. Per comprovar fins on podia arribar, OpenAI havia reduït les negatives habituals del model davant de tasques de ciberseguretat i havia desactivat alguns dels controls que utilitza en producció. L’objectiu era, com és d’esperar, resoldre la prova. Sota aquesta premisa, el model farà tot el que estigui al seu abast per assolir l’objectiu, i hi va trobar una manera inesperada de fer-ho.

Al veure que els exercicis eren molt complicats, va assumir que Hugging Face - plataforma de distribució de models de Machine Learning i Intel·ligència Artificial oberts - era molt probable que guardés les respostes als exercicis. Va decidir que la forma més ràpida i òptima de resoldre els problemes era buscant les respostes, i es va centrar a trobar una forma d’obtenir-les directament.

Per arribar-hi, va descobrir una vulnerabilitat desconeguda en el servidor intermig que l’entorn utilitzava per instal·lar paquets. La va explotar per sortir a internet, va passar per infraestructura de tercers i, finalment, va trobar dues vies d’execució de codi dins dels sistemes de processament de dades de Hugging Face. Des d’allà, va escalar privilegis, va obtenir credencials i es va moure per diversos sistemes interns. I aquest no va ser un únic moviment brillant. Hugging Face va reconstruir unes 17.600 accions executades durant diversos dies. La majoria no van servir de res, però el sistema podia provar un camí, fallar, canviar d’estratègia i tornar a començar a una velocitat difícil d’igualar per un atacant humà. Això crec que és el que fa que el cas sigui realment important.

“Una IA no sempre fa exactament el que tenies al cap. Optimitza l’objectiu que li dones dins de l’entorn i els límits que li has construït.”

No estem davant d’una màquina que hagi desenvolupat odi contra els humans. Estem davant d’un sistema que perseguia un objectiu estret amb molta capacitat d’actuació i amb uns límits que van resultar insuficients. La diferència pot semblar petita, però ho canvia tot.

Una IA no sempre fa exactament el que tenies al cap. Tampoc no interpreta necessàriament les teves intencions morals. Optimitza l’objectiu que li dones dins de l’entorn i els límits que li has construït. Si només mesures el resultat, pot trobar una drecera. Si li dones accés a eines, les farà servir. Si el conteniment falla, el problema deixa de ser teòric. I si ningú supervisa què està passant, pot continuar provant opcions durant milers d’accions abans que algú se n’adoni. Després de detectar l’atac, Hugging Face va començar a reconstruir-lo amb l’ajuda d’altres models d’IA, i penso que aquí és on tot es torna encara més irònic.

L’anàlisi requeria processar ordres reals, exploits, càrregues xifrades i mecanismes de control remot. Els models comercials que van provar inicialment van bloquejar bona part de les peticions perquè els seus sistemes de seguretat no podien distingir entre algú que intentava executar un atac i algú que intentava investigar-lo. L’informe tècnic de Hugging Face identifica Claude Opus i Fable entre els models que van rebutjar aquestes tasques. Per continuar la investigació, l’empresa va decidir executar GLM-5.2 dins de la seva pròpia infraestructura.

“Ni la tecnologia ni les eines pregunten si les teves intencions són bones.”

GLM-5.2 és un model xinès de pesos oberts desenvolupat per Z.ai. En poder-lo executar localment, Hugging Face no depenia de les polítiques d’una API externa i tampoc no havia d’enviar fora de l’empresa unes dades que contenien ordres de l’atacant i credencials internes.

El model els va ajudar a desxifrar càrregues, reconstruir la cronologia i correlacionar milers d’accions. El debat i posicionament entre models de codi obert i codi tancat guanya un argument casi impossible d’ignorar gràcies a aquest absurd cas.

Uns models propietaris, amb les proteccions reduïdes, participen en l’atac. Altres models propietaris, amb les proteccions activades, no poden ajudar prou a investigar-lo. I un model xinès de pesos oberts acaba sent una de les eines utilitzades per defensar l’organització. Aquesta és la doble realitat del codi obert.

Els models oberts redueixen la barrera d’entrada. Permeten que més persones puguin executar, modificar i adaptar tecnologia avançada sense demanar permís a una empresa. Això és positiu per als investigadors, les empreses petites i els equips de defensa. Però també ho és per als atacants.

“Uns models propietaris, amb les proteccions reduïdes, participen en l’atac. Altres models propietaris, amb les proteccions activades, no poden ajudar prou a investigar-lo.”

Ni la tecnologia ni les eines pregunten si les teves intencions són bones. I les eines propietàries tampoc no solucionen completament el problema. Poden aplicar més controls sobre l’ús, però també poden deixar un equip legítim sense una eina essencial en el pitjor moment possible.

I tot això passa mentres les grans empreses d’intel·ligència artificial s’acosten a la borsa. OpenAI i Anthropic ja han iniciat moviments en aquesta direcció, i això introdueix un incentiu evident: com més poderosa sembli la tecnologia, més gran sembla l’oportunitat.

“Un model ha escapat del laboratori” és un relat aterridor però també és una demostració de capacitat extraordinària que posa encara més llargues les dents als inversors.

I si, després d’explicar el perill, la mateixa empresa es presenta com l’única capa de defensa possible, el relat comercial queda complet: el nostre producte és tan potent que us ha de preocupar, i el nostre producte també és el que necessiteu per protegir-vos.

Això no significa que l’incident fos inventat. Les vulnerabilitats eren reals, l’accés no estava autoritzat i el problema de seguretat va ser important, però sí que hem d’aprendre a separar la capacitat tècnica del relat que es construeix al seu voltant.

“La pregunta útil no és si la IA és bona o dolenta, ni si el model “volia” atacar a algú.”

Als humans se’ns dona extraordinàriament bé no assumir responsabilitats. Ja ho fèiem abans de la intel·ligència artificial. Culpàvem el procediment, l’algoritme, el departament, el mercat o “el sistema”. Ara disposem d’un candidat encara millor: una eina que parla, argumenta i s’expressa com nosaltres. Quan una màquina ens respon amb frases completes, és molt fàcil imaginar que també decideix com nosaltres. I, si sembla que decideix, també sembla lògic culpar-la.

Però una IA no defineix tota sola l’objectiu de negoci. No decideix quines eines rep. No configura la xarxa, no escull quines barreres es desactiven i no determina qui ha de supervisar les seves accions. Això ho fem nosaltres.

El cas de Hugging Face no ens diu que no hàgim de tenir por de la capacitat d’aquests sistemes. Ens diu que la por, per si sola, serveix de molt poc.

La pregunta útil no és si la IA és bona o dolenta, ni si el model “volia” atacar a algú. Les preguntes útils són unes altres: quin objectiu li hem donat? Quines accions pot executar? A quins sistemes té accés? Qui observa el que està fent? Quin mecanisme pot aturar-lo? I qui assumeix les conseqüències quan alguna cosa surt malament?

Perquè, quan una intel·ligència artificial travessa una porta que no havia de travessar, potser el primer que hauríem de mirar no és la màquina. Potser hauríem de preguntar-nos qui va deixar la porta oberta.