OpenAI ha anunciat que farà canvis en els seus models d’intel·ligència artificial (IA) per tal que identifiquin millor les situacions de crisi mental i emocional durant les converses amb el ChatGPT. Entre les mesures preses, hi haurà el bloqueig de continguts més eficaços i s’agilitzarà el contacte amb serveis d’ajuda i de familiars.

Així i tot, ja existeix un protocol que s’activa quan es detecten converses amb usuaris que intenten autolesionar-se o expressen intencions suïcides com buscar ajuda en experts, bloquejar contingut delicat, evitar respondre a les seves peticions i intentar dissuadir-los. Per altra banda, aquest també s’activa quan hi ha la intenció de fer mal a una altra persona, fet que es pot significar la desactivació del compte i la denúncia a les autoritats si els revisors humans consideren que hi ha un risc imminent.

La mesura d’OpenAI arriba després que els pares d’un adolescent de 16 anys que es va suïcidar a l’abril demandessin a la companyia pel paper que havia jugat el ChatGPT en la seva mort. Com han anunciat en una publicació al seu blog, ara volen millorar la protecció davant d’aquestes situacions, sobretot en la detecció en converses llargues, ja que “a mesura que augmenta l’intercanvi, part de l’entrenament de seguretat del model pot deteriorar-se”.

Així doncs, l’eina d’IA estarà més atent a partir d’ara a tota la conversa per oferir recursos d’ajuda sempre que ho consideri necessari i no esperar a la primera vegada que es mencioni el suïcidi. A més es reforçarà el bloqueig de continguts, com imatges d’autolesions, perquè a vegades el xat subestima a gravetat de la situació i no activa les proteccions necessàries; i treballarà per donar accessibilitat a serveis d’emergència en un clic, més enllà d’oferir telèfons d’ajuda.