OpenAI, empresa creadora de ChatGPT i DALL·E, ha presentat aquest dijous Sora, un nou model d’intel·ligència artificial generativa que permet generar vídeos de fins a 60 segons a partir d’un apunt de text. L’eina destaca pel realisme de les imatges i la simulació de les físiques del món real, una de les prioritats dels desenvolupadors durant la creació del projecte.

Segons explica la companyia, Sora és un model de difusió basat en l’arquitectura transformer capaç de generar escenes complexes amb “múltiples personatges, classes específiques de moviments i detalls precisos dels subjectes i els escenaris”. L’eina aprofita moltes de les recerques i implementacions de DALL·E 3, i no només pot generar vídeos a partir de text, sinó també allargar-ne d’existents o bé crear-ne a partir d’imatges estàtiques. Els primers exemples mostrats per OpenAI destaquen, sobretot, pel seu realisme: mamuts desplaçant-se en slow motion per la neu, animacions d’estil Pixar amb un gran detallisme en les expressions facials o escenes que semblem filmades amb un telèfon mòbil.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Malgrat que l’eina destaca pel seu realisme, en l’actualitat encara té algunes debilitats a l’hora de generar nous continguts. Sora té problemes quan ha de simular les físiques d’una escena complexa, i pot no entendre relacions de causa-efecte que per a nosaltres són evidents. En un dels exemples que ha compartit l’empresa, es pot veure com en un vídeo d’una dona gran amb un pastís d’aniversari les veles no s’apaguen quan la protagonista bufa. També es mostren casos en què el model no interpreta correctament les característiques físiques d’un objecte, fent que una cadira es mogui per l’aire com si fos una bossa de plàstic, o bé fa aparèixer persones o animals del no-res.

Ara per ara, el model no es troba encara disponible per al públic, ja que OpenAI ha optat per obrir l’accés únicament a un grup reduït de persones per testejar-lo i posar-lo a prova en diversos àmbits, com la desinformació, els biaixos i els continguts d’odi. També s’ha permès l’ús a alguns artistes visuals, dissenyadors i cineastes per rebre el seu feedback i identificar en quins aspectes Sora pot ajudar més als professionals creatius.

Prompt: “Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. the art style is 3d and realistic, with a focus on lighting and texture. the mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with… pic.twitter.com/aLMgJPI0y6

— OpenAI (@OpenAI) February 15, 2024

Seguretat i responsabilitat

A més a més del testatge a què se sotmetrà Sora per part d’experts, la companyia té preparades diverses accions per minimitzar els impactes negatius que pot provocar l’eina. Per una banda, tots els vídeos generats pel model, així com els continguts d’altres eines generatives d’OpenAI, incorporaran a les seves metadades un estàndard tècnic anomenat C2PA que permeti verificar el seu origen i els continguts associats. L’empresa també desenvoluparà una eina complementària per identificar els vídeos que han estat generats amb Sora. Dins del funcionament intern, el model incorpora tota una sèrie de filtres que rebutja apunts que incorporin peticions que no respectin les polítiques d’ús, com ara violència extrema, continguts sexuals, imaginari sexual o reproducció de celebritats o continguts protegits per propietats intel·lectuals. “Ens posarem en contacte amb responsables polítics, educadors i artistes de tot el món per entendre les seves preocupacions i identificar casos d'ús positius per a aquesta nova tecnologia”, asseguren.