Menys d’un any després de la publicació de Llama 2, Meta ha anunciat aquest dijous el llançament de Llama 3, la nova versió del model de processament de llenguatge natural (PLN, LLM per les sigles en anglès) amb què la multinacional busca competir amb GPT-4 d’OpenAI i Microsoft, Gemini de Google o la francesa Mistral, també aliada amb Microsoft. Aquesta tecnologia es troba ja integrada en l’assistent intel·ligent de la companyia, Meta AI, i s’ha publicat en dos models de diferents mides: el 8B, amb 8.000 milions de paràmetres, i el 70B, que en té 70.000 milions.

Llama 3 suposa un important avenç respecte al seu predecessor, amb millores en la capacitat de raonament i altres característiques que marquen, segons la companyia, “un nou estat de l’art” per als models PLN. El Llama 3 8B supera als models Gemma 7B i Mistral 7B en la majoria d’àmbits dels testos oficials, amb xifres especialment destacades en generació de codi i raonament aritmètic. Per la seva banda, el model 70B se situa per davant de Gemini Pro 1.5 i Claude 3 en els testos de comprensió de llenguatge multitasca, de generació de codi i de raonament aritmètic, però queda lleugerament per sota del model de Google en expertesa científica i en resolució de problemes matemàtics.

Com en les versions anteriors, Meta ha destacat el fet que Llama 3 és un model de codi obert que vol créixer amb les aportacions i la retroalimentació dels desenvolupadors. Tanmateix, entitats de renom com l’Open Source Initiative han rebutjat aquesta etiqueta, com ja van fer en el seu moment amb Llama 2, atès que la llicència que fan servir “només permet alguns usos comercials”.

Meta ha anunciat que Llama 3 estarà disponible pròximament en els principals repositoris de dades, com AWS, Hugging Face, Microsoft Azure o NVIDIA NIM, i que els models presentats són només el primer pas d’una futura expansió. La previsió de l’empresa és millorar-ne el rendiment, que siguin capaços d’emmagatzemar volums de context més grans i aconseguir que esdevinguin multimodals i multilingüístics, ja que ara mateix només es troben disponibles en anglès. De fet, malgrat que el 90% de les dades amb què s’ha entrenat Llama 3 són en anglès, també s’han fet servir textos en 27 altres llengües, entre les quals es troba el català (tot i que només representa un 0,04% del total). Meta també treballa en models amb una quantitat de paràmetres molt superior, de fins a 400.000 milions, que en l’actualitat es troben encara en entrenament.