Movie Gen
Movie Gen és un model d'inteligència artificial desenrollada per Meta que permet crear videos a partir de descripcions textuals. Va ser anunciat per primera volta el 4 d'octubre de 2024. [1][2]
A partir d'un text proporcionat per l'usuari, el sistema genera un video. Per eixemple, si un usuari introduïx el prompt «un esponjoso koala surfeando sobre una taula groga», Movie Gen produïx un clip animat que ilustra esta escena.[3] Ademés de generar videos, la IA també permet crear videos personalisats pujat per l'usuari o generar àudios.[1][4] Els models Movie Gen poden generar videos de fins a 16 segons en una resolució de 1080p i àudio sincronisat de 48kHz. [5]
Este model competirà en els models Sora d'OpenAI i Veig de Google.[6][7] Movie Gen encara no està a disposició del públic. [6][2]
Funcionament
Generació de video
Meta Movie Gen és la tercera generació de models fundacionals de Meta. El model utilisa un transformador de 30.000 millons de paràmetros per a produir videos d'alta calitat de fins a 16 segons per a una velocitat de 16 fotogrames per segon en una resolució de 1080p, a partir d'una descripció de text.[8][5] Com indica Meta, «estos models poden raonar sobre el moviment dels objectes, les interaccions subjecte-objecte i el moviment de la càmara, i poden deprendre moviments plausibles per a una àmplia varietat de conceptes, lo que els convertix en models d'última generació en la seua categoria».[1]
El transformador té una estructura similar a la de Crida 3, el seu model de llenguage més capaç, pero s'han afegit mòduls específics per a la generació de video, com un mòdul d'atenció creuada per a incorporar l'informació del text d'entrada i un mòdul de normalisació adaptativa per a manejar les diferents etapes del procés de generació.[5]Per a generar videos d'alta resolució (1080p HD), Movie Gen utilisa un model de supermuestreo espacial que pren com a entrada videos de menor resolució i els millora. Este model, també basat en un transformador, deprén a generar detalls fins i a millorar la nitidea de les imàgens, lo que resulta en una millor calitat visual.[5]
Videos personalisats
El model també és capaç de generar videos personalisats. El model pren com a entrada l'image d'una persona i es combina en un prompt per a generar un video que conté a la persona de referència i detalls visuals enriquits per l'instrucció.[1][8] Segons va afirmar Meta, «el nostre model conseguix resultats d'última generació quan es tracta de crear videos personalisats que preserven l'identitat i el moviment humans».[1]
Editor de video
La variant d'edició del mateix model pren com a entrada tant el vídeo com el prompt, eixecutant tasques per a generar l'eixida desijada. Combina la generació de video en l'edició alvançada d'imàgens.[1]Treballa sobre videos generats i sobre captures del món real. Meta afirma que el seu model «preserva el contingut original» en tant afig elements al video, com a telons de fondo o vestimenta per als personages principals.[9]
Generació d'àudio
El model de 13.000 millons de paràmetros pot usar un vídeo i una descripció en text per a generar una pista d'àudio que s'acople a lo que succeïx en l'image.[7]El resultat té una duració de fins a 45 segons i engloba sò ambiental, efectes de sò i música instrumental de fondo. Este model també permet generar àudio coherent per a videos de duració arbitràries, «conseguint en general un rendiment de vanguarda en calitat d'àudio, alliniació de video a àudio i alliniació de text a àudio».[10][1]
Vore també
Referències
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 «Fique Movie Gen». ai.meta.com. Consultat el 2024-10-09.
- ↑ 2,0 2,1 «seua-inteligència-artificial-per a-generar-videos-de-nom-movie-gen/ar-AA1rIb0W?ocid=BingNewsVerp Fique llança la seua inteligència artificial per a generar videos de nom Movie Gen». www.msn.com. Consultat el 2024-10-09.
- ↑ «Fique llança Movie Gen: ¡Descobrix el revolucionari generador de videos en inteligència artificial!». www.msn.com. Consultat el 2024-10-09.
- ↑ «Fique rivaliza a Sora en Movie Gen, la nova IA generadora de vídeos» (en es). Diari ABC (2024-10-07). Consultat el 2024-10-09.
- ↑ 5,0 5,1 5,2 5,3 «Movie Gen - Paper oficial d'Investigació». ai.meta.com. Consultat el 2024-10-09.
- ↑ 6,0 6,1 Handley, Thomas (2024-10-04). «Movie Gen de Meta genera videos de IA i és capaç de fer películes reals, en música inclosa.» (en es). Gizmodo en Espanyol. Consultat el 2024-10-09.
- ↑ 7,0 7,1 «Fique anuncia un nou model de ia capaç de generar video en sò, desafiant a openai» (en es). LA NACION (2024-10-04). Consultat el 2024-10-09.
- ↑ 8,0 8,1 Infobae, Per Newsroom (2024-10-04). «a-generacion-de-video-i-àudio-per a-video-de-alta-calitat/ Fique Movie Gen oferix un conjunt de models per a generació de vídeo i àudio per a vídeo d'alta calitat» (en es-es). infobae. Consultat el 2024-10-09.
- ↑ Meridional, Diari El (2024-10-05). «Movie Gen de Meta genera videos de IA i és capaç de fer películes reals, en música inclosa.» (en es). Diari El Meridional. Consultat el 2024-10-09.
- ↑ «Movie Gen: Meta trenca paradigmes i crea un model de IA que permet fer videos personalisats en àudio». www.msn.com. Consultat el 2024-10-09.
- Este artícul conté una traducció derivada de «Movie Gen» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.