Anar al contingut

Model de text a vídeo

De L'Enciclopèdia, la wikipedia en valencià

Un model de text a video és un model d'aprenentage automàtic que pren com a entrada una descripció en llenguage natural i produïx un video que coincidix en eixa descripció.

Este tipo de model és especialment útil en aplicacions com a edició de video automàtica, generació de contingut multimèdia, subtitulat automàtic, i creació de tutoriales. En processar la descripció textual, el model selecciona imàgens, videos o animacions rellevants per a crear una representació visual coherent en el text original.

Metodologia

La predicció de video per a conseguir que els objectes semblen realistes en un fondo estable es porta a terme per mig de l'us d'una ret neuronal recurrent en un model de seqüència a seqüència. Este model inclou un conector de ret neuronal convolucional que codifica i decodifica cada píxel dels quadros, creant aixina un video per mig d'aprenentage profunt.[1][2]

  • Recopilació de senyes i preparació de conjunts de senyes utilisant videos clars de videos cinètics d'acció humana.
  • Entrenament de la ret neuronal convolucional per a realisar videos.
  • Extracció de paraules clau de text per mig de programació en llenguage natural.
  • Prova de conjunt de senyes en un model generativo condicional per a informació estàtica i dinàmica existent a partir de text per mig de codificador automàtic variacional i ret adversària generativa.

Models

Diversos models estan disponibles per a la conversió de text a video, i alguns d'ells són de còdic obert.

  • CogVideo: Este proyecte va presentar el seu còdic en GitHub, lo que permet als desenrolladors explorar i utilisar el seu enfocament per a generar videos a partir de text [3]
  • Google: Ha incursionado en esta àrea utilisant Image Video per a convertir text en videos. [4][5][6][7][8]
  • Sora: Sora és un proyecte d'inteligència artificial d'OpenAI per a generar videos realistes a partir d'una descripció textual.[9]
  • Movie Gen: Movie Gen és un generador de video desenrollat per Meta Platforms. De la mateixa manera que Sora, genera videos a partir de descripcions textuals o prompt.

En març de 2023, Alibaba Research va publicar un històric artícul d'investigació en el que varen aplicar molts dels principis trobats en els models de difusió d'imàgens latents a la generació de videos. [10] Des de llavors, servicis com Kaiber o Reemix han adoptat enfocaments similars per a la generació de video en els seus respectius productes.

Matthias Niessner, de l'Universitat Tècnica de Munich (TUM), i Lourdes Agapito, de l'University College London (UCL), estan colaborant en el desenroll de tècniques de renderizado neuronal 3D. El seu enfocament se centra en la síntesis de videos realistes utilisant representacions neuronals 2D i 3D. Estes representacions capturen l'apariència, la forma i el moviment dels avatars generats. El resultat és un procés de síntesis de video controlable que produïx avatars que no solament es veuen, sino també sonen com a persones reals. [11]

Encara que existixen enfocaments alternatius, [12] els models de difusió latent completa es consideren actualment lo últim en difusió de vídeo.

Vore també

Referències

  1. ↑ «Papers with Code - Video Prediction» (en en). paperswithcode.com. Consultat el 2024-02-18.
  2. ↑ Narain (2021-12-29). «Smart Video Generation from Text Using Deep Neural Networks» (en en-us). Consultat el 2022-10-12.
  3. ↑ Erro en la seqüencia d'órdens: no existix el mòdul «Citas».
  4. ↑ «google: Google takes on Meta, introduïxes own video-generating AI - The Economic Claves». m.economictimes.com. Consultat el 2022-10-12.
  5. ↑ Monge (2022-08-03). «This AI Ca Create Video From Text Prompt» (en en). Medium. Consultat el 2022-10-12.
  6. ↑ «Nuh-uh, Meta, we ca do text-to-video AI, too, says Google». www.theregister.com. Consultat el 2022-10-12.
  7. ↑ «Papers with Code - See, Pla, Predict: Language-guided Cognitive Planning with Video Prediction» (en en). paperswithcode.com. Consultat el 2022-10-12.
  8. ↑ «Papers with Code - Text-driven Video Prediction» (en en). paperswithcode.com. Consultat el 2022-10-12.
  9. ↑ «Sora: Creating video from text» (en en-us). openai.com. Consultat el 2024-02-18.
  10. ↑ «Home - DAMO Academy». damo.alibaba.com. Consultat el 2023-08-12.
  11. ↑ «Text to Speech for Videos». Consultat el 2023-10-17.
  12. ↑ Erro en la seqüencia d'órdens: no existix el mòdul «Citas».


Referències


Obtingut de «https://lenciclopedia.org/w/index.php?title=Model_de_text_a_vídeo&oldid=823344»