Anar al contingut

Transformador de visió

De L'Enciclopèdia, la wikipedia en valencià

Un transformador de visió (en anglés: Vision transformer o ViT), és un transformador de ret neuronal que s'utilisa específicament per a tasques de processament visual, com el reconeiximent d'imàgens.[1]

Transformadors de visió

Arquitectura de transformadors de visió per a la classificació d'imàgens

Inicialment, els transformadors varen trobar la seua aplicació principal en tasques de processament de llenguage natural (en anglés: Natural Language Processing o NLP), com s'evidencia en models de llenguage tals com BERT i GPT-3. Per un atre costat, el processament d'imàgens tradicionalment ha utilisat rets neuronals convolucionales (en anglés: Convolutional Neural Network o CNN). Alguns dels proyectes més reconeguts en este àmbit inclouen Xception, ResNet, EfficientNet,[2] DenseNet[3] i Inception.[1]

Els transformadors medixen les relacions entre parells de tokens d'entrada, que poden ser paraules en el cas de cadenes de text; estes relacions es denominen atenció. No obstant, en el cas de les imàgens, l'unitat bàsica d'anàlisis són els píxels. Calcular les relacions entre cada parell de píxels en una image típica resulta prohibitivo en térmens de memòria i càlcul pel cost quadràtic associat. Per a abordar este desafiu, ViT calcula les relacions entre els píxels en seccions chicotetes de l'image (per eixemple, en blocs de 16x16 píxels), lo que reduïx dràsticament el cost computacional. Les seccions, junt en les seues encaixos o embeddings posicionals, són colocades en seqüència. Els encaixos són vectores que poden deprendre's. Cada secció s'organisa en una seqüència llineal i es multiplica per una matriu d'encaix. El resultat, combinat en l'encaix posicional corresponent, s'introduïx en el transformador per al seu processament.[1]

De la mateixa manera que en el cas de BERT, en les tasques de classificació, el token de classe juga un paper fonamental. Es tracta d'un token especial que s'utilisa com a entrada exclusiva de l'últim perceptrón multicapa (en anglés: Multilayer Perceptron o MLP), ya que ha segut influenciat per tots els demés tokens en el model.

L'arquitectura més comunament utilisada per a la classificació d'imàgens és aquella que ampra exclusivament el transformador codificador per a transformar els distints tokens d'entrada. No obstant, és important destacar que també existixen atres aplicacions en les quals s'utilisa la part decodificadora de l'arquitectura d'un transformador tradicional.

Història

L'arquitectura general dels transformadors va ser introduïda inicialment en 2017 en l'influent artícul titulat "Attention is All You Need".[4] Des de llavors, els transformadors han segut àmpliament adoptats en el camp del Processament de Llenguages Naturals (NLP) i s'han convertit en una de les arquitectura de rets neuronals més populars i prometedores en este àmbit.

En 2019, es va propondre l'arquitectura Transformador de Visió per al processament d'imàgens sense la necessitat d'utilisar convoluciones, en un estudi realisat per Cordonnier i uns atres.[5] Posteriorment, esta arquitectura va ser evaluada de manera més exhaustiva en el conegut artícul titulat "An image is worth 16x16 words".[6] L'idea principal darrere d'esta arquitectura consistix en descompondre les imàgens d'entrada en una série de pegats, els quals es transformen en vectores i es tracten com a paraules en un transformador convencional.

En el camp de el NLP, el mecanisme d'atenció en els transformadors s'utilisa per a capturar les relacions entre diferents paraules en el text analisat. No obstant, en Visió per Computadora, els transformadors de visió tenen com a objectiu capturar les relacions entre diferents porcions d'una image.

En 2021, un model de transformador pur va demostrar un millor rendiment i major eficiència que les CNN en la classificació d'imàgens.[1]

En juny de 2021, es va realisar un estudi en el que es va incorporar un trasformador back end a un model ResNet. Açò va resultar en una reducció dràstica dels costs computacionals i un aument en la precisió del model.[7][8][9]


Durant el mateix any, es varen presentar vàries variants importants dels transformadors de visió, en l'objectiu de millorar l'eficiència, precisió i adaptabilitat a dominis específics. Entre les variants més rellevants destaca el Swin Transformer,[10] el qual va introduir modificacions en el mecanisme d'atenció i va adoptar un enfocament multietapa, conseguint resultats vanguardistes en conjunts de senyes de detecció d'objectes com COCO (en anglés: Microsoft Common Objects in Context). Una atra variant interessant és el TimeSformer, dissenyat específicament per a tasques de comprensió de vídeo, i és capaç de capturar informació espacial i temporal per mig de l'us d'atenció espai-temporal dividida.[11][12]

Els transformadors de visió també han conseguit transcendir de l'àmbit del laboratori per a adinsar-se en un dels camps més importants de la visió per computadora: la conducció autònoma.

Vore també

Referències

  1. ↑ 1,0 1,1 1,2 1,3 «Llaure Transformers better than CNN's at Image Recognition?» (en inglés). Medium. Archivat des d'el original, el 11 de maig de 2022. Consultat el 11 de juliol de 2021.
  2. ↑ «EfficientNet V2: Smaller Models and Faster Training» (en inglés).
  3. ↑ «Densely Connected Convolutional Networks» (en inglés).
  4. ↑ «Attention Is All You Need» (en inglés).
  5. ↑ «On the Relationship between Self-Attention and Convolutional Layers» (en inglés).
  6. ↑ «An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale» (en inglés).
  7. ↑ «Facebook and UC Berkeley Boost CV Performance and Lower Compute Cost With Visual Transformers» (en inglés). Medium. Consultat el 11 de juliol de 2021.
  8. ↑ «Visual Transformers: Token-based Image Representation and Processing for Computer Vision» (en inglés).
  9. ↑ «Early Convolutions Help Transformers See Better» (en inglés).
  10. ↑ «Swin Transformer: Hierarchical Vision Transformer using Shifted Windows» (en inglés).
  11. ↑ «Is Space-Clave Attention All You Need for Video Understanding?» (en inglés).
  12. ↑ «On Transformers, TimeSformers, and Attention. An exciting revolution from text to videos» (en inglés). Towards Data Science.


Referències


Obtingut de «https://lenciclopedia.org/w/index.php?title=Transformador_de_visió&oldid=1360140»