Seguiment de dits

Archiu:Temporal-Control-and-Hand-Movement-Efficiency-in-Skilled-Music-Performance-pone.0050901.s001.ogv

En el camp de la tecnologia i el processament d'image, el seguiment de dits és una tècnica d'alta resolució utilisada per a conéixer el posicionament consecutiu dels dits d'un usuari i poder representar aixina objectes en 3D, en la pantalla de treball. Conseqüentment, la tècnica de seguiment de dits és utilisada com a ferramenta de computadora, actuant d'esta manera com a perifèric extern d'un computador, de la mateixa manera que un teclat i una rata.

Introducció

El sistema de seguiment de dits està fonamentat en l'interacció senyes – usuari; a on este últim interactua en les senyes virtuals, manipulant directament a través dels dits la volumetria de l'objecte 3D a representar.

Este sistema va nàixer a partir de l'important problemàtica d'interacció entre el ser humà i la computadora. En la finalitat de facilitar la comunicació entre abdós i usar gests o moviments de mans molt més intuïtius, s'han creat els sistemes de seguiment de dits. Dit sistema rastreja a temps real la posició 3D i 2D de l'orientació dels dits de cada marcador i aprofita els moviments intuïtius de gests i mans per a interactuar.

Tipos de seguiment

Existix un ampli palmito de possibilitats d'implementació per a la tècnica de seguiment de dits. Ya que són moltes les tesis realisades en este àmbit, per este motiu, en l'objectiu de fer una partició global. Podríem segmentar esta tècnica en seguimiento de dits en interfaç i sense interfaç. En esta última, es fa una estimació seqüencial de l'image detectant aixina la part de la mà del restant. Mentres que en la primera, per a portar a terme dit seguiment va necessitar d'un dispositiu extern mediador, usat com a ferramenta, per a eixecutar les distintes instruccions.

Seguiment de dits en interfaç

En este sistema s'utilisa la captura de moviment siga l'interfaç que siga, es realisa un seguiment de l'ubicació dels marcadors o patrons en l'espai 3D, el sistema els identificava de forma única i etiqueta cada marcador d'acort en la posició dels dits de l'usuari. Les coordenades 3D de les etiquetes dels marcadors es produïxen a temps real junt en atres aplicacions.

Marcadors

Alguns sistemes òptics, com el Vicon, són capaços de capturar el moviment de la mà a través de marcadors. En cada mà dispondrem d'un marcador per dit “operativa”. Tres cambres d'alta resolució s'encarregaran de captar cada marcador i medir les seues posicions, açò es produirà sempre que la cambra els puga vore. Els marcadors visuals, també coneguts com a anells o braçalets, s'utilisen per a reconéixer en 3D els gests de l'usuari. Ademés com la seua classificació indicia, estos anells actuen d'interfaç de pantalla en 2D.

Oclusió com a método d'interacció

L'oclusió visual és un método molt intuïtiu per a proporcionar un visionado molt real d'informació virtual en tres dimensions. Els interfaços tangibles proporcionen tècniques molt naturals d'interacció 3D sobre la base de 6 DOF.

Funcionament dels marcadors

Els marcadors es guien a través dels punts d'interacció, que solen estar predefinits i que coneixem les seues regions. Per lo tant, no és necessari seguir cada marcador tot el temps, els multipunteros poden ser tractats de la mateixa manera que quan hi ha una única busca en funcionament. Per a detectar dits busques a través d'una interacció, es pot portar a terme activant sensors de infrarrojos i ultrasò. El fet de que vàries busques siguen tractades com un de solament nos solucionaria els problemes que es podrien donar en la pràctica. Problemes com, estar exposts a condicions de mal allumenament, desenfoques del moviment, deformació del mateix marcador o oclusió, etc. El sistema nos permet seguir l'objecte correctament, inclús si alguns dels marcadors no són visibles. Ademés, com les relacions espacials de tots els marcadors són conegudes, les postures dels marcadors que no són visibles poden calcular-se utilisant els marcadors que són reconeguts. Existixen varis métodos de detecció de marcadors: método del marcador llímit o de frontera i el método del marcador estimat.

• Tècnica de Homer

Consistix en a selecció del raig en la manipulació directa: se selecciona un objecte, i després la seua posició i orientació es manipulen com si estiguera conectada directament a la mà.

• Tècnica de Conner

Presenten un conjunt de widgets 3D que permeten interacció indirecta en els objectes virtuals a través d'un widget virtual que actua com a mediador.

Guant

És una tècnica interessant des del punt de vista que és més simple i menys costosa que la de marcadors, ya que requerix una sola cambra. Per un atre costat, esta senzillea comporta menys precisió que la tècnica anterior. Proporciona una nova base de noves interaccions en la modelació, el control de l'animació i la realitat aumentada. S'usa un guant compost per una varietat de colors., assignats segons les posicions dels dits. Este joc de colors està llimitat pel sistema de visió de l'ordenador, i en funció de la captura i la posició del color del pegat, coneix quin és la posició de la mà.

Seguiment de dits sense interfaç

A efectes de percepció visual, les mans i cames es poden modelar com els mecanismes articulats, sistema de cossos rígits conectats entre sí per les articulacions en un o més graus de llibertat. Este model pot ser aplicat en una escala reduïda per a descriure el moviment de la mà, i en una escala més àmplia per a descriure el moviment del cos sancer. El moviment d'un dit determinat, per eixemple, pot ser reconegut des dels seus ànguls comuns, independentment de la postura de la palma en relació en la cambra.

Gran part dels sistemes de seguiment tracten un model basat en el problema d'estimació seqüencial: donada una seqüència d'imàgens i un model de canvi, estimem la configuració de 3D a mà en cada fotograma. Totes les configuracions de mans possibles estan representades per vectores en un espai d'estats, que codifica la postura de la palma (sis DOF rotació i traducció) i els ànguls d'articulació dels dits. Cada configuració de la mà genera un conjunt d'imàgens per mig de la detecció dels llímits de l'oclusió dels vínculs dels dits. L'estimació de cada image es calcula trobant el vector d'estat que millor s'adapte a les característiques mides.

Les articulacions dels dits tenen com a afegitó 21 estats més que el moviment del cos rígit de la palma de la mà, això significa que s'incrementa el cost computacional de l'estimació. La tècnica consistix en etiquetar cada articulació del dit en enllaços i es pren un cilindre com a forma. Realisem els eixos en cada una de les articulacions i la bisectriz d'este eix, és la proyecció de l'articulació. Per lo tant, s'utilisa 3 DOF, perque solament hi ha 3 graus de moviment.

En este cas, succeïx lo mateix que en l'anterior tipologia ya que existix una gran varietat de tesis d'implementació respecte a este tema. Aixina que, els passos o el tractament de la tècnica és diferent segons l'objectiu i les necessitats de la persona que va a utilisar dita tècnica. De totes maneres, podríem afirmar que a modo molt general i en la majoria de sistemes, es deuen portar a terme els següents passos:

• Substracció de fondo: convolución de totes les imàgens capturades en un filtre de Gauss de 5x5. Després s'escala per a reduir píxels en soroll.
• Segmentación de pell: aplicació de caraça binaria a on es representen en un color blanc, els píxels que pertanyen a la mà i negre al restant.
• Regió d'extracció: detecció de la mà dreta i/o esquerra a partir de la comparació entre abdós mans.
• Extracció de característiques: localisació de la punta del dit i detectar si es tracta de picos o valls. En la finalitat de classificar els punts, ya siga com a picos o valls, es convertixen els vectores en 3D, cridats pseudo vectores en el pla xy i després calcular el producte creuat. Si la senyal de la z component del producte creuat és positiva, considerem que el punt és un pico, pel contrari, en el cas de que el resultat del producte creuat siga negatiu, serà una vall.
• Punts i reconeiximent de gests: Segons els punts de referència visibles (punta del dit) se li associa a un gest determinat.
• Posició estimada: procediment consistix en identificar la posició de les mans per mig d'algoritmes de càlcul de distàncies entre posicions.

Referències

• Anderson, D., Yedidia, J., Frankel, J., Marks, J., Agarwala, A., Beardsley, P., Hodgins, J., Leigh, D., Ryall, K., & Sullivan, E. (2000). Tangible interaction + graphical interpretation: a new approach to 3D modeling. SIGGRAPH. p. 393-402.

• Angelidis, A., Cani, M.-P., Wyvill, G., & King, S. (2004). Swirling-Sweepers: Constant-volume modeling. Pacific Graphics. p. 10-15.
• Grossman, T., Wigdor, D., & Balakrishnan, R. (2004). Multi finger gestural interaction with 3D volumetric displays. UIST. p. 61-70.

• Freeman, W. & Weissman, C. (1995). Television control by hand gestures. International Workshop on Automatic Face and Gesture Recognition. p. 179-183.

• Ringel, M., Berg, H., Jin, Y., & Winograd, T. (2001). Barehands: implement-free interaction with a wall-mounted display. CHI Estendre Abstracts. p. 367-368.

• Cao, X. & Balakrishnan, R. (2003). VisionWand: interaction techniques for large displays using a passive wand tracked in 3D. UIST. p. 173-182.