Captarea mișcării faciale

De la Wikipedia, enciclopedia liberă.
Salt la navigare Salt la căutare
Videoclipul reprezintă un exemplu de captare a mișcării faciale aplicat unei reconstrucții medico-legale a poetului Francesco Petrarca prin interpretarea actorului Antonello Pagotto

Captura mișcării faciale (prescurtată în mocap facial , în italiană „capture motion motion”) este procesul de conversie a mișcărilor faciale ale unei persoane (expresii și microexpresii) într-o bază de date digitală utilizând alte tipuri de camere video sau scanere. Această bază de date poate fi reutilizată ulterior pentru a produce animații CGI pentru filme, jocuri sau avatare în timp real. Deoarece mișcarea avatarurilor virtuale este reprodusă de cea a oamenilor reali, este în cele din urmă mai realistă decât tehnicile tradiționale bazate pe animația manuală.

O bază de date de mocap facial descrie coordonatele sau pozițiile relative ale reperelor pe fața actorului. Înregistrarea poate fi în două dimensiuni, caz în care procesul este uneori numit „ urmărirea expresiei ” sau în trei dimensiuni. Înregistrările bidimensionale pot fi realizate cu camere digitale simple și cu ajutorul aplicațiilor FLOSS (cum ar fi instrumentele de captare a mișcării Blender) sau cu software specific cu cost redus , cum ar fi Zign Track de la Zign Creations. Acest proces produce urmărire mai puțin sofisticată și nu poate capta complet mișcări tridimensionale, cum ar fi rotația capului. Operațiile de captare a mișcării tridimensionale sunt efectuate folosind implanturi multi-cameră sau sisteme laser cu markere. Aceste sisteme sunt de obicei mai scumpe, mai complicate și durează mai mult. Există două tehnologii predominante: sisteme de urmărire cu și fără markeri ( marker și markerless ).

Captarea mișcării faciale este legată de captarea mișcării corpului (în italiană „ captarea mișcării corpului ”), dar este mai complexă datorită rezoluției mai mari necesare pentru identificarea și urmărirea micro-expresiilor dictate chiar de mișcările minime ale ochilor și ale buzelor. Aceste mișcări sunt cheltuite în ordinea câtorva milimetri și necesită o rezoluție mai mare și o fidelitate de achiziție, precum și diferite tehnici de filtrare, comparativ cu metodele utilizate în captarea mișcării corpului.

Captarea expresiei faciale este similară cu Captarea mișcării faciale . Este un proces care utilizează metode vizuale sau mecanice pentru a manipula personaje virtuale, bazat pe intrarea chipurilor oamenilor reali, sau este utilizat pentru a recunoaște emoțiile unui utilizator.

Istorie

Unul dintre primele articole care discuta despre animația facială bazată pe un spectacol al unei persoane reale a fost publicat de Lance Williams în 1990. Autorul descrie o metodă de captare a expresiilor fețelor reale prin aplicarea lor pe fețele virtuale. [1]

Tehnologii

Bazat pe marker

În sistemul tradițional bazat pe markere, se aplică până la 350 de puncte de control pe fața actorilor, a căror mișcare este urmărită de camerele de înaltă rezoluție. Această metodă a fost utilizată în filme precum The Polar Express și Beowulf , pentru a permite actorilor ca Tom Hanks să ghideze expresiile faciale ale multor personaje diferite. Din păcate, acest sistem este destul de greoi și face expresiile actorilor oarecum artificiale, mai ales după fazele de nivelare și filtrare. Sistemele de nouă generație, precum CaptiveMotion, utilizează metode derivate din tehnicile tradiționale, exploatând o definiție mai mare a detaliilor.

Tehnologia activă de marcare cu LED este utilizată în prezent pentru a opera animații faciale ghidate în timp real.

Fără marcaje

Tehnologiile fără marker utilizează anumite trăsături faciale, cum ar fi nările, colțurile buzelor și ochilor și ridurile pentru urmărire. aceste sisteme au fost discutate și studiate la CMU , [2] la IBM , [3] la Universitatea din Manchester (unde multe proiecte au început cu lucrările lui Tim Cootes , [4] Gareth Edwards și Chris Taylor) și în alte institute . Această metodă este mai puțin greoaie și permite o mai mare expresivitate actorilor.

Această abordare bazată ne permite, de asemenea, să urmărim mișcarea pupilelor, a pleoapelor, a ocluziei dinților de către buze și limbă, toate problemele comune părții animate de computer.

Tehnologia de urmărire facială fără marker este legată de cea a sistemului de recunoaștere facială. Pe de altă parte, unele dintre aceste sisteme nu urmăresc direct expresiile sau chiar eșuează în cazul expresiilor non-neutre, deci nu sunt întotdeauna utilizabile pentru urmărirea feței.

Captura mișcării faciale fără marcaje a fost dezvoltată în unele sisteme comerciale, cum ar fi Image Metrics, care a fost utilizată în filme precum continuările The Matrix și The Curious Case of Benjamin Button . Acesta din urmă a folosit sistemul Mova pentru a înregistra un model facial deformabil, care a fost ulterior animat cu o combinație de urmărire vizuală și manuală. [5] Avatar este un alt film popular bazat pe captarea mișcării faciale, deși a folosit markeri.

Notă

  1. ^ Animație facială bazată pe performanță, Lance Williams, Computer Graphics, volumul 24, numărul 4, august 1990
  2. ^ AAM Fitting Algorithms. Arhivat 22 februarie 2017 la Internet Archive . de la Institutul de Robotică Carnegie Mellon
  3. ^ Recunoaștere automată în timp real a expresiilor faciale în timp real ( PDF ), la www-ee.ccny.cuny.edu . Adus la 17 iunie 2018 (arhivat din original la 19 noiembrie 2015) .
  4. ^ Software de modelare și căutare („Acest document descrie modul de construire, afișare și utilizare a modelelor statistice de aspect.”
  5. ^ Eric Barba și Steve Preeg, The Curious Face of Benjamin Button , în Prezentare la Vancouver ACM Siggraph capitolul, 18 martie 2009. , 18 martie 2009.