Facial motion capture
# Facial motion capture

Il Facial motion capture (abbreviato in facial mocap, in italiano "cattura del movimento facciale") è il processo di conversione dei movimenti facciali di una persona (espressioni e microespressioni) in un database digitale usando videocamere o scanner di altro tipo. Questo database può essere successivamente riutilizzato per produrre animazioni di computer grafica per film, giochi o avatar real-time. Dato che il movimento degli avatar virtuali è replicato da quello delle persone reali, risulta in definitiva più realistico rispetto alle tecniche tradizionali basate sull'animazione manuale.

Una database di mocap facciale descrive le coordinate o le posizioni relative dei punti di riferimento sulla faccia dell'attore. La registrazione può essere in due dimensioni, caso in cui il processo è a volte chiamato "expression tracking" (in italiano "tracciamento dell'espressione"), oppure in tre dimensioni. Le registrazioni bidimensionali possono essere fatte con semplici camere digitale e con l'ausilio di applicazioni FLOSS (come i tool di motion capture di Blender) o con software specifico low cost, come Zign Creations' Zign Track. Questo procedimento produce tracciamenti meno sofisticati e non può catturare in maniera completa movimenti tridimensionali come la rotazione della testa. Operazioni di motion capture tridimensionali vengono effettuate usando impianti multi-camera o sistemi laser con marcatori. Questi sistemi sono in genere più costosi, complicati e richiedono più tempo per essere usati. Esistono due tecnologie predominanti: sistemi di tracciamento con e senza marcatori (marker e markerless).

Il Facial Motion Capture è collegato al body motion capture (in italiano "cattura del movimento del corpo"), ma è più complesso a causa della maggior risoluzione richiesta per individuare e tracciare le microespressioni dettate anche da minimi movimenti degli occhi e delle labbra. Questi movimenti sono speso nell'ordine di pochi millimetri e richiedono maggior risoluzione e fedeltà di acquisizione, oltre a diverse tecniche di filtraggio, rispetto ai metodi utilizzati nel body motion capture

Il Facial expression capture(in italiano "cattura dell'espressione facciale") è simile al Facial Motion Capture. Si tratta di un processo che usa metodi visuali o meccanici per manipolare personaggi virtuali, basandosi sull'input di facce di persone reali, oppure viene utilizzato per riconoscere le emozioni di un utente.

## Storia

Uno dei primi articoli in cui si discute di animazione facciale basata su una performance di una persona reale è stato pubblicato da Lance Williams nel 1990. L'autore descrive un metodo per acquisire le espressioni di facce reali, applicandole a volti virtuali.

## Tecnologie

### Marker-based

Nel sistema tradizionale basato sui marcatori vengono applicati sino a 350 punti di controllo sulla faccia degli attori, il cui movimento viene tracciato da camere ad alta risoluzione. Questo metodo è stato utilizzato in film come The Polar Express e Beowulf, per permettere ad attori come Tom Hanks di guidare le espressioni facciali di molti personaggi differenti. Sfortunatamente questo sistema è piuttosto macchinoso e rende le espressioni degli attori in qualche modo artificiali, soprattutto dopo le fasi di livellamento e filtraggio. I sistemi di nuova generazione, come CaptiveMotion, utilizzano metodi derivati dalle tecniche tradizionali, sfruttando una maggior definizione dei dettagli.

Una tecnologia di marcatura attiva a LED è attualmente usata per operare animazioni facciali guidate in tempo reale.

### Markerless

Le tecnologie markerless (senza marcatori) utilizzano per il tracciamento alcune caratteristiche del volto, come le narici, gli angoli delle labbra e degli occhio e le rughe. questi sistemi sono stati discussi e studiati al CMU, all'IBM, all'University of Manchester (dove molti progetti sono iniziati con il lavoro di Tim Cootes, Gareth Edwards e Chris Taylor) ed in altri istituti. Questo metodo è meno macchinoso e permette una maggiore espressività agli attori.

Questo approccio basato permette anche di tracciare il movimento delle pupille, delle palpebre, l'occlusione dei denti da parte delle labbra e della lingua, tutti problemi comuni alla parte delle animate computerizzate.

La tecnologia di tracciamento facciale markerless è collegata a quella dei sistemi di riconoscimento facciale (in inglese Facial recognition system). D'altra parte alcuni di questi sistemi non tracciano direttamente le espressioni o addirittura falliscono in caso di esspressioni non neutre, cosicché non sono sempre utilizzabili per il tracciamento facciale.

Il motion capture facciale markerless è stato sviluppato in alcuni sistemi commerciali, come Image Metrics, che è stato utilizzato in film come i sequel di The Matrix e in The Curious Case of Benjamin Button. Quest'ultimo ha utilizzato il sistema Mova per registrare un modello facciale deformabile, successivamente animato con una combinazione di tracciamento visuale e manuale. Avatar è un altro famoso film basato sul motione capture facciale, anche se ha utilizzato marcatori.

