麵(mian)部(bu)表(biao)情(qing)分(fen)析(xi)係(ji)統(tong)原(yuan)理(li)拆(chai)解(xie)：從(zong)動(dong)作(zuo)單(shan)元(yuan)識(zhi)別(bie)到(dao)多(duo)模(mu)態(tai)情(qing)緒(xu)判(pan)定(ding)
麵(mian)部(bu)表(biao)情(qing)是(shi)人(ren)類(lei)情(qing)緒(xu)最(zui)直(zhi)觀(guan)的(di)外(wai)在(zai)載(zai)體(ti)，細(xi)微(wei)的(di)麵(mian)部(bu)肌(ji)肉(rou)變(bian)化(hua)，都(du)能(neng)傳(zhuan)遞(di)出(chu)不(bu)同(tong)的(di)心(xin)理(li)狀(zhuang)態(tai)。麵(mian)部(bu)表(biao)情(qing)分(fen)析(xi)係(ji)統(tong)的(di)核(he)心(xin)價(jia)值(zhi)，是(shi)通(tong)過(guo)結(jie)構(gou)化(hua)的(di)視(shi)覺(jue)捕(bu)捉(zhuo)與(yu)信(xin)息(xi)解(xie)析(xi)方(fang)式(shi)，精(jing)準(zhun)拆(chai)解(xie)麵(mian)部(bu)細(xi)微(wei)變(bian)化(hua)，結(jie)合(ge)多(duo)維(wei)度(duo)信(xin)息(xi)完(wan)成(cheng)情(qing)緒(xu)狀(zhuang)態(tai)的(di)客(ke)觀(guan)判(pan)定(ding)。整(zheng)套(tao)係(ji)統(tong)的(di)運(yun)行(hang)邏(luo)輯(ji)分(fen)為(wei)兩(liang)個(ge)核(he)心(xin)階(jie)段(duan)，一(yi)是(shi)麵(mian)部(bu)動(dong)作(zuo)單(shan)元(yuan)的(di)精(jing)準(zhun)識(zhi)別(bie)與(yu)拆(chai)解(xie)，二(er)是(shi)多(duo)維(wei)度(duo)模(mu)態(tai)信(xin)息(xi)融(rong)合(ge)下(xia)的(di)情(qing)緒(xu)判(pan)定(ding)，層(ceng)層(ceng)遞(di)進(jin)完(wan)成(cheng)從(zong)麵(mian)部(bu)表(biao)象(xiang)到(dao)內(nei)在(zai)情(qing)緒(xu)的(di)解(xie)讀(dou)。
麵(mian)部(bu)動(dong)作(zuo)單(shan)元(yuan)識(zhi)別(bie)是(shi)整(zheng)個(ge)表(biao)情(qing)分(fen)析(xi)係(ji)統(tong)的(di)基(ji)礎(chu)底(di)層(ceng)邏(luo)輯(ji)。人(ren)類(lei)的(di)麵(mian)部(bu)表(biao)情(qing)由(you)多(duo)組(zu)麵(mian)部(bu)肌(ji)肉(rou)協(xie)同(tong)收(shou)縮(suo)、放(fang)鬆(song)形(xing)成(cheng)，不(bu)同(tong)肌(ji)肉(rou)組(zu)合(ge)的(di)運(yun)動(dong)狀(zhuang)態(tai)，會(kuai)構(gou)成(cheng)差(chai)異(yi)化(hua)的(di)麵(mian)部(bu)形(xing)態(tai)變(bian)化(hua)。相(xiang)關(guan)研(yan)究(jiu)將(qiang)麵(mian)部(bu)獨(du)立(li)的(di)肌(ji)肉(rou)運(yun)動(dong)單(shan)元(yuan)定(ding)義(yi)為(wei)動(dong)作(zuo)單(shan)元(yuan)，每(mei)一(yi)個(ge)動(dong)作(zuo)單(shan)元(yuan)對(dui)應(ying)一(yi)組(zu)專(zhuan)屬(zhu)的(di)麵(mian)部(bu)肌(ji)肉(rou)運(yun)動(dong)模(mu)式(shi)，涵(han)蓋(ge)眉(mei)眼(yan)、口(kou)鼻(bi)、臉(lian)頰(jia)、下(xia)頜(he)等(deng)全(quan)臉(lian)區(ou)域(yu)的(di)細(xi)微(wei)變(bian)化(hua)。
係(ji)統(tong)運(yun)行(hang)時(shi)，首(shou)先(xian)會(kuai)對(dui)采(cai)集(ji)的(di)麵(mian)部(bu)圖(tu)像(xiang)進(jin)行(hang)預(yu)處(chu)理(li)，完(wan)成(cheng)人(ren)臉(lian)區(ou)域(yu)定(ding)位(wei)、畫(hua)麵(mian)降(xiang)噪(zao)、姿(zi)態(tai)校(jiao)準(zhun)等(deng)基(ji)礎(chu)操(cao)作(zuo)，剔(ti)除(chu)光(guang)線(xian)、角(jue)度(duo)、遮(zhe)擋(dang)等(deng)外(wai)界(jie)因(yin)素(su)帶(dai)來(lai)的(di)幹(gan)擾(rao)，保(bao)留(liu)清(qing)晰(xi)完(wan)整(zheng)的(di)麵(mian)部(bu)有(you)效(xiao)區(ou)域(yu)。隨(sui)後(hou)係(ji)統(tong)會(kuai)對(dui)麵(mian)部(bu)區(ou)域(yu)進(jin)行(hang)精(jing)細(xi)化(hua)分(fen)區(ou)采(cai)樣(yang)，聚(ju)焦(jiao)眉(mei)眼(yan)舒(shu)展(zhan)、眉(mei)頭(tou)褶(xi)皺(zhou)、眼(yan)瞼(jian)開(kai)合(ge)、嘴(zui)角(jue)起(qi)伏(fu)、鼻(bi)翼(yi)舒(shu)張(zhang)等(deng)細(xi)微(wei)部(bu)位(wei)的(di)形(xing)態(tai)變(bian)化(hua)。通(tong)過(guo)比(bi)對(dui)不(bu)同(tong)幀(zheng)畫(hua)麵(mian)的(di)麵(mian)部(bu)點(dian)位(wei)位(wei)移(yi)、形(xing)態(tai)形(xing)變(bian)，逐(zhu)一(yi)捕(bu)捉(zhuo)各(ge)個(ge)動(dong)作(zuo)單(shan)元(yuan)的(di)激(ji)活(huo)狀(zhuang)態(tai)與(yu)運(yun)動(dong)幅(fu)度(duo)，區(ou)分(fen)肌(ji)肉(rou)放(fang)鬆(song)的(di)常(chang)態(tai)狀(zhuang)態(tai)與(yu)收(shou)縮(suo)運(yun)動(dong)的(di)變(bian)化(hua)狀(zhuang)態(tai)，完(wan)成(cheng)所(suo)有(you)麵(mian)部(bu)動(dong)作(zuo)單(shan)元(yuan)的(di)逐(zhu)一(yi)拆(chai)解(xie)與(yu)記(ji)錄(lu)。
單(shan)一(yi)動(dong)作(zuo)單(shan)元(yuan)僅(jin)能(neng)反(fan)映(ying)局(ju)部(bu)麵(mian)部(bu)肌(ji)肉(rou)的(di)運(yun)動(dong)狀(zhuang)態(tai)，無(wu)法(fa)直(zhi)接(jie)對(dui)應(ying)完(wan)整(zheng)情(qing)緒(xu)，因(yin)此(ci)係(ji)統(tong)會(kuai)對(dui)拆(chai)解(xie)後(hou)的(di)動(dong)作(zuo)單(shan)元(yuan)進(jin)行(hang)組(zu)合(ge)匹(pi)配(pei)。不(bu)同(tong)的(di)情(qing)緒(xu)表(biao)達(da)，對(dui)應(ying)固(gu)定(ding)的(di)動(dong)作(zuo)單(shan)元(yuan)組(zu)合(ge)模(mu)式(shi)。比(bi)如(ru)愉(yu)悅(yue)狀(zhuang)態(tai)通(tong)常(chang)伴(ban)隨(sui)眼(yan)角(jue)舒(shu)展(zhan)、嘴(zui)角(jue)上(shang)揚(yang)、臉(lian)頰(jia)微(wei)微(wei)抬(tai)起(qi)的(di)動(dong)作(zuo)單(shan)元(yuan)組(zu)合(ge)；低(di)落(la)狀(zhuang)態(tai)多(duo)呈(cheng)現(xian)眉(mei)頭(tou)輕(qing)蹙(cu)、眼(yan)瞼(jian)下(xia)垂(chui)、嘴(zui)角(jue)下(xia)沉(chen)的(di)肌(ji)肉(rou)運(yun)動(dong)特(te)征(zheng)。係(ji)統(tong)通(tong)過(guo)匹(pi)配(pei)標(biao)準(zhun)化(hua)的(di)動(dong)作(zuo)單(shan)元(yuan)組(zu)合(ge)模(mu)型(xing)，初(chu)步(bu)篩(shai)選(xuan)出(chu)基(ji)礎(chu)的(di)表(biao)情(qing)傾(qing)向(xiang)，為(wei)後(hou)續(xu)情(qing)緒(xu)判(pan)定(ding)提(ti)供(gong)核(he)心(xin)視(shi)覺(jue)依(yi)據(ju)。
僅(jin)依(yi)靠(kao)麵(mian)部(bu)視(shi)覺(jue)動(dong)作(zuo)單(shan)元(yuan)的(di)單(shan)一(yi)信(xin)息(xi)，容(rong)易(yi)出(chu)現(xian)判(pan)定(ding)偏(pian)差(chai)。人(ren)類(lei)的(di)情(qing)緒(xu)表(biao)達(da)存(cun)在(zai)複(fu)雜(za)性(xing)，部(bu)分(fen)情(qing)緒(xu)的(di)麵(mian)部(bu)動(dong)作(zuo)高(gao)度(duo)相(xiang)似(shi)，同(tong)時(shi)部(bu)分(fen)細(xi)微(wei)情(qing)緒(xu)會(kuai)伴(ban)隨(sui)肢(zhi)體(ti)、聲(sheng)音(yin)等(deng)輔(fu)助(zhu)表(biao)現(xian)，因(yin)此(ci)係(ji)統(tong)引(yin)入(ru)多(duo)模(mu)態(tai)信(xin)息(xi)融(rong)合(ge)機(ji)製(zhi)，完(wan)成(cheng)更(geng)貼(tie)合(ge)真(zhen)實(shi)狀(zhuang)態(tai)的(di)情(qing)緒(xu)判(pan)定(ding)。多(duo)模(mu)態(tai)分(fen)析(xi)的(di)核(he)心(xin)，是(shi)整(zheng)合(ge)麵(mian)部(bu)視(shi)覺(jue)信(xin)息(xi)、語(yu)音(yin)信(xin)息(xi)、微(wei)肢(zhi)體(ti)信(xin)息(xi)等(deng)多(duo)維(wei)度(duo)內(nei)容(rong)，彌(mi)補(bu)單(shan)一(yi)麵(mian)部(bu)識(zhi)別(bie)的(di)局(ju)限(xian)性(xing)。
在(zai)多(duo)模(mu)態(tai)信(xin)息(xi)采(cai)集(ji)與(yu)解(xie)析(xi)環(huan)節(jie)，係(ji)統(tong)會(kuai)同(tong)步(bu)捕(bu)捉(zhuo)同(tong)步(bu)場(chang)景(jing)下(xia)的(di)輔(fu)助(zhu)信(xin)息(xi)。語(yu)音(yin)維(wei)度(duo)會(kuai)解(xie)析(xi)說(shui)話(hua)語(yu)氣(qi)、語(yu)速(su)節(jie)奏(zou)、語(yu)調(diao)起(qi)伏(fu)等(deng)聲(sheng)學(xue)特(te)征(zheng)，平(ping)緩(huan)舒(shu)緩(huan)的(di)語(yu)調(diao)與(yu)急(ji)促(cu)緊(jin)繃(beng)的(di)語(yu)調(diao)，能(neng)夠(gou)區(ou)分(fen)鬆(song)弛(chi)與(yu)緊(jin)張(zhang)的(di)情(qing)緒(xu)狀(zhuang)態(tai)。肢(zhi)體(ti)維(wei)度(duo)會(kuai)識(zhi)別(bie)頭(tou)部(bu)姿(zi)態(tai)、肩(jian)部(bu)狀(zhuang)態(tai)、細(xi)微(wei)肢(zhi)體(ti)動(dong)作(zuo)等(deng)信(xin)息(xi)，輔(fu)助(zhu)印(yin)證(zheng)麵(mian)部(bu)表(biao)情(qing)對(dui)應(ying)的(di)情(qing)緒(xu)傾(qing)向(xiang)。同(tong)時(shi)，係(ji)統(tong)會(kuai)結(jie)合(ge)時(shi)序(xu)變(bian)化(hua)維(wei)度(duo)，記(ji)錄(lu)麵(mian)部(bu)動(dong)作(zuo)單(shan)元(yuan)的(di)持(chi)續(xu)時(shi)長(zhang)、變(bian)化(hua)節(jie)奏(zou)，區(ou)分(fen)瞬(shun)時(shi)的(di)麵(mian)部(bu)微(wei)動(dong)與(yu)持(chi)續(xu)的(di)情(qing)緒(xu)表(biao)達(da)，規(gui)避(bi)偶(ou)然(ran)動(dong)作(zuo)帶(dai)來(lai)的(di)誤(wu)判(pan)。
多(duo)模(mu)態(tai)情(qing)緒(xu)判(pan)定(ding)的(di)核(he)心(xin)邏(luo)輯(ji)是(shi)信(xin)息(xi)交(jiao)叉(cha)印(yin)證(zheng)與(yu)綜(zeng)合(ge)推(tui)演(yan)。係(ji)統(tong)會(kuai)將(qiang)麵(mian)部(bu)動(dong)作(zuo)單(shan)元(yuan)的(di)組(zu)合(ge)特(te)征(zheng)，與(yu)語(yu)音(yin)、肢(zhi)體(ti)、時(shi)序(xu)等(deng)多(duo)維(wei)度(duo)信(xin)息(xi)進(jin)行(hang)匹(pi)配(pei)比(bi)對(dui)，剔(ti)除(chu)矛(mao)盾(dun)信(xin)息(xi)，鎖(suo)定(ding)統(tong)一(yi)的(di)情(qing)緒(xu)特(te)征(zheng)傾(qing)向(xiang)。例(li)如(ru)當(dang)麵(mian)部(bu)呈(cheng)現(xian)輕(qing)微(wei)蹙(cu)眉(mei)的(di)動(dong)作(zuo)狀(zhuang)態(tai)，同(tong)時(shi)搭(da)配(pei)語(yu)速(su)急(ji)促(cu)、頭(tou)部(bu)輕(qing)微(wei)晃(huang)動(dong)的(di)輔(fu)助(zhu)特(te)征(zheng)時(shi)，可(ke)判(pan)定(ding)為(wei)煩(fan)躁(zao)、焦(jiao)慮(lv)類(lei)情(qing)緒(xu)狀(zhuang)態(tai)；若(ruo)麵(mian)部(bu)表(biao)情(qing)趨(qu)於(yu)平(ping)緩(huan)，搭(da)配(pei)語(yu)調(diao)平(ping)穩(wen)、肢(zhi)體(ti)放(fang)鬆(song)的(di)狀(zhuang)態(tai)，則(ze)對(dui)應(ying)平(ping)和(hu)、鬆(song)弛(chi)的(di)情(qing)緒(xu)狀(zhuang)態(tai)。
整(zheng)套(tao)麵(mian)部(bu)表(biao)情(qing)分(fen)析(xi)係(ji)統(tong)的(di)運(yun)行(hang)，是(shi)從(zong)微(wei)觀(guan)肌(ji)肉(rou)運(yun)動(dong)拆(chai)解(xie)到(dao)宏(hong)觀(guan)情(qing)緒(xu)狀(zhuang)態(tai)判(pan)定(ding)的(di)完(wan)整(zheng)流(liu)程(cheng)。動(dong)作(zuo)單(shan)元(yuan)識(zhi)別(bie)實(shi)現(xian)了(liao)麵(mian)部(bu)表(biao)情(qing)的(di)量(liang)化(hua)、精(jing)細(xi)化(hua)拆(chai)解(xie)，讓(rang)模(mu)糊(hu)的(di)表(biao)情(qing)變(bian)化(hua)轉(zhuan)化(hua)為(wei)可(ke)解(xie)析(xi)、可(ke)匹(pi)配(pei)的(di)結(jie)構(gou)化(hua)特(te)征(zheng)；多(duo)模(mu)態(tai)判(pan)定(ding)則(ze)打(da)破(po)了(liao)單(shan)一(yi)視(shi)覺(jue)識(zhi)別(bie)的(di)局(ju)限(xian)，貼(tie)合(ge)人(ren)類(lei)情(qing)緒(xu)表(biao)達(da)的(di)多(duo)元(yuan)性(xing)與(yu)複(fu)雜(za)性(xing)，讓(rang)情(qing)緒(xu)解(xie)讀(dou)更(geng)貼(tie)合(ge)真(zhen)實(shi)的(di)心(xin)理(li)狀(zhuang)態(tai)。這(zhe)種(zhong)分(fen)層(ceng)拆(chai)解(xie)、多(duo)維(wei)融(rong)合(ge)的(di)運(yun)行(hang)邏(luo)輯(ji)，讓(rang)麵(mian)部(bu)表(biao)情(qing)分(fen)析(xi)能(neng)夠(gou)適(kuo)配(pei)日(ri)常(chang)場(chang)景(jing)的(di)情(qing)緒(xu)識(zhi)別(bie)需(xu)求(qiu)，實(shi)現(xian)對(dui)人(ren)類(lei)情(qing)緒(xu)狀(zhuang)態(tai)的(di)客(ke)觀(guan)、精(jing)準(zhun)解(xie)讀(dou)。
北(bei)京(jing)市(shi)海(hai)澱(dian)區(ou)安(an)寧(zhu)莊(zhuang)後(hou)街(jie)12號(hao)院(yuan)1號(hao)樓(lou)一(yi)層(ceng)、三(san)層(ceng)
在(zai)線(xian)客(ke)服(fu)