一種語音同步驅(qū)動(dòng)三維人臉口型與面部姿勢(shì)動(dòng)畫的方法
本成果是獲得授權(quán)發(fā)明專利的專利成果(ZL 201310080656.4)。該成果公開了一種語音同步驅(qū)動(dòng)三維人臉口型與面部姿勢(shì)動(dòng)畫的方法,通過用戶輸入新的語音信息,經(jīng)過預(yù)處理之后,在虛擬人的人臉頭像上合成與語音同步的口型動(dòng)畫和面部姿勢(shì)動(dòng)畫。本發(fā)明具體包括兩個(gè)階段,在訓(xùn)練階段,通過KNN和HMM的混合模型實(shí)現(xiàn)語音可視化建模;在合成階段,通過用戶輸入新的語音信息,先進(jìn)行語音信號(hào)的特征提取,再經(jīng)過KNN和HMM混合模型生成與語音信號(hào)相對(duì)應(yīng)的人臉面部姿勢(shì)和口型幀序列參數(shù),經(jīng)過平滑處理后,使用Xface軟件合成更加細(xì)膩、豐富的三維人臉動(dòng)畫。本成果不僅具有重要的理論研究價(jià)值,而且在可視通信、虛擬會(huì)議、游戲娛樂和教學(xué)輔助等領(lǐng)域有著廣闊的應(yīng)用前景。
西南交通大學(xué)
2016-06-27