酷炫的神經(jīng)動(dòng)作合成技術(shù)，單個(gè)序列就能完成。

生成逼真且多樣化的人體動(dòng)作是計(jì)算機(jī)圖形學(xué)的長(zhǎng)期目標(biāo)。對(duì)于動(dòng)作建模和合成來(lái)說(shuō)，研究者通常使用概率模型來(lái)捕獲有限的局部變化或利用動(dòng)作捕捉（mocap）獲得的大型動(dòng)作數(shù)據(jù)集。在階段設(shè)置（stage-setting）和后期處理（例如，涉及手動(dòng)數(shù)據(jù)清理）中，使用動(dòng)作捕捉系統(tǒng)捕獲數(shù)據(jù)的成本很高，并且動(dòng)作數(shù)據(jù)集通常是有限制的，即它們?nèi)狈λ璧墓趋澜Y(jié)構(gòu)、身體比例或樣式。利用動(dòng)作數(shù)據(jù)集通常需要復(fù)雜的處理，例如重新定位，這可能會(huì)在原始捕獲的動(dòng)作中引入錯(cuò)誤。
近日，來(lái)自蘇黎世聯(lián)邦理工學(xué)院、谷歌、芝加哥大學(xué)等機(jī)構(gòu)的研究者開(kāi)發(fā)了一個(gè)框架 GANimator，該框架能夠產(chǎn)生不同且逼真的動(dòng)作，只使用一個(gè)單一的訓(xùn)練序列。這一框架大大簡(jiǎn)化了數(shù)據(jù)收集過(guò)程，同時(shí)允許創(chuàng)建逼真的動(dòng)作變化，還可以準(zhǔn)確地捕捉單獨(dú)動(dòng)作序列細(xì)節(jié)。該研究入選 SIGGRAPH 2022。

• 論文地址：https://arxiv.org/pdf/2205.02625.pdf

• 項(xiàng)目地址：https://peizhuoli.github.io/ganimator/

我們先來(lái)看如下效果圖，左邊輸入的是單個(gè)動(dòng)作序列，右邊是生成結(jié)果：

GANimator 框架也可以處理動(dòng)物類(lèi)的輸入：

群體動(dòng)畫(huà)。GANimator 框架訓(xùn)練了一個(gè)單一的螃蟹舞蹈序列，可以生成各種新穎的運(yùn)動(dòng)：

GANimator 框架也可以混合不同的序列，生成一個(gè)動(dòng)作序列：

上述示例說(shuō)明 GANimator 框架是生成新動(dòng)作的有效工具，它可以?xún)H使用短動(dòng)作序列作為輸入來(lái)合成較長(zhǎng)、多樣和高質(zhì)量的動(dòng)作序列。
方法概覽
研究者提出的生成模型可以從單個(gè)動(dòng)作序列中學(xué)習(xí)，采用的方法受到了圖像領(lǐng)域最近使用漸進(jìn)式生成的工作以及在單個(gè)示例上訓(xùn)練深度網(wǎng)絡(luò)的工作的啟發(fā)。接下來(lái)詳細(xì)介紹分層框架、動(dòng)作表征和訓(xùn)練流程的主要構(gòu)建塊。
動(dòng)作表征
研究者通過(guò)一個(gè)

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。