MIT使用AI從2D視頻創(chuàng)建3D打印的“運動雕塑”

對運動的理解是所有生物物種的基礎(chǔ)，無論它是在計算投球的角度，還是看到捕食者和獵物的運動。 但簡單的視頻實際上無法給我們?nèi)�面的了解�?由于用于研究運動的傳統(tǒng)視頻和照片是二維的，因此它們不向我們展示感興趣的人或主題的潛在3D結(jié)構(gòu)。

現(xiàn)在麻省理工學(xué)院計算機(jī)科學(xué)與人工智能實驗室，谷歌研究所和加州大學(xué)伯克利分校的研究人員已經(jīng)提出了一種人工智能（AI）系統(tǒng)來展示人體如何運動。

該系統(tǒng)被稱為MoSculp，它使用的算法可以拍攝2D視頻并將其轉(zhuǎn)換為3D打印的“運動雕塑”。 它可以為職業(yè)運動員，舞者或任何想要提高身體技能的人提供更詳細(xì)的運動研究。

“想象一下，你有一個關(guān)于羅杰費德勒在網(wǎng)球比賽中投球的視頻，以及一個自己學(xué)習(xí)網(wǎng)球的視頻，”博士生張秀明說。 “然后你可以建立兩種情景的動作雕塑來比較它們，并更全面地研究你需要改進(jìn)的地方�！�

以下是它在實踐中的工作原理：將視頻加載到系統(tǒng)后，MoSculp將檢測到的關(guān)鍵點覆蓋在輸入幀上，并通過幾個隨機(jī)選擇的幀確認(rèn)它們。 （內(nèi)置的校正工具可以讓用戶在必要時進(jìn)行調(diào)整。）在校正“暫時不一致的檢測”后，它會生成運動雕塑并將其加載到自定義界面中。

這是一個多步驟過程，所有MoSculp需求都是視頻序列。 以下是它的工作原理：將視頻加載到系統(tǒng)后，MoSculp會首先自動檢測拍攝對象身體上的2D關(guān)鍵點，例如芭蕾舞女演員的髖關(guān)節(jié)，膝關(guān)節(jié)和踝關(guān)節(jié)，同時進(jìn)行復(fù)雜的舞蹈序列。 然后，它將這些點的最佳姿勢轉(zhuǎn)化為3D“骨架”。

將這些骨架拼接在一起后，系統(tǒng)會生成一個可以3D打印的運動雕塑，顯示主體追蹤的平滑，連續(xù)的運動路徑。用戶可以在雕塑周圍導(dǎo)航并定制他們的圖形以聚焦于不同的身體部位，分配不同的材料以區(qū)分部件，甚至自定義照明，然后使用3D打印機(jī)進(jìn)行打印。

在試驗期間，研究人員發(fā)現(xiàn)超過75％的受試者認(rèn)為MoSculp提供了比標(biāo)準(zhǔn)攝影技術(shù)更詳細(xì)的運動學(xué)習(xí)可視化。

該系統(tǒng)最適合較大的動作，例如在舞蹈序列中投球或進(jìn)行一次飛躍。它也適用于可能阻礙或復(fù)雜運動的情況，例如穿著寬松衣服或攜帶物品的人。

目前，MoSculp僅使用單一主題視頻，但該團(tuán)隊希望擴(kuò)展到多個人。在未來，他們相信它可以用于研究諸如社交障礙，人際交往和團(tuán)隊動態(tài)之類的事情。

第一作者張秀明帶著團(tuán)隊的一部“動感雕塑”

“舞蹈和高技能運動通常看起來像'移動雕塑'，但它們只會形成稍縱即逝的短暫形狀，”Adobe傳播負(fù)責(zé)人Courtney Brigham說。 “這項工作展示了如何采取動作并將其轉(zhuǎn)化為具有客觀運動可視化的真實雕塑，為運動員提供了一種分析他們的訓(xùn)練動作的方式，不需要比移動攝像機(jī)更多的設(shè)備和一些計算時間�！�

該團(tuán)隊將于下個月在德國柏林的用戶界面軟件和技術(shù)（UIST）會議上展示他們的論文（“MoSculp：形狀和時間的交互式可視化”）。


編譯自：3ders