MeshGPT優(yōu)化AI驅(qū)動(dòng)3D模型，可避免細(xì)節(jié)丟失和過度三角化以及提高精度和效率

2023年12月5日，南極熊獲悉，慕尼黑工業(yè)大學(xué)（TUM）和都靈理工大學(xué)的研究人員與奧迪公司聯(lián)手開發(fā)了MeshGPT，這是一款采用生成式AI的3D網(wǎng)格生成軟件，它極大簡(jiǎn)化了生成3D模型的過程。

△通過對(duì)比，該團(tuán)隊(duì)采用AI生成的3D模型在建模細(xì)節(jié)和清晰度上具有優(yōu)勢(shì)（右下）

該研究創(chuàng)新性地運(yùn)用僅包含解碼器的變壓器來(lái)創(chuàng)造更為清晰、更為連貫的三角形網(wǎng)格，形狀覆蓋率顯著提升了9%，F(xiàn)ID分?jǐn)?shù)（用于評(píng)估計(jì)算機(jī)生成圖像質(zhì)量的指標(biāo)）提高了30分，相較于現(xiàn)有方法，這代表著更為鋒利的邊緣、更高的真實(shí)感和更緊湊的設(shè)計(jì)，并且確立了新的質(zhì)量標(biāo)準(zhǔn)。

△該研究的詳細(xì)論文可在這里查閱，題目為“MeshGPT:用解碼器轉(zhuǎn)換器生成三角網(wǎng)格”（傳送門）

MeshGPT通過從Transformer模型中進(jìn)行自回歸采樣，從已學(xué)習(xí)的幾何詞匯中生成標(biāo)記，然后將這些標(biāo)記解碼為三角形網(wǎng)格的面。MeshGPT的表現(xiàn)反映了藝術(shù)家創(chuàng)造的網(wǎng)格常見的緊湊特性，與通過等曲面方法從神經(jīng)場(chǎng)提取的密集三角形網(wǎng)格形成了鮮明對(duì)比。受到大型語(yǔ)言模型最新進(jìn)展的啟發(fā)，研究人員采用了基于序列的方法，以自回歸方式生成三角形網(wǎng)格序列。

△TUM和都靈理工大學(xué)的研究人員與奧迪公司合作進(jìn)行的一項(xiàng)研究結(jié)果

第一步是使用圖卷積學(xué)習(xí)潛在量化嵌入的詞匯。這將為我們提供有關(guān)局部網(wǎng)格幾何和拓?fù)浣Y(jié)構(gòu)的嵌入信息。術(shù)語(yǔ)“量化嵌入”指的是一種在自然語(yǔ)言處理（NLP）和機(jī)器學(xué)習(xí)中廣泛使用的技術(shù)，它以離散的形式表示和存儲(chǔ)詞嵌入或連續(xù)值向量。

△生成模型在跨各種語(yǔ)言生成文本方面表現(xiàn)出了良好的能力

這些嵌入經(jīng)過解碼器的排序和解碼，最終被呈現(xiàn)為三角形形狀，確保它們能夠有效地還原原始網(wǎng)格。接下來(lái)，通過使用學(xué)到的詞匯訓(xùn)練變壓器模型，以預(yù)測(cè)下一個(gè)嵌入的索引，從而進(jìn)一步優(yōu)化模型。通過訓(xùn)練，該模型能夠執(zhí)行自回歸采樣，生成新的三角形網(wǎng)格，直接產(chǎn)生具有銳利邊緣和高效三角測(cè)量模式的緊湊網(wǎng)格，更接近于人工網(wǎng)格的表現(xiàn)。

該團(tuán)隊(duì)進(jìn)一步表示，MeshGPT相對(duì)于最先進(jìn)的網(wǎng)格生成方法顯示出顯著改進(jìn)，形狀覆蓋率提高了9%，各個(gè)類別的FID分?jǐn)?shù)提高了30分。與現(xiàn)有方法相比，MeshGPT能夠避免錯(cuò)過細(xì)節(jié)導(dǎo)致過度三角化的網(wǎng)格，同時(shí)避免輸出過于簡(jiǎn)化的形狀。另外，該技術(shù)不僅適用于單一物體的3D模型生成，還可以擴(kuò)展應(yīng)用到生成整個(gè)場(chǎng)景所需的3D資源，包括多個(gè)物體的模型。。