Shap-E：文本生成3D
5月6日，ChatGPT母公司OpenAI发布了最新开源项目Shap-E，通过文本或图像就能生成3D模型。
短短三天，Github上的star数已经达到4.5k。这个模型可以在GitHub免费下载，且可以在电脑上本地运行而不需要使用OpenAI API密钥。此外，HuggingFace Hub上也已经上线了该模型，可以免费体验。
Shap-E采用了新的训练方法，是真正意义上的"3D-generated"模型，相比其他3D生成模型有更快的生成速度和更优秀的渲染效果。
Shap-E使用隐式表示法可以生成既有NeRF也有纹理网格的3D模型，这使得生成的模型可以轻松导入到3D软件中进行后续处理。相比之下，其他模型如Get3D只能生成网格，Point-E只能生成点云。
OpenAI表示，在使用大型3D和文本对应数据集进行训练后，Shap-E可以在几秒钟内生成复杂且多样化的3D模型，速度比Point-E更快，并且比DreamFusion等其他模型更快。
Shap-E的网络结构
与最近关于三维生成模型的工作不同的是，Shap-E直接生成隐式函数（Implicit Function）的参数，这些参数可以被渲染成纹理网格（Textured Mesh）和神经辐射场（Neural Radiance Field）。
Shap-E的训练分为两个阶段：首先，训练一个3D编码器（Encoder），将3D物体确定性地映射为隐含函数的参数；之后，在编码器的输出上训练一个条件扩散模型（Conditional Diffusion Model），能够输入图像或文本描述来生成3D物体。
3D编码器的结构：编码器以16k分辨率的RGB点云和渲染的RGBA图像（每个像素额外提供XYZ坐标）作为输入。输出MLP的参数，作为NeRF和Signed Texture Field（STF）。
解码器：在NeRF预训练之后，解码器预测SDF值和纹理颜色以构建Triangle Mesh，使用PyTorch3D进行rendering。
与OpenAI先前发布的点云生成模型Point-E相比，Shap-E收敛得更快，并且生成的样本质量更好，尽管它所建模的是一个更高维的的输出。
Shap-E实际表现如何？
和现在测试的很多AI模型一样，Shap-E充满了潜力，但当前的输出效果还算不上十分出色。
当输入一些提示文字并尝试生成对象时，大部分情况下，得到的物体都缺少关键细节且分辨率不高。
此外，无论是进行文本还是图像到3D处理，Shap-E都需要大量的系统资源。在一台RTX 3080 GPU和Ryzen 9 5900X CPU的台式机上，大约需要五分钟才能完成一个渲染。在一台Asus ROG Strix Scar 18配备有RTX 4090笔记本GPU和Intel Core i9-13980HX处理器的高端电脑上，这个时间大约为两到三分钟。
换句话说，如果要使用Shap-E，请确保您拥有Nvidia GPU，否则就需要等待更长的时间。
3D生成技术的未来展望
目前，3D生成技术仍处于起步阶段，与文本生成和图像生成技术相比，3D生成需要使用的算法更复杂，计算力需求更高，可用于训练的高精度3D模型数量非常有限。但由于不少公司都已经涉足其中，我们可以看到3D生成这条新兴的道路正变得越来越热门。
与NVIDIA、谷歌和OpenAI等公司相比，OpenAI的研究重点主要集中在验证算法的可行性上。Shap-E模型采用的隐式表示方法可以将生成的物体呈现为NeRF和纹理网格3D表示，从而使生成的模型可以轻松地导入3D软件进行处理。相比之下，Get3D只能生成网格，而Point-E生成的则是点云。
总的来说，Shap-E是目前速度最快的3D模型生成器——OpenAI表示，Shap-E“可以在使用与3D和文本相对应的大型数据集进行训练后，在几秒钟内生成复杂且多样化的3D资产。”此前，Point-E已经实现了二级生成，而Shap-E由于推理步骤更少的原因，生成速度甚至比Point-E还要快。
AI+3D未来或将变革VR、游戏等领域
尽管如此，我们也必须承认，当前的3D生成技术仍处于非常初级的阶段。随着不断迭代和训练投入，生成式模型可能会比我们更快地吸收信息并取得更好的成果。毕竟，在刚刚过去的一年里，Midjourney这样文生图的产品已经被广泛使用。3D的生成技术也肯定会对VR、游戏制作等领域产生巨大的影响。
免费体验：https://huggingface.co/spaces/hysts/Shap-E
Github：https://github.com/openai/shap-e
论文链接：https://arxiv.org/abs/2305.02463
更多内容欢迎关注我的个人公众号【THU智能魔术师】