图像转换3D模型只需5行代码，英伟达推出3D深度学习工具Kaolin

近年来，3D计算机视觉和人工智能都取得了快速发展，但是要将它们有效地结合起来，还有很长的路要走。基于此，Avida今天推出了高岭土PyTorch图书馆。在这个库的帮助下，只需几个步骤就可以将3D模型转移到神经网络的应用类别中。

此外，高岭土库可以大大减少为深入学习准备3D模型的工作量，代码可以从300行减少到只有5行。

作为一个旨在加速3D深度学习研究的PyTorch库，高岭土为深度学习系统中使用的可区分3D模块提供了有效的实现。高岭土不仅可以加载和预处理流行的三维数据集，还具有操作网格、点云、符号距离函数和体素网格的局部功能，从而减少不必要的样本代码编写。

高岭土库包括几个不同的图形模块，如渲染、照明、阴影和视图扭曲。此外，高岭土库还支持一系列用于无缝评估的损失函数和评估指标，并提供可视化功能来渲染3D效果。重要的是，Avida已经创建了模型动物园，其中包含许多当前最佳的3D深度学习架构，作为未来研究的起点。

这些工具可以让机器人、自主驾驶、医学成像和虚拟现实等许多领域的研究人员受益。随着人们对3D模型兴趣的增加，Avida的高岭土库在这一领域会产生重大影响。现在，在线存储库(repo)拥有许多3D数据集，这部分归功于世界各地使用的大约3000万台深度相机，它们可以捕捉3D图像。

GitHub地址:https://github.com/NVIDIAGameWorks/kaolin/

那么高岭土图书馆的具体展示效果是什么？英伟达给出了以下实际应用示例:

在3D场景中，对象通过分类功能进行识别(椅子在图中进行识别)

3D组件分割功能可以自动识别3D模型的不同组件。这使得更容易“装备”动画角色或定制模型来生成对象变体(图左侧的3D模型有衣服、鞋子等)。在图的右边)

Image to 3D(Image to 3D)功能可以基于训练好的神经网络识别的图像构建3D模型(椅子的3D模型是在图的右边生成的)

目前，Avida推出的beta高岭土库包括网格、体素、符号距离函数和点云的3D深度学习的几个处理功能。几种流行的加载数据集(如ShapeNet、ModelNet和SHREC)支持开箱即用。此外，Avida还实施了几项3D迁移和转换操作。

高岭土库支持的3D任务如下:

支持的平台

高岭土已经获得了Linux平台的官方支持，并在Ubuntu 18上进行了构建和测试。在视窗和苹果平台上也应该考虑试点支持。

安装步骤

Avida建议用户在虚拟环境(如conda或virtualenv创建的虚拟环境)中安装高岭土库。高岭土需要3.6或更高版本的蟒蛇皮，目前需要CUDA支持的机器(即nvcc安装)进行施工。

首先创建一个虚拟环境。以下示例显示了如何创建安装高岭土库所需的conda虚拟环境:

然后安装相关的依赖项(numpy和torch)。请注意，安装文件不会自动安装这两个依赖项。

然后安装Pytorch，这样就可以安装高岭土库。最后，根据repo的根目录(即包含自述文件的目录)，运行:

可微分渲染器(神经网格渲染器、软光栅化器、基于可微分插值的渲染器以及模块化和可扩展的抽象可微分渲染器规范)；基于单个图像(如像素2网格、几何图形、占有率等)的网格重建。)；点云分类和分割(pointnet、PointNet、DGCNN等)。)；网格分类和分割；体素网格的三维超分辨率；基本图像处理(如高光、阴影等)。)。