AI想象力恐怖如斯：看一眼人体局部，就能脑补5种全身姿势

当AI拥有“想象力”是一种什么样的体验？
像左上角这样，只给出一个凳子的椅座部分，AI就很快就脑补出了一张完整的三维椅子模型：

类似的，当面对经典的“用PS让大象转身”的甲方需求，我们拿到了这样一张汽车屁股的照片：

AI也可以根据已有的局部信息，迅速推断出缺失部分，并最终建模得到一个3D汽车模型。

这项研究成果来自深圳大学黄慧教授带领的研究团队，其论文最近刚刚被计算机视觉领域的顶级会议CVPR 2022接收，论文的第一作者为深圳大学视觉计算中心的研究助理闫星光。
接下来，就来一起看看一张局部照片是如何一步一步变为整体建模的。
一个完整的三维建模的形状通常是通过相机探测和表面取样获得的，而局部照片就意味着只能从物体的可见部分获得信息，导致了不同的采样密度和缺失。
那么这时，就要通过观察已有数据中的非局部的提示，使用各种形式的先验知识推断出缺失部分。
于是，作者首先提出了一种矢量量化（Vector Quantization）的深度隐式函数（Deep Implicit Function），VQDIF。
这是一种三维表示方法，可以将表面形状洗漱地编码为离散的二元组序列，每个序列代表一个局部特征的位置和内容，也就是这样一个过程：

其次，作者提出了一个基于Transformer的自回归模型，ShapeFormer，基于上一步中生成的二元组序列，顺序地预测出完整序列的分布。

这里的Transformer是2014年的一个模型，能够利用注意力机制（Attention）来提高模型训练速度，最初一经推出就在自然语言理解领域（NLP）取得了突破性进展，近几年也有不少将其应用在计算机视觉领域（CV）的跨界研究。
而通过对上一步所预测出的分布进行抽样，可以得到不同的预测结果。

除了像桌椅这种平面形状，AI也在训练中学会了对称性、空心、填充等不少技能，因此也可以生成像是茶壶或水壶这样的三维模型。

作者也在论文中表示，比起已有的许多三维图像生成方法，ShapeFormer产生的结果可以保留更多的原图细节。

同时，这种AI的“想象力”也极为丰富，比如面对人类这样一个姿势具有极大不确定性的生成目标，作者从完整的模型中随机选择一小部分，而AI在保持观察到身体部位的姿势的前提下，还生成了多种可能的姿势。

采写：南都见习记者杨博雯

---