菲龙网编辑部7 发表于 2022-6-23 12:36

AI想象力恐怖如斯:看一眼人体局部,就能脑补5种全身姿势

当AI拥有“想象力”是一种什么样的体验?
像左上角这样,只给出一个凳子的椅座部分,AI就很快就脑补出了一张完整的三维椅子模型:





类似的,当面对经典的“用PS让大象转身”的甲方需求,我们拿到了这样一张汽车屁股的照片:




AI也可以根据已有的局部信息,迅速推断出缺失部分,并最终建模得到一个3D汽车模型。





这项研究成果来自深圳大学黄慧教授带领的研究团队,其论文最近刚刚被计算机视觉领域的顶级会议CVPR 2022接收,论文的第一作者为深圳大学视觉计算中心的研究助理闫星光。
接下来,就来一起看看一张局部照片是如何一步一步变为整体建模的。
一个完整的三维建模的形状通常是通过相机探测和表面取样获得的,而局部照片就意味着只能从物体的可见部分获得信息,导致了不同的采样密度和缺失。
那么这时,就要通过观察已有数据中的非局部的提示,使用各种形式的先验知识推断出缺失部分。
于是,作者首先提出了一种矢量量化(Vector Quantization)的深度隐式函数(Deep Implicit Function),VQDIF。
这是一种三维表示方法,可以将表面形状洗漱地编码为离散的二元组序列,每个序列代表一个局部特征的位置和内容,也就是这样一个过程:





其次,作者提出了一个基于Transformer的自回归模型,ShapeFormer,基于上一步中生成的二元组序列,顺序地预测出完整序列的分布。





这里的Transformer是2014年的一个模型,能够利用注意力机制(Attention)来提高模型训练速度,最初一经推出就在自然语言理解领域(NLP)取得了突破性进展,近几年也有不少将其应用在计算机视觉领域(CV)的跨界研究。
而通过对上一步所预测出的分布进行抽样,可以得到不同的预测结果。





除了像桌椅这种平面形状,AI也在训练中学会了对称性、空心、填充等不少技能,因此也可以生成像是茶壶或水壶这样的三维模型。





作者也在论文中表示,比起已有的许多三维图像生成方法,ShapeFormer产生的结果可以保留更多的原图细节。





同时,这种AI的“想象力”也极为丰富,比如面对人类这样一个姿势具有极大不确定性的生成目标,作者从完整的模型中随机选择一小部分,而AI在保持观察到身体部位的姿势的前提下,还生成了多种可能的姿势。





采写:南都见习记者杨博雯


页: [1]
查看完整版本: AI想象力恐怖如斯:看一眼人体局部,就能脑补5种全身姿势