交大教授盛斌：元宇宙热潮下，应更关注研究应用转化模式突破

图：钱学森在信中将VR翻译成“灵境”
　　“现在国内外各界热烈讨论虚拟现实及元宇宙等概念是好事，也是推动相关学科进步的催化剂，但作为科学研究来说，我认为最重要的可能不在于某个技术或算法的本身本身的进步，而是相关技术对传统科学研究思维范式的突破，对于既往人类生活、运动、及健康管理方式的改变。”上海交通大学计算机科学与工程系教授盛斌接受澎湃新闻（www.thepapewr.cn）专访时表示。
盛斌为国家“万人计划”青年拔尖人才获得者、教育部人工智能重点实验室及上海人工智能研究院智慧医疗技术负责人，在人工智能及虚拟现实（Virtual Reality，VR）领域均有所研究。盛斌课题组基于上海交通大学附属第六人民医院贾伟平院士领衔构建的全球最大规模社区糖尿病眼底影像数据库，构建了糖尿病视网膜病变全病程智能诊断系统——DeepDR系统，实现对糖尿病视网膜病变从轻度到增殖期病变的全病程自动诊断，并能对眼底图像的质量进行实时反馈以及眼底病变的识别分割。论文被《Nature》子刊《Nature Communications》遴选为亮点论文(Editors’Highlights)，被认为是近来国际学术界“在转化及临床研究领域中取得的最重要技术创新和研究成果之一”。
https://www.nature.com/articles/s41467-021-23458-5
　　
在虚拟现实领域，从2019年盛斌团队深度参与由上海体育学院牵头的科技部“科技冬奥”攻关项目中，为中国备战2022北京冬奥会的运动员构建基于虚拟现实的雪车仿真训练平台。由于雪车滑道造价高昂，技术要求极高，目前全世界极少数国家分布着17条雪车滑道，相关场地资源的极度需求极大困扰中国运动员备战比赛。例如由于没有合适的赛道支持，2017年的首届中国雪车锦标赛都是在加拿大卡尔加里举行的。
“在上海体育学院王然教授和高炳宏教授的大力支持和帮助下，我们曾多次征求中国国家队领队、教练和运动员的意见与反馈，其目的就是希望直面困扰中国冰雪运动大规模普及在技术上的卡脖子挑战，进而在根本上通过科技力量推动中国冰雪运动水平提升。在科技冬奥项目支持下，我们通过真实感图形建模与渲染，冰雪滑行中的物理仿真、以及高沉浸式的虚拟现实交互，将虚拟环境下的雪车运动训练转变为具有高水平竞技体验效果的虚拟仿真辅助教学与训练系统，而不是游戏。”盛斌表示。
“冰雪运动不应该仅仅属于谷爱凌”，盛斌笑着说，“虚拟现实技术可以让更多中国青少年体验到冰雪运动带来的快乐。”2019年起盛斌带队研发的冰雪运动虚拟仿真系统及其教学应用被上海市教委遴选为上海市虚拟仿真教学项目及上海交通大学校级一流课程。
2022年1月，在北京冬奥会召开前夕，由上海体育学院王继红副校长牵头，上海交通大学、宝山区教育局及上海人工智能研究院等产学研用单位联合，在教育部支持下组建“智能体育教育部应用实践共同体”，其中的一项任务就是依托盛斌团队研制的冰雪运动虚拟仿真系统，将其推广到上海市宝山区各个中小学的体育教学和科技体验中，帮助更多上海青少年了解并热爱冰雪运动。盛斌说道，“相当于在他内心里留下一点点火苗。”
“我们国家曾长期在冬奥会上的竞技表现不突出，究其原因，首先固然是没有足够的冰雪地理资源，其二是我们对青少年的冰雪运动的知识普及工作存在短板。”盛斌表示。不仅在中国如此，事实上除了举办过冬季奥运会的国家之外几乎没有多少国家会建设这种高投入低产出的专业滑道——大型滑雪场还可以在比赛之后转成民用休闲设施，纯粹专业化的赛道实在难有除训练比赛之外的后续利用的价值。而且雪车运动速度一般可达130公里每小时，世界纪录已经突破200公里每小时，有“雪上F1”之称，出于安全考虑也对参与者有很高专业性要求。
对此，盛斌认为，“不管是钢架雪车、滑雪，还是速滑，这些运动员之所以成功背后固然有其身体条件及兴趣爱好等因素。但中国人口众多，拥有丰富的身体素质适合冰雪运动的运动人才资源，但受到地理气候原因限制，并非所有这些人都能很容易在启蒙阶段就能实地接触到冰雪运动，大量的冰雪天才也许就此埋没，那么，上海交通大学和上海体育学院联合研制的虚拟现实环境中冰雪运动仿真系统，也许能最大程度地帮助中国冰雪运动未来的人才储备，帮助他们迈出冰雪人生的第一步。”
盛斌同时也结合当下炙热的“元宇宙”概念，进一步阐释了冰雪运动虚拟仿真系统背后的技术背景，“我们的冰雪运动虚拟仿真系统可以看成是关于冰雪运动教学的元宇宙应用，而元宇宙可以看成是虚拟现实环境里人类网络化生活的表达形式。虚拟现实中所谓虚拟，就是指采用以计算机技术为核心，结合相关科学领域，生成虚拟的数字化环境，提供人们视觉、听觉、触觉、空间信息以及其他感知；而所谓现实，就是指这样的数字化虚拟环境及其提供给人们的各类感知信息，能让人沉浸其中，产生真实感。”
VR初成熟：眩晕还未完全解决
5G乃至后5G时代，支持VR大规模发展的基础硬件如芯片、传感器、光学元件、显示屏等皆已具备成熟发展条件。使用VR等设备作为接口的元宇宙概念股公司Roblox在2021年3月上市后市值就达500亿美元，后字节跳动收购国内第一家VR厂商Pico又一次引起广泛关注。此外，歌尔集团从2012年开始布局VR/AR产业，目前占据全球中高端虚拟现实头显70%的市场份额，并率先引进世界领先的12英寸纳米压印生产线，打造全球领先的VR/AR高端光学零组件产业基地。
据IDC在2021年11月发布的报告预测，VR头戴设备的出货量将从2020年的约500万台增加到2025年的超过2800万台。Meta（原Facebook）CEO扎克伯格曾表示，在一个平台上需要有约1000万人使用和购买VR内容才能使开发人员持续研发以及获利；而一旦超过这个门槛，内容和生态系统将会实现跨越式发展。
在虚拟现实的国内学术生态建设上，由中国学术界自主创办的虚拟现实领域国际期刊Virtual Reality & Intelligent Hardware（VRIH）创刊不到三年，即于今年1月底被世界上最广泛，最完整的工程文献数据库EI Compendex收录，并即将于今年10月与虚拟现实及图形学领域里历史最悠久的知名国际学术会议Computer Graphics International（CGI2022）联袂组织”元宇宙”专辑，作为VRIH期刊编委，盛斌认为，上述事件均侧面证明了中国虚拟现实学术及产业成果在国际具有日益重要的影响力。
在设计冰雪运动虚拟仿真系统过程中，盛斌体会其中最微妙的地方在于跨越固有知识领域限制，针对一项完全没有过任何前期经验的运动开展真实感建模与仿真，并致力于用虚拟现实与人工智能技术将别人对这个活动的真实体验和感受最大程度地还原与再现出来。“这其实就是元宇宙的魅力之一，要真正做好这件事，除了对于建模、渲染或交互技术一个个难题的攻关之外，很重要的地方也在于把其他学科，如运动生理学、一些设备器材在冰上运动规律等，融会在系统开发过程中。”
赛迪研究院发布的《虚拟现实产业发展白皮书2021》显示，当前虚拟现实产业眩晕、交互等关键核心技术上尚未突破，VR、AR、MR等终端设备的佩戴舒适度和视觉舒适度与舒适体验还有差距。
对于眩晕感，盛斌解释道，“本质上来说，晕眩实际上来自大脑处理‘不够真实的信息’时带来的不适感。如视觉感知上带来的不真实感，画面闪烁、分辨率很低，或光影效果不太正常，都会带来不适。现在有很多处理眩晕的技术，但目前这个问题我觉得并没有被完全攻克。这也是为什么现在很多说元宇宙，但实际体验上还是会卡在设备。”
“终极显示”：未来人类数字化社会的虚拟现实窗口-元宇宙
早在1965年，计算机图形学之父伊万·萨瑟兰曾发表一篇题为《终极显示》（The Ultimate Display）的短文，提出显示技术的终极目标就是使人直接沉浸在计算机控制的虚拟环境之中，就如同日常生活在真实世界一样。“当时对这种显示技术终极状态的预期还是Windows系统的窗口，人可以走进Windows里，就像爱丽丝梦游仙境一样然可以运动，可以听可以看可以摸可以闻。”盛斌说道。
这样的“终极显示”思想延续到了今天就有了“下一代通用计算平台”的说法。2016年高盛发布报告《VR与AR：解读下一个通用计算平台》（AR增强现实，Augmented Reality）。2022年2月，国泰君安发布报告《MR：通向元宇宙的下一代通用计算平台》（MR混合现实，Mixed Reality）。
盛斌透露，他目前正在与上海交通大学讲席教授贾伟平院士团队密切合作攻关，与来自体育科学、临床医学、心理学及脑科学的多学科专家团队协同开展科研攻关，研制面向未来生活中人民健康智能精细化管理的“灵境”系统，希望通过人工智能和虚拟现实去回答当前困扰科学界多年的难题：真实世界体育锻炼与虚拟世界(元宇宙)VR运动各自对于人类身心健康有何影响。
盛斌认为这些努力的背后蕴含着他所坚持的科研信念，“如果我们最后跟机器的沟通通过AR、VR或MR这样的方式，那么通过综合运用多学科交叉知识，基于大数据和高性能通用计算平台，虚拟仿真与人工智能完全可实现对真实世界与人体状态变化规律的模拟与预测。”

图：钱学森在书信中表达关于VR的未来期待

---