300多工程师死磕2年，vivo终于发布自研芯片V1，功耗降低50%

　　

萧箫 晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI

又一家国产手机厂商，闯入芯片赛道。
令人有些意外的是，这次发布芯片的，是素来低调的vivo——
甚至在2019年被曝造芯时，官方并未给出明确回复。
现在，蓝厂一出手，就搞出一颗V1影像芯片，除了生产全部自研的那种。

通常来说，影像芯片业内称之为ISP芯片（图像处理器），专门用于处理手机拍照和视频等影像功能。
举个栗子，一台普通手机连续录制Vlog，几小时后可能就会发烫，甚至没电；但如果自研影像芯片，就能针对手机算法来设计专门的处理单元，防烫的同时也延长使用时间。
从实际效果来看，同一部手机，搭载V1芯片拍摄的夜景视频，在对比度还是流畅度（插帧效果）上都要更好：

更神奇的是，据vivo官方表示，不止影像，这颗V1芯片甚至还能处理别的任务。
这是怎么做到的？
除此之外，这个名为V1的影像芯片，各方面性能又究竟如何？
V1芯片性能几何？
ISP全称Image Signal Processor，即图像处理器。
如果说，GPU决定了手机的游戏性能，那么ISP就控制着手机在拍照上的表现。CPU和GPU相当于手机的“大脑”，ISP则相当于手机的“视觉神经中心”。
V1是由vivo主导开发的影像芯片，专门为实现高速计算成像而生，可协同手机SoC中自带的ISP使用，实现1+1>2的效果。
相比手机主芯片，V1具备超低能耗的优势。为实现照片处理能力的最大化，vivo优化了数据在芯片内部的储存架构和高速读写电路，实现等效32MB的超大缓存，全片上储存。
得益于巨大的上片存储，V1可在1秒内处理30张与普通手机像素相同的照片。

V1也将手机拍照做到了“所见即所得”。以往在默认拍照和录像预览下，由于缓存和功耗问题，拍照界面预览往往和最终成像效果不同，这极大影响了用户拍照体验，而V1能够以低功耗运行，随时开启。

△夜景实时预览成片
除了存储上的巨大吞吐量外，V1还具备算法上的并行能力，它针对高速数据处理进行优化设计，可以在一块芯片内同时进行多个图像成像算法，这让手机的夜景拍摄能力有了极大提升。
在V1的协助下，手机能够以低功耗运行4K 30帧夜景拍摄的实时去噪和插帧。

这是什么概念？
通常旗舰手机ISP可以做到4K 120帧摄像，但这是正常环境光条件下的参数，进入夜景模式后，手机会将多帧合并成一帧来提升画面亮度。
这也是夜景拍摄中图片需要过一段时间才能看到预览的原因。这对V1的处理能力是第一重考验。
此外，多帧合成一帧也会造成画面的帧率较低，观感不佳。因此V1加入了MEMC实时动态补帧，在原本画面降噪提亮任务上又多了插帧，这是对V1的第二重考验。

而V1不仅能完成这一系列复杂任务，还能利用专用算法硬件电路将功耗降低50%。
配合手机主芯片本来就具有的降噪功能，vivo即将发布的X70系列实现了一次拍摄二次提亮和二次降噪，达到了“叠加buff”的效果。
由于V1低功耗的特点，能让手机拍照录像更加节能，拍照出片慢、手机发热严重的问题也得到解决。

为何自研影像芯片？
今年以来，已有多家手机厂商发布影像芯片，为何手机厂商纷纷入局这一领域呢？
首先，不得不承认，国产厂商在手机芯片方面和国外公司仍有一定的差距，研发一款手机SoC的周期又较长，因此想在短时间内实现弯道超车并不太实际。
然而，智能手机发展到今天，却带给了厂商们一个绝好的机会。因为手机拍照的重要性越来越高了。
从发布会也可见一斑，拍照和摄像占据的篇幅越来越大。同时，用户对于夜景、长焦、美颜等拍照场景的要求也越来越高。

研发影像芯片无疑是硬件自研一个极好的切入点。
无论是夜景中多张照片合成提升亮度、降低噪点，还是物体边缘锐化、人物背景虚化，更不用提基础的对焦、白平衡。以上这些都离不开ISP对图像信号的处理。
如果ISP性能不够，就会出现“小马拉大车”，让手机力不从心。所以有些手机在长时间拍照后会出现长时间无法显示照片、过热关机等状况。
而照片处理是一项“专门”的技能。
不同手机、不同镜头、不同目标用户都使用相同的ISP，显然不能针对硬件做出很好的专门优化。
另外，就像电脑中显卡对AI加速一样，ISP也能对拍照算法进行优化，问题是提供软件算法的手机厂商和提供硬件芯片供应商往往不能很好契合。打个比方，就如同让3米板的选手参加10米跳台一样。
因此，曾经以“照亮你的美”、一向重视拍照的vivo决定从影像着手，入局芯片研发。

从2017年开始，vivo先后在深圳、台北、东京、圣地亚哥等全球多个国家和地区建立了7个影像研发中心，影像及相关领域的团队规模已经超1000人。
据vivo介绍，图像处理器V1完整项目研发历时24个月，投入研发团队超300人。
终于V1在今年9月面世，不久后vivo还将发布搭载V1芯片的X70系列手机，这样软件工程师为X70系列手机设计的拍照算法就能“固化”在V1芯片中。
其优点就是V1为X70算法而生，运算效率更高、更节能、拍照延迟更低。vivo通过自研影像芯片V1与主芯片软件算法协作，实现软硬结合，改善用户的影像体验。
显然此次造芯，vivo并非为造而造——
实际上vivo对于影像技术的预研比外界想象得更加长远。

影像是vivo的重中之重，被vivo视为核心长赛道之一，已投入和研发达五年以上，实现了多项业内第一，比如手机上首个微云台防抖技术。
V1不过是vivo在影像领域的一张答卷而已。
为何是vivo？
自华为、小米后，vivo迅速成为国内第三家自研芯片的手机厂商。
然而，从技术和行业来看，自研影像这件事其实并不简单。
技术上，影像芯片同样有自己的技术壁垒，本身就具有一定难度。
影像芯片的研发，并非仅仅设计出一个框架那么简单，还需要面临算法调校、新功能测试、技术长期积累等难点。
在算法这块，影像芯片中不少模块的算法会相互牵制影响，要想将诸多影像算法融合进芯片中，发挥出最大的作用，需要大量的调校工作；
在功能这块，从vivo这次发布的V1芯片就能看出，ISP早已不只是一个图像处理器，还需要自研更多新功能，来保持图像处理性能的领先、同时实现更多“辅助技”；
在经验这块，影像芯片技术需要长期积累，这又进一步增加了它的研发难度，同时由于学习周期长，也造成相应人才不足，需要公司长期的投入，来形成领先的影像芯片技术。

行业上，研发影像芯片又已经成为手机影像打出差异化的重要元素之一。
一方面，如果每个厂商只用一样的手机芯片，即使自研出的算法不同，硬件运行上也同样无法形成差异化的效果；在SoC芯片选项不多的情况下，谁先自研出影像芯片，谁就握住了影像性能的发言权。
另一方面，从苹果、三星等国外手机厂商，到华为、小米这样的国内手机厂商，纷纷投身影像芯片自研，其实也在透露一个信号——
影像芯片自研，已经不再是手机可有可无的“新亮点”，而正在成为高端机型的兵家必争之地。
要想在红海市场中生存下来，只有去自研芯片、去定义能力，才能真正做到手机成本可控、算法性能更强，从而在高端机中站稳脚跟。
技术有难度，行业竞争中又不可或缺，这种情况下，vivo的决心成就了如今的V1芯片。
技术难，就提前验证算法，不断改进影像算法、芯片性能和镜头硬件，将芯片与手机融合做到最好，达到能在X70系列上设置专业模式的水准，甚至连log调色都已经实现；

△专业模式下的log调色
周期长，就提前预研布局，甚至从X1开始就有Hi-Fi芯片，到X9 Plus搭载的定制DSP芯片，前几年与三星共同研发Exynos芯片，其实都是在为自主研发芯片提前布局。
以此看来，搭载V1芯片、与蔡司联合研发影像系统的vivo X70系列，理应也值得期待。

---