用VR模拟视觉变焦，如何呈现逼真的3D遮挡关系？

发布时间：2021-01-15 20:58:05来源：青亭网

Esther｜编辑

为了提升VR显示效果，以及人眼对立体视觉的适应感，头显厂商探索了多种方式：基于眼球追踪的注视点渲染、通过机械移动屏幕来实现的可变焦显示方案等等。尽管这些技术要比普通的2D显示技术复杂得多，但对于舒适且清晰的VR显示效果来讲必不可少。

其实，上述的一些VR显示方案也有点人眼仿生的感觉，然而人的视觉系统要复杂得多，不仅能够实时自然变焦，还通过各种不同的信号来感知3D空间的深度，比如：差异、视觉调节、运动视差、遮挡等等。

Facebook的HalfDome或是CREAL的可变焦AR/VR光场显示方案，展示了模拟人眼变焦对画面自然感和立体感的提升。不过可变焦显示方案依然存在一些痛点，比如：通常光线在远近不同焦距显示虚拟物体时，由于模拟的焦点平面是透明的，渲染的虚拟画面并不能像真实物体一样遮挡光线，因此大幅弱化远近不同焦距的物体之间的遮挡效果，以至于模拟的远近关系也不够明显。

举个例子，在VR中同时渲染远处的蓝色网格背景，以及近处的绿色恐龙，但视线落在恐龙上时，依然能看到透出的蓝色网格，仿佛前后两个画面叠加在一起，失去了正确的遮挡关系。

为了进一步提升可变焦VR显示的效果，卡内基梅隆大学与以色列理工学院组成的科研团队研发了一种可变焦VR显示方案：ConeTilt，其特点是通过显示屏上的纯相位空间光调节器来调整每个像素的发光角度，来控制被近景遮挡的远处图像，也就是说近景背后的部分不再显示，仅显示近景物体边缘外的部分，营造出一种物理遮挡的效果，以提升视觉在不同焦点上切换的深度连贯性。

注：ConeTilt的两位研发者分别是RickChang和AswinSankaranaryanan，其中Chang是苹果的一名机器学习研发人员，研发方向包括计算摄影和显示、计算机视觉、机器学习。

据了解，为了解决可变焦显示的遮挡问题，原本是计划采用光场显示技术，利用角分辨率来控制光源，模拟虚拟物体之间的遮挡。但实际操作发现，模拟遮挡所需要控制的角分辨率过高，以至于会大幅降低画面的分辨率。

后来发现，其实只需要改变发光的角度即可营造遮挡效果，于是研发了ConeTilt方案。

利用上述原理，科研人员开发了一个ConeTilt原型显示方案，该方案包含高速的数字微镜投影模组、可调焦的透镜和空间光调节器的控制电路。

具体来讲，ConeTilt方案中光线移动的路径如下：从LED光源到数字微镜投影模组，然后再经过空间光调节器，通过可调焦的透镜，最后进入使用者眼中。

ConeTilt方案为可变焦VR显示技术带来的好处是，降低了对硬件算力的要求，而且可变焦显示无须渲染散焦模糊的部分。同时，不用眼球追踪或重新渲染，利用ConeTilt就能进一步提升可变焦和深度的逼真感。

与一般的可变焦VR显示技术相比，ConeTilt大幅降低远景与近景之间的透光情况，提升物体之间的遮挡效果。

当你改变视角时，近景也能够实时改变对远景的遮挡，即使远景并未对焦。相比之下，一般的可变焦VR显示屏难以做到这一点，近景的图像甚至可能透出远景的内容，容易给人一种错误的远近关系。

在验证实验过程中，科研人员将VR中的3D场景分为近景和远景两部分，并为这两部分分别设置两种不同的空间光调节规律。在显示近景的时候，光线不需要调整方向，因为近景未受遮挡。而远景被视觉遮挡的部分则不再投射光线，但VR使用者改变视角时，显示远景的光线也会实时调整角度。

为了简化数字微镜与相位空间光调节器同步的过程，科研人员将近景与远景分开渲染，并通过后期处理来叠加。

此外还发现，改变图像质量的关键在于显示屏配备的视场透镜，加入视场透镜后求导的工作变得更简单，得出的相位公式也更容易自然理解。

在研发过程中，科研人员遇到两大挑战，比如：将透明的相位空间光调节器与数字微镜元件对准（对准每一个像素），于是改变了相位空间光调节器的偏振状态，将它的效果变得更像是偏振空间光调节器。

第二大挑战是，运行空间光调节器使用的单色光源会造成严重的斑点瑕疵，于是改为采用足够狭窄的LED光源，减少了相位畸变、斑点。

总之，Chang和Sankaranaryanan的这项研究为未来提升可变焦VR显示效果带来更多可能，它不仅进一步优化可变焦显示的计算效率，而且也不需要额外的眼球追踪或是后期渲染即可运行，有望大幅提升可变焦VR的体验感。

（END）

推荐阅读

每天五分钟，轻松了解前沿科技。——青亭网