3D视觉原理及3D视频重建

如图1.1所示，由于左右眼在水平方向上间隔一定距离，观察同一物体时，左眼和右眼视线方向不同。实物在左眼和右眼视网膜上的成像稍有差异。图1.1中，Ol和Or分别表示左眼和右眼晶状体中心。当双眼聚焦于实物上的点M时，点M分别通过晶状体中心Ol和Or，在左眼和右眼视网膜成像中心生成像点ml和mr。非聚焦点P分别通过Ol和Or在视网膜上生成像点pl和pr。像点pl、ml之间距离与pr、mr之间距离的差异称为双目视差，大小与点P离开双眼的距离成反比。

具有视差的左右眼两路影像经过视觉神经传输到大脑视觉中枢后，经过视觉中枢的整合与分析，产生立体影像。人类大脑对双眼影像的整合和分析能力是在后天形成的。四个月以下的婴儿左眼看左边发生的事，右眼看右边发生的事，他们的大脑还不能将具有双目视差的影像整合成立体影像。学会爬行后，婴儿通过与真实世界的触碰逐渐形成距离感觉。偶尔的晶状体调节过程与距离感觉形成过程相伴随，带来视网膜影像的变化。当婴儿习惯了根据距离感觉控制晶状体调节过程时，便渐渐形成了3D视觉。

图2.1 3D电影原理示意图 (图片引自: zol.com.cn)

了解人脑产生3D感觉的原理后就能很好地理解3D电影原理了。3D电影拍摄时需要并行的左右两路摄像机同时对场景进行拍摄，以模拟人类双眼视物过程。影院播放时，两台偏振光源投影仪分别将左摄像机和右摄像机拍摄的视频以偏振方向相互垂直的两路偏振光投影到屏幕上。

为了保持光被屏幕反射后的偏振性，3D屏幕表面一般都涂满了紧致细密的金属分子阵列。如果不佩戴3D眼镜，观众在屏幕上看到的图像是模糊的，那是两路偏振方向相互垂直的光源重叠的结果。与两路光源对应的3D眼镜左右两个偏振片的透光方向也相互垂直，由于偏振光几乎不能通过透光方向与之垂直的偏振片，所以佩戴眼镜后，左眼只接受左投影仪的视频，右眼只接受右投影仪的视频，最终两路视频分别通过左右眼视觉神经传输到大脑中枢，形成3D影像。

自动化2D视频转3D方案

真正高质量的自动2D视频转3D工作还有很多内容需要深入研究。正如导演卡梅隆指出的那样：“至少目前，2D视频的3D重建不要寄希望于有自动的过程。这项工作是一个高度主观并且机械性的人工劳动。必须逐帧地提取画面中的深度信息。”3D版《泰坦尼克号》的转制花费了三家视频处理公司近三百多位工程师两年的时间。电影中的每一帧都进行了精心处理，包括确定物体遮挡关系、重建物体网格模型、恢复曲面曲率信息和深度信息等。

本文介绍一种适用于特定场景的自动化2D视频转3D方案(参考南京邮电大学刘天亮老师团队专利)。该方案对2D视频拍摄场景有这些限定：(1)拍摄场景主体为静态场景，如房屋树木等；(2)拍摄时，摄像机大体沿水平方向移动; (3)摄像机移动速度大体连续。此方案自动化程度较高，在街景3D重建领域有一定的实用价值。方案的过程示意图如下：

图3.1 自动化2D视频转3D方案

图中的参考帧和目标帧是从2D视频序列中按照一定帧间隔选取的两帧图像，这两幅图像中的大部分内容是关于同一个场景的。由于摄像机只是大体沿水平方向移动，移动过程中垂直方向上不可避免地会产生偏移，导致参考帧与目标帧中对应的像素点不一定在同一水平线上。极线校正模块的作用是将参考帧与目标帧中对应的像素点校正到同一水平线上，只有满足了这个条件，才能通过立体匹配模块求解目标帧的视差图。

反校正系统用于消除极线校正模块对图像引入的几何形变，输出与目标帧各像素位置匹配的视差图。最后，虚拟视点图像生成模块根据视差图对目标帧进行像素平移，并填补像素平移产生的空洞，生成与目标帧对应的虚拟视点图像。这个虚拟视点图像与目标帧组成立体图像对，将该过程应用于原始2D视频序列中的每一帧后，就能到由虚拟视点图像序列组成的虚拟视点视频。

借助3D播放设备播放这两路视频，并佩戴3D眼镜，就能体验到3D视觉了。下面的图片是转化方案中部分模块中的示例图像(注: 参考帧与目标帧图像提取自浙江大学章国锋博士公开发布的‘Road’视频序列)：

图3.2 参考帧图像、视差图、虚拟视点图像

从图3.2中可以看到，最右边的虚拟视点图像中交通标志牌下的杆子产生了扭曲，这是自动化3D重建过程引入的人工痕迹。

一般实践中会选择原始视频作为右眼视频，带有人工痕迹的虚拟视点视频作为左眼视频进行投影。这不是随意的选择，而是自然界中“主视眼现象”产生的影响。所谓“主视眼”即人类看物体时主要依赖的那只眼睛，主视眼负责了大脑60%左右的视觉信息的输入。据统计，人群中大部分人以右眼为主视眼。

因此，选择将虚拟视点视频作为左眼视频，对大部分人来说，可以有效减少虚拟视点视频中人工痕迹的影响。（p.s.识别主视眼方法：在近处的墙上找一个参考点，开关、门把手等都可；伸直手臂，竖起一根食指，移动手臂使得食指差不多可以在视觉上将这个参考点遮挡掉，过程中保持双眼聚焦在参考点上；闭上左眼，再睁开，然后闭上右眼，再睁开，看哪个眼睛闭上的时候在水平方向上参考点离开食指较远的距离，那只眼睛就是主视眼）。

返回搜狐，查看更多