1.3 树木深度图初始化

在1.1节中，已经通过局部特征对树木的树冠部分进行了分割。分割后的树冠图像由若干个较为均匀的区域组成，认为每个区域具有不同的深度信息，并且同一区域中的深度信息是近似相同的。由此，可以在树冠区域分割结果的基础上应用与树冠结构相对应的深度梯度模板，作为初始深度图。对于树冠图像中的任意区域$\mathit{\boldsymbol{R}}$，与其对应的深度模板中的区域平均深度作为目标树木图像的树冠区域的初始化深度，即

$ D\left( \mathit{\boldsymbol{R}} \right) = \frac{1}{{\left| \mathit{\boldsymbol{R}} \right|}}\sum\limits_{\left( {x,y} \right) \in \mathit{\boldsymbol{R'}}} {D\left( {x,y} \right)} $

(1)

式中，$\mathit{\boldsymbol{R}}$为树木对象结构分析和区域分割后的任一分割区域，${\mathit{\boldsymbol{R'}}}$是该对应深度模板中的相同区域，${\left| \mathit{\boldsymbol{R}} \right|}$指区域$\mathit{\boldsymbol{R}}$中的像素个数，${D\left({x, y} \right)}$指区域${\mathit{\boldsymbol{R'}}}$内的某一像素点的深度值。

对于典型树木而言，通过树木结构分析结果中的树冠形状与4种典型树木类型的主视图进行匹配，选择相似度最高的树木类型对应的深度模板进行初始化；对于非典型树木，通过指定一个或多个基础深度梯度图作为个性化模板来完成深度图的初始化。在生成初始化树木深度图像时，采用双边滤波器^{[ 15]}对深度图进行平滑处理。 图 8所示为部分树木对象的深度图初始化情况， 图 8中以红、黄、蓝的颜色层次顺序来表现深度信息的差异。其中红色区域表示的深度距离观察点最近，其次是黄色，最后是蓝色。需要注意的是，颜色的变化仅显示单幅图像中树木个体的深度信息相对变化值，并不能作为两幅图像间的深度对比。

图8 基于模板的树木深度图初始化

Fig. 8 The initialization of tree depth map based on template

" href="PIC/zgtxtxxb-23-9-1382-8.jpg">

图 8 基于模板的树木深度图初始化

Fig. 8 The initialization of tree depth map based on template

2 树木图像与背景图像合成的立体图像构建

2.1 在合成背景图像中的树木深度自适应调整

当树木合成特定场景的图像时，需要根据具体场景的深度信息来调整树木本身的深度信息，否则将会因为合成进去的立体树木与前后景深度差异过大而使得视觉效果不佳。

首先，利用Smith等人^{[ 16]}提出的较为经典的图像深度估计方法对背景立体图像对实施深度估计，获得背景图像的深度图。然后，为了实现深度信息在背景图像对中的自适应调整，需要确定树木与背景的深度融合点。融合点应位于树木的树根底部的中心点位置。根据树木的主干的竖直结构特征，自适应调整后主干的深度应同融合位置区域的深度一致。为了避免背景图像深度图中的噪声影响，选取背景深度图中以$\mathit{\boldsymbol{R}}$为中心的小面积邻域${\mathit{\boldsymbol{N}}_r}$内的平均深度值，并把该深度值作为主干所处的深度${D_t}$，即

$ {D_t} = \frac{{\sum\limits_{\left( {x,y} \right) \in {\mathit{\boldsymbol{N}}_r}} {D\left( {x,y} \right)} }}{{{S_{{N_r}}}}} $

(2)

式中，${{S_{{N_r}}}}$表示背景深度图中以$\mathit{\boldsymbol{R}}$为中心的小面积邻域$\mathit{\boldsymbol{N}}_r$内的像素点的总数。

若目标树木初始化时的主干深度值为${D_0}$，则此时主干底部深度变化值为${D_0} - {D_t}$。若背景图像对最大深度和最小深度分别为${D_{\max }}$和${D_{\min }}$，${D_1}\left(p \right)$是点$p$对应的树木初始化深度值，${D_2}\left(p \right)$是除树木中的主干像素点外其他任意像素点$p$自适应调整后的深度值，$\left({{D_0} - {D_t}} \right)/\left({{D_{\max }} - {D_{\min }}} \right)$即是主干部分的深度值变化率，则有

$ {D_2}\left( p \right) = {D_1}\left( p \right) \times \left( {1 + \frac{{{D_0} - {D_t}}}{{{D_{\max }} - {D_{\min }}}}} \right) $

(3)

立体树木图像会根据背景对应位置的深度信息自适应调整，得到与背景深度信息相一致的深度图像。 图 9展示了树木深度图通过深度自适应调整方法处理后的变化，其中， 图 9(a)是背景图像对的深度图，${R_1}$、${R_2}$和${R_3}$分别是指定的3个树木将要合成的位置； 图 9(b)是通过深度模板方法形成的目标树木的初始深度图； 图 9(c) (d) (e)依次为树木初始深度图在背景深度图中${R_1}$、${R_2}$和${R_3}$处的深度值影响下进行自适应调整后的深度图。

图9 树木深度信息的自适应调整

Fig. 9 The adaptive adjustment of tree depth map

((a)corresponding position; (b)initial depth map; (c)${R_1}$; (d)${R_2}$; (e)${R_3}$)

" href="PIC/zgtxtxxb-23-9-1382-9.jpg">

图 9 树木深度信息的自适应调整

Fig. 9 The adaptive adjustment of tree depth map

((a)corresponding position; (b)initial depth map; (c)${R_1}$; (d)${R_2}$; (e)${R_3}$)

通过在不同目标融合位置点的深度自适应变化情况可以发现，经过树木深度的自适应调整可以使树木的深度图更适应具体的背景。由此说明，本文的树木深度自适应调整方法有助于树木的深度信息与背景深度信息的匹配度更高，使得深度信息更符合真实场景的实际需要。

2.2 深度值与景物的遮挡关系

树木立体图像对与背景图像对进行合成时，需要将前后景对应的左视图相融合、右视图相融合^{[ 17]}。由于场景中的不同物体所处的深度位置不一样，因而需要考虑物体之间的遮挡关系, 即较近的物体应遮挡较远的景物。

在本文方法中，对立体图像深度融合的同时，需要将前后景中物体的深度信息进行比较。已知较大深度值代表较近的距离，这样的基于遮挡关系的深度融合后的深度图为

$ \mathit{\boldsymbol{R}}\left( {x,y} \right) = \left\{ {\begin{array}{*{20}{l}} {Fg\left( {x,y} \right)}&{{D_{fg}}\left( {x,y} \right) \ge {D_{bg}}\left( {x,y} \right)}\\ {Bg\left( {x,y} \right)}&{{D_{fg}}\left( {x,y} \right) < {D_{bg}}\left( {x,y} \right)} \end{array}} \right. $

(4)

式中，${{D_{fg}}\left({x, y} \right)}$是树木图像的中任意像素点对应的深度值，${{D_{bg}}\left({x, y} \right)}$是背景立体图像的深度图中任意像素点所对应的任意深度值。${Fg\left({x, y} \right)}$是树木图像中的任意像素点，${Bg\left({x, y} \right)}$是背景立体图像中的任意位置像素值。

基于上述原则，对树木的立体图像对与背景进行了深度融合，选择不同位置的融合点后，可以得到 图 7所示的几个不同位置的融合结果。 图 10(a)为树木在背景场景中具体位置后的整体深度图； 图 10(b)是对场景的深度图进行彩色映射处理的结果，其中，景物距离观测点的距离由近至远依次为红、黄、蓝的顺序。 图 10(c) (d)分别为经过基于遮挡的图像合成后的立体图像的左眼视图和右眼视图。经过基于遮挡的树木图像的立体合成，树木与周围场景间具有明显的相对位置关系和层次关系。

图10 立体图像中的景物遮挡关系

Fig. 10 Scene occlusion in 3D images((a)depth map; (b)depth change mapping; (c)left eye view; (d)right eye view)

" href="PIC/zgtxtxxb-23-9-1382-10.jpg">

图 10 立体图像中的景物遮挡关系

Fig. 10 Scene occlusion in 3D images((a)depth map; (b)depth change mapping; (c)left eye view; (d)right eye view)

3 实验

3.1 立体树木图像构建的相关实验

如 图 11所示，给出5组树木立体图像制作的效果图。其中， 图 11(a)是目标树木图像； 图 11(b)是立体背景图像的左眼视图； 图 11(c)是立体背景图像的右眼视图； 图 11(d)是在背景图像中对树木进行深度融合操作后的深度图进行彩色映射后的显示，其中，从视点到景物的距离从近至远依次为红色、黄色、蓝色。 图 12依次为经本文方法构建而成的红蓝立体图像对效果图，在观看时需要佩戴红蓝立体3D眼镜。从 图 12的5幅立体图像中可以看出，通过本文方法构建并合成到背景图像中的树木，具有鲜明的层次性与立体感，而背景图像中原来的植物则呈现出片状与块化，没有表现出其结构。

图11 立体树木图像构建示例

Fig. 11 The sample of 3D tree image construction

((a)target trees; (b)background left eye view; (c)background right eye view; (d)depth maps)

" href="PIC/zgtxtxxb-23-9-1382-11.jpg">

图 11 立体树木图像构建示例

Fig. 11 The sample of 3D tree image construction

((a)target trees; (b)background left eye view; (c)background right eye view; (d)depth maps)

图12 本文方法所构建的红蓝立体图像

Fig. 12 Red-blue 3D images constructed by our method

" href="PIC/zgtxtxxb-23-9-1382-12.jpg">

3.2 立体图像质量的主观评价

为了更好地对立体图像的视觉效果进行评价，组织了32位从事立体视觉相关研究的评估者按照具体评价细则和评价说明对5组示例立体图像进行主观评分^{[ 18]}。主观评分按照 表 3中的各个评价项目给出百分制的分数。每一评价项目中，各小项的评分平均值作为该项目的评分。其中，在对舒适度进行评价时，观察者需佩戴红蓝立体眼镜。对所有评分报告进行回收统计，在均值化计算后得出各示例图像在立体图像对质量、深度图质量和立体舒适度情况3个方面的评价结果，如 图 13所示。

表 3 立体图像质量评价项
Table 3 Quality evaluation items of 3D images

下载CSV

立体图像评价项	深度图评价项	舒适度评价项
景物的可辨性和图像的完整性	深度图像的层次性	目标对象的立体感
纹理的清晰细腻程度以及线条中途的断裂情况	深度信息的连贯性 (物体边缘深度过渡是否平坦)	景物分布的层次效果是否明显
色彩的自然程度和失真情况	深度信息的细致和详尽程度	视觉重影和视觉模糊现象的程度
区域变化是否自然	深度信息的完整度	短时间内观察有无眩晕感
景物的遮挡关系是否符合客观规律	深度信息是否符合客观规律	立体图像的整体协调感

图13 立体图像质量的主观评测统计图

Fig. 13 Statistic chart of the subjective quality evaluation of 3D images

" href="PIC/zgtxtxxb-23-9-1382-13.jpg">

图 13 立体图像质量的主观评测统计图

Fig. 13 Statistic chart of the subjective quality evaluation of 3D images

对于立体图像质量的主观评分结果，一般可以分为优秀、良好、中等、一般、差5个级别。0~59分为差，这样的立体图像存在着很大的问题，观感不佳；60~69分为一般，这样的立体图像有一定的问题，在观看时会使观测者感到不适；70~79分为中等，这样的立体图像的视觉效果在可以接受的范围之内，但还有待提升；80~89分为良好，这类立体图像比较符合人眼的视觉，观感较好。90~100分为优秀，这类立体图像接近拍摄得到的立体照片的质量，观感很舒适。

从 图 13中的评价结果可以发现，采用本文方法构建的各组图像的立体图像对、深度图以及视觉舒适度3个方面的评分基本在85分以上，大部分都达到良好级别的质量评价，甚至一些立体图像的评价结果达到了90分以上，获得了优秀级别的质量评价。综合立体图像对、深度图以及视觉舒适度3个方面的评价结果， 图 12(1)立体图像的质量综合评价最好。 图 12(2)的深度图上，邮箱上有一块区域深度值有误，是在构建背景图像深度图的过程中产生的，这导致其深度图评价较低。 图 12(3)中，左边第一棵树的融合位置有些靠前，其树木与前景的标牌几乎在同一片面，在立体视觉中产生了不协调感，这使得它的深度图评价与立体视觉舒适度评价都较低。 图 12(4) (5)的综合质量都比较好，没有明显的弱项，但相比 图 12(1)在深度过渡上不够平坦，前景到远景之间比较空旷，使其综合评价不及 图 12(1)。综合来看，各立体图像都达到了较好的立体视觉效果，本文提出的立体树木图像深度信息构建和树木图像的立体图像合成方法能够满足实际的应用需求。

4 结论

参考文献

[1] Cheng C C, Li C T, Chen L G. A novel 2Dd-to-3D conversion system using edge information[J]. IEEE Transactions on Consumer Electronics, 2010, 56(3): 1739–1745. [ DOI:10.1109/TCE.2010.5606320]
[2] Wang P, An P, Wang K, et al. Depth extraction of single-view image using region merging[J]. Video Engineering, 2011, 35(19): 11–13. [王平, 安平, 王奎, 等. 基于区域融合的单视点图像深度信息提取[J]. 电视技术, 2011, 35(19): 11–13. ] [ DOI:10.3969/j.issn.1002-8692.2011.19.004]
[3] Lim H, Park H W. Depth map rasterization using triangulation and color consistency for various sampling structures[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(7): 1081–1098. [ DOI:10.1109/TCSVT.2014.2376313]
[4] Saxena A, Sun M, Ng A Y. Make3D:learning 3D scene structure from a single still image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 824–840. [ DOI:10.1109/TPAMI.2008.132]
[5] Jung J I, Ho Y S. Depth map estimation from single-view image using object classification based on Bayesian learning[C]//Proceedings of 20103DTV-Conference: the True Vision-Capture, Transmission and Display of 3D Video. Tampere, Finland: IEEE, 2010: 1-4. [ DOI:10.1109/3DTV.2010.5506603]
[6] Fang S, Jin R, Cao Y. Fast depth estimation from single image using structured forest[C]//Proceedings of 2016 IEEE International Conference on Image Processing. Phoenix, AZ, USA: IEEE, 2016: 4022-4026. [ DOI:10.1109/ICIP.2016.7533115]
[7] Wang M, Zhang F L, Hu S M. Data-driven image analysis and editing:a survey[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(11): 2015–2024. [汪淼, 张方略, 胡事民. 数据驱动的图像智能分析和处理综述[J]. 计算机辅助设计与图形学学报, 2015, 27(11): 2015–2024. ]
[8] Konrad J, Brown G, Wang M, et al. Automatic 2D-to-3D image conversion using 3D examples from the internet[C]//Proceedings of SPIE Stereoscopic Displays and Applications XXⅢ. Burlingame, California, USA: SPIE, 2012: 12.
[9] Yuan H X, Wu S Q, Yu H Q, et al. 2D-to-3D method via semantic depth transfer[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(1): 72–80. [袁红星, 吴少群, 余辉晴, 等. 语义级深度迁移的2D转3D算法[J]. 计算机辅助设计与图形学学报, 2014, 26(1): 72–80. ]
[10] Cao Y, Kang K, Zhang S J, et al. Automatic tag saliency ranking for stereo images[J]. Neurocomputing, 2016, 172: 9–18. [ DOI:10.1016/j.neucom.2014.09.097]
[11] Kanungo T, Mount D M, Netanyahu N S, et al. An efficient k-means clustering algorithm:analysis and implementation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 881–892. [ DOI:10.1109/TPAMI.2002.1017616]
[12] Soille P. Morphological Image Analysis: Principles and Applications[M]. Berlin, Heidelberg: Springer Science & Business Media, 2013.
[13] Shi J B, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888–905. [ DOI:10.1109/34.868688]
[14] Kim J, Li H, Yue J J, et al. Shape matching using a Self similar affine invariant descriptor[C]//Proceedings of 2016 IEEE International Conference on Image Processing. Phoenix, AZ, USA: IEEE, 2016: 2470-2474. [ DOI:10.1109/ICIP.2016.7532803]
[15] Liu F, Deng Z R. Denoising algorithm based on adaptive wavelet threshold and bilateral filter[J]. Journal of System Simulation, 2014, 26(12): 2935–2938. [刘芳, 邓志仁. 基于自适应小波阈值和双边滤波器的去噪算法[J]. 系统仿真学报, 2014, 26(12): 2935–2938. ] [ DOI:10.16182/j.cnki.joss.2014.12.019]
[16] Smith B M, Zhang L, Jin H L. Stereo matching with nonparametric smoothness priors in feature space[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2009: 485-492. [ DOI:10.1109/CVPR.2009.5206793]
[17] Fácil J M, Concha A, Montesano L, et al. Single-view and multi-view depth fusion[J]. IEEE Robotics and Automation Letters, 2017, 2(4): 1994–2001. [ DOI:10.1109/LRA.2017.2715400]
[18] Zhang Y J, Li S M, Wei J J, et al. Subjective quality evaluation method of stereo image[J]. Acta Photonica Sinica, 2012, 41(5): 602–607. [张英静, 李素梅, 卫津津, 等. 立体图像质量的主观评价方案[J]. 光子学报, 2012, 41(5): 602–607. ] [ DOI:10.3788/gzxb20124105.0602]