一种基于深度和彩色图像特征融合的人体姿态估计方法与流程

本发明属于人体姿态估计领域，尤其是一种基于深度和彩色图像特征融合的人体姿态估计方法。

背景技术：

人体姿态估计在人机交互、行为识别、视频监视以及体育游戏等领域中有着重要的应用价值。特别的，随着人工智能、3d视觉等技术的发展，人机姿态估计技术被应用于工业、农业生产等领域，例如，用于保障人机协作过程中人的安全问题，用于记录和分析专业技术人员的技能等。

3d视觉传感器的出现为人体姿态估计提供了重要的解决途径，即利用深度信息可快速进行前景和背景分割，进而应用随机森林方法对人体骨架关节点进行准确提取，以输出3d人体姿态信息。由于该方法具有技术成熟、计算量小等特点，已成功应用于在体育、游戏、娱乐、教育等领域。然而，随着工业、农业生产等领域需求的增加，现有的人体姿态估计技术已不能满足工农业生产的要求。工农业生产的最主要特征为，人将不可避免地使用生产工具，人与机器人将在同一空间进行作业。这样，仅依赖于深度图像很难区别人体与手持工具，将可能导致手持工具误认为是人体的一部分。另一方面，基于彩色图像的人体姿态估计方法主要是使用深度学习的方法，利用深度神经网络计算出人体关节点，具有精度较高，稳定性好等特点。然而，彩色图像容易受光照变化的影响，使得在过度曝光或光照不足的情况下人体关节点识别误差增大甚至无法识别。同时，由于深度学习算法往往计算量很大，基于彩色图像的人体姿态估计相比基于深度图像的要存在更大的延时，输出频率更低。目前，还没有技术能够鲁棒、实时地融合深度和彩色图像特征信息解决复杂作业场景下的人体姿态估计问题。

技术实现要素：

为了克服基于深度图像的人体姿态估计方法对手持工具等鲁棒性差以及基于彩色图像的人体姿态估计方法易受光照变化影响的缺点，本发明提供一种基于深度和彩色图像特征融合的人体姿态估计方法，采用基于提升技术的分布式状态融合，有效地提高了人体姿态估计的精确度和鲁棒性。

本发明解决其技术问题所采用的技术方案是：

一种基于深度和彩色图像特征融合的人体姿态估计方法，所述方法包括以下步骤：

步骤1)分别建立人体各关节点运动学模型，以及基于深度图像和彩色图像的量测模型，确定各自的过程噪声协方差qi,k、量测噪声协方差和等参数，以及人体关节点的初始状态设置深度图像的姿态量测输出频率是彩色图像的2倍；

步骤2)根据人体各关节点的运动学模型，分别计算k时刻基于深度图像信息的人体关节点i的状态预测值及其协方差从深度图像中读取人体各关节点位置信息，分别计算人体关节点i的状态估计值及其协方差

步骤3)判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则分别计算彩色图像下的状态估计值及其协方差接着计算其状态预测值及其协方差否则，计算其状态预测值及其协方差

步骤4)融合基于深度和彩色图像的人体各节点状态估计结果，计算k时刻人体各关节点的融合状态估计值及其协方差

重复执行步骤2)-4)完成对人体各关节点的状态估计，得出基于深度和彩色图像特征融合的人体姿态估计。

进一步，在所述步骤1)中，所述的i表示人体各关节点的标号，人体各关节点包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节，共15个人体关节点，n＝15为需要估计的人体关节点数量。

在所述步骤1)中，所述的和为基于深度图像的人体姿态估计初始状态，和为基于彩色图像的人体姿态估计初始状态。

在所述步骤1)中，所述的人体各关节点状态为在3d视觉传感器的深度相机坐标系下x，y，z轴坐标信息。

所述步骤2)中，所述的读取到的人体各关节点位置信息，利用随机森林方法实现人体部位识别的基础上，计算得出人体各关节点的位置信息。

所述步骤3)中，所述的基于彩色图像的人体姿态输出，即通过深度神经网络实现2d彩色图像中人体姿态的估计，然后在深度和彩色图像配准的基础上，计算得出深度相机坐标系下人体各关节点的位置信息。

本发明的有益效果主要表现在：提供一种基于深度和彩色图像特征融合的人体姿态估计方法，针对基于彩色图像的人体姿态信息输出具有周期长、延时大的特点，采用基于提升技术的分布式融合方法以得到基于深度和彩色图像的人体姿态融合估计，有效地减少了对手持物的误识别，提高了对光照变化的鲁棒性。

附图说明

图1是用于描述人体姿态的关节点示意图。

图2是基于深度和彩色图像特征融合的人体姿态估计流程图。

图3是基于深度和彩色图像的人体姿态融合估计时序图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照图1、图2和图3，一种基于深度和彩色图像融合的人体姿态估计方法，所述方法包括以下步骤：

步骤1)分别建立人体各关节点运动学模型，以及基于深度图像和彩色图像的量测模型，确定各自的过程噪声协方差qi,k、量测噪声协方差和等参数，以及人体关节点的初始状态设置深度图像的姿态量测输出频率是彩色图像的2倍；

步骤2)根据人体各关节点的运动学模型，分别计算k时刻基于深度图像信息的人体关节点i的状态预测值及其协方差从深度图像中读取人体各关节点位置信息，分别计算人体关节点i的状态估计值及其协方差

步骤3)判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则分别计算基于彩色图像的状态估计值及其协方差接着计算其状态预测值及其协方差否则，计算其状态预测值及其协方差

步骤4)融合基于深度和彩色图像的人体各节点状态估计结果，计算k时刻人体各关节点的融合状态估计值及其协方差

重复执行步骤2)-4)完成对人体的各关节点状态进行估计，得出基于深度和彩色图像特征融合的人体姿态估计。

如图1所示，其描述了人体各关节点以及各关节点的序号。由于不同人体姿态估计方法估计的关节点存在差异，因此选取基于深度图像和基于彩色图像两种人体姿态估计方法共同能识别的15个人体关节点，包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节。基于深度和彩色图像特征融合的人体姿态估计流程图如图2所示。首先，建立人体各关节点的运动学模型和量测模型如下：

xi,k＝xi,k-1+wi,k(1)

其中，k＝1，2，…为离散时间序列，为人体关节点i的状态，i＝1,2,...,n为人体各关节点的序号，n＝15，和分别为关节i在深度相机坐标系下的x，y，z轴坐标值，wi,k为零均值且协方差为qi,k的高斯白噪声；为深度图像下的人体关节点i量测值，分别为基于深度图像得到的关节i在深度相机坐标系下的x，y，z轴坐标值；为彩色图像下的人体关节点i的量测值，分别为基于彩色图像得到的关节i在深度相机坐标系下的x，y，z轴坐标值，和分别为零均值且协方差和的高斯白噪声；和分别为人体关节点i在深度和彩色图像下的初始状态；如图3所示，设置深度图像的姿态量测输出频率是彩色图像的2倍，且彩色图像的人体姿态量测输出相较于深度图像存在一个采样周期的延时；

其次，根据人体各关节点的运动学模型以及上一时刻的状态估计值和分别计算k时刻深度图像下的关节点i的状态预测值及其协方差

从深度图像中读取人体各关节点位置分别计算人体关节点i的状态估计值及其协方差

其中，

再次，判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则读取人体各关节点的量测值并根据上一时刻的状态预测值和分别计算彩色图像下的关节点i状态估计值及其协方差

其中，

紧接着，计算k时刻其状态预测值及其协方差

若没有基于彩色图像的人体姿态信息输出，则直接计算其状态预测值及其协方差

最后，采用分布式融合的方法得到人体关节点状态的融合估计。对于k时刻有彩色图像人体姿态信息输出的情况，人体各关节点状态的融合估计及其协方差可计算如下：

否则，k时刻人体各关节点状态的融合估计值及其协方差计算如下：

重复执行以上步骤，完成人体所有关节点的状态估计，进而进入k+1时刻人体各关节点的状态估计。