【专利解密】如何提高3D视觉开发效率？中科融合提出双目增量视差匹配方案

【嘉勤点评】中科融合发明的双目增量视差匹配方案，实现了双目相机拍摄打条纹光图像的左右两幅图的视差提取，可以应用于现有的三维重建系统中，具有功耗低、速度快等优势，从而提高相关技术企业的工作效率。

近日，中科融合感知智能研究院（苏州工业园区）有限公司（以下简称“中科融合”）获得姑苏人才基金二期千万级别投资，本轮融资资金将主要用于芯片的研发优化、流片和市场拓展等方面。

据悉，中科融合将持续推动以3D视觉芯片为核心的“开放”3D视觉生态圈，通过为下游企业开放低成本、易开发的软硬件模组方案，加速推动下游伙伴协同开发。

而在3D视觉领域，双目算法是非常重要的一项技术算法，该算法可以用于三维视觉重建中。目前，该算法都是基于软件算法实现，即从获取图像到重现三维模型的过程，这个过程包括寻找左右两幅图像的同名点、求取左右两幅图像间的视差以及由视差计算点云坐标。

但是，由于同名点的寻找过程十分复杂，对于相关技术及设备要求都很高，并且整个实现过程也存在功耗高、速度慢等问题。针对这样的现状，中科融合在2020年11月25日申请了一项名为“一种实现双目增量视差匹配算法的方法及装置”的发明专利（申请号：202011335546.4），申请人为中科融合感知智能研究院（苏州工业园区）有限公司。

根据该专利目前公开的相关资料，让我们一起来看看这项技术方案吧。

如上图，为该专利中发明的实现双目增量视差匹配算法的方法的总体框架示意图，可以看到，首先，需要采用双目相机拍摄打了不同频率的条纹光的物体，以获取左右拍摄的图像，接着，需要对获取到的图像进行相位展开处理和极线校正处理，这两个操作可以帮助系统得到相位连续递增的左右两幅图像和对应的相位模板图。

最后，可以将得到的相位连续递增的左右两幅图和对应的相位模板图进行匹配处理，得到完整的视差图。但是，在进行匹配前，需要先对左右两幅图和对应的相位模板图进行方差滤波、滤除乱点和陡峭边缘处理，使得待匹配的左右两幅图相位值行内严格递增。

在这个过程中，方差滤波算法决定了哪些数据可以保留下来，并最终参与到高精度视差图的输出，可以说，最终的高精度视差图实际上非常依赖初始的方差滤波算法。如上图，为该方案中实现双目增量视差匹配算法的方法的方差滤波原理框图。

首先，系统会以模板值对应为1为中心点的N*N个相位值的均值和方差，通过将方差和阈值进行比较，让小于阈值的值进行保留。在进行匹配处理时，也需要先查找左右两幅图和对应的相位模板图行内的相位值相等的点，将这些相位值相等的点视为同名点，把同名点对应的左右两幅图和对应的相位模板图在行内的列序号之差当为视差值，得到包含视差值和视差模板值的视差图。

通过将得到的视差图进行不可靠视差和乱点的滤除、模板值膨胀（即：以视差图模板值对应为0的点为中心点，求得N*N个周围的点的均值，实现孔洞的修补）和视差值补洞（即：以视差图模板值对应为0的点为中心点，周围N*N个点有一个点的模板值为1，生成新的模板图），并对膨胀后的模板值对视差值进行筛选，就可以得到最终的完整的高精度视差图。

以上就是中科融合发明的双目增量视差匹配方案，该方案中实现了双目相机拍摄打条纹光图像的左右两幅图的视差提取，可以应用于现有的三维重建系统中，具有功耗低、速度快等优势，从而提高相关技术企业的工作效率。

（holly）

,xingshenghuodianying,日产altima,艾条灸 http://www.cityruyi.com/lm-2/lm-1/15746.html