【嘉德点评】三星此项发明专利针对ToF成像提出了消除深度图像运动模糊的算法,对ToF传感器在移动终端的大规模使用具有重要意义。

进入2020年后,苹果、华为等厂商陆续发布了搭载ToF模组的终端设备,并借助AR技术显示了ToF的真正实力,再一次将ToF技术推上了风口。与此同时三星也大力投入ToF产品,其不久前发布的S20+、S20 Ultra新机型都搭载了ToF模组。

图1 光学快门飞行时间深度传感器

在传感器和终端领域,人机交互、机器人导航、体感游戏方面的需求带动了以ToF工作方式运行的三维深度传感器技术发展。

ToF即飞行时间成像法,图1展示了其基本成像原理。首先红外光源向目标物体连续发射光波,然后利用感光器件接收从目标物体返回的光,通过探测光脉冲往返飞行时间来获取传感器与目标物体的距离。由于在一个成像周期内可以收到4幅不同相位的图像,因此ToF运算单元可以针对不同相位进行计算,并得到深度图像。

尽管ToF三维传感器得到的图像更有效可靠,但却一直面临着图像运动模糊的挑战。如图1所示,为了得到一幅深度图像,需要4幅不同相位的红外图像,然而当实际场景存在运动物体时,由于物体在不同图像中的位置不同,从而导致了运动模糊。

尽管普通图像中存在大量的模糊消除算法,但却不能直接用于三维深度图像。为此三星公司于2016年1月22日提出一项名为“飞行时间三维传感器的运动模糊消除方法和设备”的发明专利(申请号:201610044750.8),申请人为北京三星通信技术研究有限公司。

传统的方式只能对单幅图像中运动模糊进行消除,而三星的此项专利中利用了计算机视觉中的图像对齐技术,以解决现有技术存在的不同相位图像中运动物体未对齐的问题,从而可以消除深度图像中的运动模糊。

图2 TOF三维传感器的运动模糊消除方法

图2为本发明中提出的针对ToF三维传感器的运动模糊消除方法。首先在步骤201,202中检测各图像的运动模糊区域,并针对检测的运动模糊区域计算图像的灰度直方图,同时进行灰度变换。然后在步骤203,204中将灰度变换后的各图像进行对齐,并将对齐后的各图像进行灰度逆变换,最后在步骤205中根据灰度逆变换后的图像计算得到深度图像。

图3 运动模糊消除方法原理框图

图3是基于图2的流程给出的ToF三维传感器的运动模糊消除原理框图。在模糊区域检测时,并将模糊区域输入给灰度变换模块,以其中一个相位的红外图像为目标图像,其他红外图像为源图像。为增加对齐精度,针对每个运动模糊区域计算它在不同相位图像中的灰度直方图,再依据直方图进行灰度变换,从而使得不同相位图像中同一模糊区域具有大致相同的灰度分布。

此后就是图像对齐过程,首先要将源图像和目标图像进行稠密匹配,并根据匹配结果将源图像变形到目标图像,从而得到对齐之后的源图像。在图像变形的过程中,在深度图像的成像周期内选择一张红外图像作为目标图像,其他红外图像分别与目标图像进行匹配,以得到两幅图像上运动模糊区域每个像素的对应关系。根据该对应关系,将源图像的每个像素分别移至目标图像上的相应位置,得到变形之后的源图像。由于变形之后的源图像补偿了运动向量,从而将不同红外图像之间的运动区域进行对齐。最后再将对齐之后的各源图像分别进行灰度逆变换,并根据目标图像和灰度逆变换之后的源图像计算得到深度图像。

以上就是三星此项发明专利的介绍,在如今的智能终端中,ToF传感器的应用正在悄然改变原有的市场,三星这项发明中针对ToF成像提出了消除深度图像运动模糊的算法,对ToF传感器在移动终端的大规模使用具有重要意义。

关于嘉德

深圳市嘉德知识产权服务有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成,熟悉中欧美知识产权法律理论和实务,在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。

(校对/holly)