光场图像编辑方法及装置的制造方法
光场图像编辑方法及装置的制造方法
【技术领域】
[0001] 本发明涉及光场图像处理技术领域，尤其涉及一种光场图像编辑方法及装置。
【背景技术】
[0002] 光场相机(又称全光相机)近年来得到了快速的发展与普及，显示出了推进整个摄 影领域技术革新的强大潜力。这种相机一般采用微型镜片阵列来捕捉场景的四维光场信 息，重构出了包含有不同角度拍摄的同一场景表观特征的全光图像(Plenoptic Image)。由 于它包含有内在的三维结构关联性信息，光场数据提供了传统二维图像所不能完成的后期 处理效果，如视点的变换和重对焦等。
[0003] 光场相机的硬件发展非常迅速，目前市面上新推出的Lytro、PiCam和Raytrix几种 消费级的光场相机产品都开始渐渐流行。相比于大型光场采集设备，消费级光场相机中的 微镜头阵列具有很小的角度变化范围，使得同一个场景点在不同视角下呈现出基本一致的 表观特征。虽然现有技术提出了一些在有限范围内进行光场图像编辑的方法，如光场超分 辨、光场变形、视角合成和内容缩放等，但这些技术方案却并不完善。
[0004] 相比之下，现有的二维图像的编辑技术方案则比较完善，有的技已经可以实现图 像补全、内容重排等等。而光场数据由于可以看作是同一场景在不同角度拍摄的图像集合， 其不同视角间的数据存在着高度的内部结构关联性，因而无法直接将现存的二维图像的编 辑方法应用在光场图像数据中。因此，如何针对消费级的光场相机所拍摄的光场图像进行 结构保持的光场图像编辑成为了亟待解决的技术问题之一。
【发明内容】
[0005] 为解决上述技术问题，本发明一方面提出了一种光场图像编辑方法，该方法包括：
[0006] 将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中 心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图 像为所述目标场景的光场图像中中心视角对应的图像；
[0007] 根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确 定受到所述预设删除区域影响的多幅中心视角第二子图像；
[0008] 根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
[0009] 根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子 图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第 二子图像对应的多幅中心视角第三子图像；
[0010] 根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取 第二中心视角图像；
[0011] 根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个 所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图 像中除所述中心视角之外的视角对应的图像；
[0012] 根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删 除区域影响的多幅其他视角第二子图像；
[0013] 根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图 像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二 子图像对应的多幅其他视角第三子图像；
[0014] 根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取 第二其他视角图像。
[0015] 优选地，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视 差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值之 前，该方法还包括：
[0016] 利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像 包括所述中心视角图像和所述其他视角图像。
[0017] 优选地，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视 差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，包 括：
[0018]根据预设分层数量N并通过代价体滤波cost volume filtering方法确定所述目 标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解 将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角 第一子图像对应的视差值。
[0019]优选地，所述根据所述每个像素的视差值最优解将所述每个像素分别划分到对应 的所述中心视角第一子图像中，包括：
[0020] 对每幅所述中心视角第一子图像均通过图像指导滤波guided image filtering 方法以第一预设滤波半径进行平滑处理。
[0021 ]优选地，所述对每幅所述中心视角第一子图像均通过图像指导滤波guided image fi Iter ing方法进行平滑处理之后，该方法还包括：
[0022]对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guided image filtering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的 数值小于所述第一预设滤波半径。
[0023]另一方面，本方法还提供了一种光场图像编辑装置，该装置包括：
[0024]中心视角第一子图像获取单元，用于将目标场景的中心视角图像进行分层处理， 以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子 图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图 像；
[0025] 中心视角第二子图像获取单元，用于根据所述中心视角图像中的预设删除区域在 多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子 图像；
[0026] 层结构蒙版生成单元，用于根据所述预设删除区域分别生成所述多幅中心视角第 二子图像的层结构蒙版；
[0027] 中心视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的层结构 蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的 表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
[0028] 第二中心视角图像获取单元，用于根据所述多个预设视差值将所述多幅中心视角 第三子图像进行合成处理，以获取第二中心视角图像；
[0029] 其他视角第一子图像获取单元，用于根据所述多个预设视差值将目标场景的其他 视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其 他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
[0030] 其他视角第二子图像获取单元，用于根据所述预设删除区域在多个所述其他视角 第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
[0031] 其他视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的表观特 征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表 观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
[0032] 第二其他视角图像获取单元，用于根据所述多个预设视差值将所述多幅其他视角 第三子图像进行合成处理，以获取第二其他视角图像。
[0033] 优选地，该装置还包括：
[0034]多视角光场图像获取单元，用于利用消费级光场相机获取所述目标场景的多视角 光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
[0035] 优选地，所述中心视角第一子图像获取单元，进一步用于根据预设分层数量N并通 过代价体滤波cost volume filtering方法确定所述目标场景的中心视角图像中每个像素 的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的 所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
[0036] 优选地，所述中心视角第一子图像获取单元，进一步用于对每幅所述中心视角第 一子图像均通过图像指导滤波guided image filtering方法以第一预设滤波半径进行平 滑处理。
[0037] 优选地，所述中心视角第一子图像获取单元，进一步用于对每幅经过平滑处理的 所述中心视角第一子 图像再次通过图像指导滤波guided image filtering方法以第二预 设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半 径。
[0038] 本发明的基于片匹配的光场图像编辑方法和装置可针对消费级的光场相机所拍 摄的光场图像进行结构保持的光场图像编辑，满足了人们日益增长的对消费级的光场相机 所拍摄的光场图像进行编辑的需求，进一步拓展了消费级的光场相机的应用范围。
【附图说明】
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 这些附图获得其他的附图。
[0040] 图1示出了本发明一个实施例的光场图像编辑方法的流程图；
[0041] 图2示出了本发明另一个实施例的光场图像编辑方法的效果图；
[0042]图3示出了本发明另一个实施例的光场图像编辑方法的效果图；
[0043]图4示出了本发明一个实施例的光场图像编辑装置的结构框图。
【具体实施方式】
[0044]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明 一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045] 图1示出了本发明一个实施例的光场图像编辑方法的流程图；如图1所示，该方法 包括：
[0046] S1:将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应 的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视 角图像为所述目标场景的光场图像中中心视角对应的图像；
[0047] S2:根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中 确定受到所述预设删除区域影响的多幅中心视角第二子图像；
[0048] S3:根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙 版；
[0049] S4:根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二 子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角 第二子图像对应的多幅中心视角第三子图像；
[0050] S5:根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以 获取第二中心视角图像；
[0051] S6:根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取 每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光 场图像中除所述中心视角之外的视角对应的图像；
[0052] S7:根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设 删除区域影响的多幅其他视角第二子图像；
[0053] S8:根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子 图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第 二子图像对应的多幅其他视角第三子图像；
[0054] S9:根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以 获取第二其他视角图像。
[0055] 本实施例的基于片匹配的光场图像编辑方法步骤简单、思路清晰、易于实现，可针 对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，改善了光场图像编 辑的效果与质量。
[0056] 在此基础上，步骤S1之前，该方法还包括：
[0057] S0:利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场 图像包括所述中心视角图像和所述其他视角图像。
[0058] 作为本实施例的优选，步骤S1包括：
[0059] S11:根据预设分层数量N并通过代价体滤波cost volume filtering方法确定所 述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最 优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心 视角第一子图像对应的视差值。
[0060]进一步地，步骤S11中根据所述每个像素的视差值最优解将所述每个像素分别划 分到对应的所述中心视角第一子图像中，包括：
[0061] SI 11 :对每幅所述中心视角第一子图像均通过图像指导滤波guided image filtering方法以第一预设滤波半径进行平滑处理。
[0062] 进一步地，上述对每幅所述中心视角第一子图像均通过图像指导滤波guided image fiItering方法进行平滑处理之后，该方法还包括：
[0063] S112:对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波 guided image filtering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波 半径的数值小于所述第一预设滤波半径。
[0064]图2示出了本发明一个实施例的光场图像编辑装置的结构框图。如图2所示，该装 置包括：
[0065] 中心视角第一子图像获取单元11，用于将目标场景的中心视角图像进行分层处 理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第 一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的 图像；
[0066] 中心视角第二子图像获取单元12,用于根据所述中心视角图像中的预设删除区域 在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二 子图像；
[0067] 层结构蒙版生成单元13,用于根据所述预设删除区域分别生成所述多幅中心视角 第二子图像的层结构蒙版；
[0068]中心视角第三子图像获取单元14,用于根据所述多幅中心视角第二子图像的层结 构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像 的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
[0069] 第二中心视角图像获取单元15,用于根据所述多个预设视差值将所述多幅中心视 角第三子图像进行合成处理，以获取第二中心视角图像；
[0070] 其他视角第一子图像获取单元16,用于根据所述多个预设视差值将目标场景的其 他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述 其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
[0071] 其他视角第二子图像获取单元17,用于根据所述预设删除区域在多个所述其他视 角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
[0072] 其他视角第三子图像获取单元18,用于根据所述多幅中心视角第二子图像的表观 特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的 表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
[0073] 第二其他视角图像获取单元19,用于根据所述多个预设视差值将所述多幅其他视 角第三子图像进行合成处理，以获取第二其他视角图像。
[0074] 本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此 处不再赘述。
[0075] 作为本实施例的优选，该装置还包括多视角光场图像获取单元10,用于利用消费 级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角 图像和所述其他视角图像。
[0076] 在此基础上，中心视角第一子图像获取单元10,可进一步用于根据预设分层数量N 并通过代价体滤波cost volume filtering方法确定所述目标场景的中心视角图像中每个 像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对 应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
[0077] 进一步地，中心视角第一子图像获取单元10还可进一步用于对每幅所述中心 视角 第一子图像均通过图像指导滤波guided image filtering方法以第一预设滤波半径进行 平滑处理。
[0078] 作为本实施的优选，中心视角第一子图像获取单元10进一步用于对每幅经过平滑 处理的所述中心视角第一子图像再次通过图像指导滤波guided image filtering方法以 第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤 波半径。
[0079] 本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此 处不再赘述。
[0080] 下面具体说明本发明的基于片匹配的光场图像编辑方法和装置的具体应用过程。
[0081] 本实施例中，首先将一个四维的光场以1，7，11，￥)用一个二维的图像阵列1(11，￥)来 表示，每个图像都假设是由单个相机从视角(u，v)拍摄得到，而图像I(u，v)的像素(x，y)的 值等于L(X，y，u，v)。本方法具体流程如下：
[0082] 1、光场图像的分层处理
[0083] 本实施例对于获取的光场图像采用了根据视差(深度)进行的层次结构表示方法， 该方法是将光场所包含的场景看作由一系列定义在中心视角1(〇,〇)的内容层叠加而成的， 即这些内容层均具有带有透明度的软性边界。
[0084] 首先，本实施例用代价体滤波方法计算中心视角1(0,0)各点的深度值：
[0085] 在场景中有预设数量L(例如L = 32)个深度层，每个层1都有一个唯一对应的视差 值cU，对于中心视角图像的每个像素 p，其被分配到1层的代价定义如下式：
[0086]
[0087]
[0088] 其中，0 .为中心视角图像的像素 p被分配到1层的代价值；V (u，v)为视角坐标为 (u，v)的图像中像素 P'的像素值，其中P'和p的视差值为di，IP (0，0)为中心视角的像素 p的 值;。
[0089]通过这种方法，作者在(x，y，l)三维空间构建出了一个代价体。因为每个像素的代 价都是分别计算得到，所以这样构建的代价体可能会有很多噪音。未解决该问题，本实施例 采用边界敏感的图像指导滤波(guided image filtering，半径为9)方法，以平滑整个代价 体，进而可以确定每个像素属于哪个深度层1由下式得到：
[0090] Lo = arg min C, ,： ( 2 )
[0091 ]其中，LP为像素 p的所处的深度层；g为式（1)中的中心视角图像的像素 p被分配到 1层的代价值。
[0092] 进一步地，由于这样产生的分层结果会产生硬性边界（即不带有透明度信息），为 了得到不同层之间无缝的融合效果，本实施例采用进一步的软性边界生成方法;在每个深 度层上再次应用图像指导滤波方法（用较小的半径4)，就能够产生类似于alpha-抠图方法 的透明度提取效果，每个层蒙版上的像素值都在〇到1之间，进而图像就可以由这些层以不 同的透明度融合起来得到。
[0093] 具体地，图3示出了本发明另一个实施例的光场图像编辑方法的效果图；如图3所 示，本实施例要实现的编辑效果是将遮挡住较大花朵的小花的一部分去除掉。而在输入光 场数据后，由用户输入深度层，即在中心视角1(〇,〇)图像中选中要删除的图像区域，然后对 该图像进行分层处理，并判断待删除区域所影响到的层。然后利用上述方法合成各层图形 的蒙版，以根据所生成的蒙版区域形状进行表观特征合成，最后将完成表观特征合成的图 像进行合并，即完成了中心视角1(〇,〇)图像的编辑工作。特别地，由图3右上角的六变形点 阵列中的被选中原点位置即表明当前所编辑图像为中心视角1(〇,〇)图像。
[0094] 需要说明的是，在每一层的软性边界区域，采用每一层内部的颜色值外推得到，因 为假设在物体边缘的颜色是一致的（即在大花所在层上，该大花边缘的颜色由花本体的颜 色决定，而非背景颜色），这也是在图像抠取和融合技术中的常用假设。在颜色外推扩展后 的层将作为后续步骤中进行基于片的合成算法的基础。
[0095] 2、基于层结构的合成
[0096]为了更好的解释这一方法框架，首先假设用户在中心视角图像上圈出了一块区域 w以进行物体移除。给定用户输入后，层l(w)和所有被其遮挡的层都被认为是该操作的相关 层，按视差以降序排列(视差越大即可视为离镜头越近）。为了填补w，针对每个相关层均需 要重构出区域w中的那部分原本被前景物体遮挡的内容，即需要合成：
[0097] (1).层蒙版一在蒙版图像上，将像素的透明度转化为该像素的灰度值（即将表示 透明度的数值乘以255,其中表示透明度的数值例如为0~1);
[0098] (2).层内每个像素的表观特征。
[0099] 本实施例采用多尺度的基于片的合成策略在用户标记的区域w中合成层蒙版，具 体如下：
[0100] w之外的层蒙版区域将作为源蒙版，这部分区域在编辑过程中保持不变，将整个的 区域蒙版(包括《)作为待补全的目标蒙版。然后对两者都建立起高斯金字塔，第η级需要先 找到w(n)中所包含的层蒙版区域的边界像素。具体来说，为了获取属于洞边界区域的像素 P，需在w之外的区域中查找与Nt(p)最相似的片Ns(q)，将二者相似度(距离)定义如下：
[0101]
[0102]其中，N(p)为以p为中心的局部片记作N(p)，当N(p)既包含了在层蒙版中的像素和 不在层蒙版上的像素时，P即被认为属于边界区域;其中下标s表示在原始图像中，下标t表 示该片在待编辑的目标图像中。M4PMt分别为目前待编辑的图像的层蒙版和原始图像的层 蒙版。
[0103] 重复进行该过程，直到所有的边界像素被填充。而对于剩余的未填充像素（即包含 于边界内部的像素），设处在边界内部的透明度为1，外部的则设其透明度为0。特别地，本实 施例的源蒙版及新和成部分均具有软性边界。
[0104] 在此基础上，上述合成的层蒙版定义了当前层在目标区域中的内容形状，下面将 根据这一形状讲行衷观特征的合成，目标是使合成后的^与六*的距离最小：
[0105]
[0106]其中，Nt(p)为目标区域中的p像素位置的局部片;Ns(q)为源图像中的某q像素位置 的局部片;D为编辑前后图像的表观特征距离;Da为局部片的颜色特征距离，q为源图像中的 某一待运算像素位置。
[0107] 本实施例中，同一层上各像素的表观特征可能随着空间的变化而有很大的不同， 尤其是在边界区域上。因此，对于需要合成的w中的边界区域，使用同样来自于原图该层的 边界部分的颜色值进行合成。为此，在设计片表观特征的距离度量函数时，还考虑了蒙版的 相似度：
[0108] Da(Nt(p)，Ns(q))=a| |Ns(q)-Nt(p) | |+(l-a)Dm(Ns(q)，Nt(p))， (5)
[0109] 其中，a为平衡因子，优选地设为0.5。本实施例采用多尺度片合成方法来解这一优 化问题：
[0110] 最粗略层次的目标区域将采用随机初始化的偏移量值；
[0111] 在更精细的层次，偏移量值将使用上一层的偏移量来进行初始化，给定偏移量图 之后，w区域就可以采用像素投票策略来生成，从而得到了该层的合成结果。
[0112] 3、基于层结构的全视角光场生成
[0113] 在中心视角图像的各个深度层次合成之后，下面介绍如何将该编辑传播(Edit propagation)到所有其他视角图像上，并保持其他视角图像与中心视角图像的表观特征及 其深度的一致性。为了使合成的结果看起来更自然，本实施例并未选择直接从I(u，v)复制 像素值到其他的视角上。对于1(0, 〇)中每个被编辑的像素 P，算法记录下了每个合成位置的 采用的片s(p)与当前坐标的偏移量(这个偏移量是片匹配合成方法记录下来的）然后利用 该偏移量，在I (u，v)本身寻找对应的片，然后用对应片的颜色来编I (u，v)中p的对应像素。 换句话说，这个偏移量的传播过程保证了 ：1.1(u，v)是用来自于本身的像素值来编辑的； 2.1(u，v)中所进行的编辑与1(0,0)和其他视角上是完全一致的。事实上，这种方法是用了4 维空间的光场数据局部"±夬"来生成的新内容。需要注意的是，该传播过程需要按照合成层 的顺序从后往前进行，以防止不同深度物体 的遮挡关系被破坏。图4示出了本发明另一个实 施例的光场图像编辑方法的效果图。如图4所示，本实施例的方法可以实现光场数据的图像 补全、内容重排等等，其实施过程与上述实施例基本相同，在此不做赘述。
[0114] 本发明的基于片匹配的光场图像编辑方法和装置可针对消费级的光场相机所拍 摄的光场图像进行结构保持的光场图像编辑，满足了人们日益增长的对消费级的光场相机 所拍摄的光场图像进行编辑的需求，进一步拓展了消费级的光场相机的应用范围。
[0115] 以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例 对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施 例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换;而这些修改或替 换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1. 一种光场图像编辑方法，其特征在于，包括： 将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视 角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为 所述目标场景的光场图像中中心视角对应的图像； 根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受 到所述预设删除区域影响的多幅中心视角第二子图像； 根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版； 根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像 的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子 图像对应的多幅中心视角第三子图像； 根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二 中心视角图像； 根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述 预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中 除所述中心视角之外的视角对应的图像； 根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区 域影响的多幅其他视角第二子图像； 根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的 表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图 像对应的多幅其他视角第三子图像； 根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二 其他视角图像。2. 如权利要求1所述的光场图像编辑方法，其特征在于，所述将目标场景的中心视角图 像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所 述中心视角第一子图像对应的视差值之前，该方法还包括： 利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括 所述中心视角图像和所述其他视角图像。3. 如权利要求1所述的光场图像编辑方法，其特征在于，所述将目标场景的中心视角图 像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所 述中心视角第一子图像对应的视差值，包括： 根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场 景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所 述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一 子图像对应的视差值。4. 如权利要求3所述的光场图像编辑方法，其特征在于，所述根据所述每个像素的视差 值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，包括： 对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法 以第一预设滤波半径进行平滑处理。5. 如权利要求4所述的光场图像编辑方法，其特征在于，所述对每幅所述中心视角第一 子图像均通过图像指导滤波guidedimagefiltering方法进行平滑处理之后，该方法还包 括： 对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guided imagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的 数值小于所述第一预设滤波半径。6. -种光场图像编辑装置，其特征在于，包括： 中心视角第一子图像获取单元，用于将目标场景的中心视角图像进行分层处理，以获 取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像 对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像； 中心视角第二子图像获取单元，用于根据所述中心视角图像中的预设删除区域在多个 所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像； 层结构蒙版生成单元，用于根据所述预设删除区域分别生成所述多幅中心视角第二子 图像的层结构蒙版； 中心视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的层结构蒙版 生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观 特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像； 第二中心视角图像获取单元，用于根据所述多个预设视差值将所述多幅中心视角第三 子图像进行合成处理，以获取第二中心视角图像； 其他视角第一子图像获取单元，用于根据所述多个预设视差值将目标场景的其他视角 图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视 角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像； 其他视角第二子图像获取单元，用于根据所述预设删除区域在多个所述其他视角第一 子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像； 其他视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的表观特征确 定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特 征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像； 第二其他视角图像获取单元，用于根据所述多个预设视差值将所述多幅其他视角第三 子图像进行合成处理，以获取第二其他视角图像。7. 如权利要求6所述的光场图像编辑装置，其特征在于，该装置还包括： 多视角光场图像获取单元，用于利用消费级光场相机获取所述目标场景的多视角光场 图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。8. 如权利要求6所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获取 单元，进一步用于根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定 所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值 最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中 心视角第一子图像对应的视差值。9. 如权利要求8所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获取 单元，进一步用于对每幅所述中心视角第一子图像均通过图像指导滤波guidedimage filtering方法以第一预设滤波半径进行平滑处理。10.如权利要求9所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获 取单元，进一步用于对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤 波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤 波半径的数值小于所述第一预设滤波半径。
【专利摘要】本发明涉及一种光场图像编辑方法及装置，该方法包括：将目标场景的中心视角图像进行分层处理；分别生成多幅中心视角第二子图像的层结构蒙版，进而根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像，以获取第二中心视角图像；根据多幅中心视角第二子图像的表观特征确定多幅其他视角第二子图像的表观特征，以获取多幅其他视角第三子图像；将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。本发明可针对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，进一步拓展了消费级的光场相机的应用范围。
【IPC分类】G06T5/00
【公开号】CN105488771
【申请号】CN201510945488
【发明人】胡事民, 张方略, 王珏, 周子晔, 石佳希
【申请人】清华大学
【公开日】2016年4月13日
【申请日】2015年12月16日
【技术领域】
[0001] 本发明涉及光场图像处理技术领域，尤其涉及一种光场图像编辑方法及装置。
【背景技术】
[0002] 光场相机(又称全光相机)近年来得到了快速的发展与普及，显示出了推进整个摄 影领域技术革新的强大潜力。这种相机一般采用微型镜片阵列来捕捉场景的四维光场信 息，重构出了包含有不同角度拍摄的同一场景表观特征的全光图像(Plenoptic Image)。由 于它包含有内在的三维结构关联性信息，光场数据提供了传统二维图像所不能完成的后期 处理效果，如视点的变换和重对焦等。
[0003] 光场相机的硬件发展非常迅速，目前市面上新推出的Lytro、PiCam和Raytrix几种 消费级的光场相机产品都开始渐渐流行。相比于大型光场采集设备，消费级光场相机中的 微镜头阵列具有很小的角度变化范围，使得同一个场景点在不同视角下呈现出基本一致的 表观特征。虽然现有技术提出了一些在有限范围内进行光场图像编辑的方法，如光场超分 辨、光场变形、视角合成和内容缩放等，但这些技术方案却并不完善。
[0004] 相比之下，现有的二维图像的编辑技术方案则比较完善，有的技已经可以实现图 像补全、内容重排等等。而光场数据由于可以看作是同一场景在不同角度拍摄的图像集合， 其不同视角间的数据存在着高度的内部结构关联性，因而无法直接将现存的二维图像的编 辑方法应用在光场图像数据中。因此，如何针对消费级的光场相机所拍摄的光场图像进行 结构保持的光场图像编辑成为了亟待解决的技术问题之一。
【发明内容】
[0005] 为解决上述技术问题，本发明一方面提出了一种光场图像编辑方法，该方法包括：
[0006] 将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中 心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图 像为所述目标场景的光场图像中中心视角对应的图像；
[0007] 根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确 定受到所述预设删除区域影响的多幅中心视角第二子图像；
[0008] 根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
[0009] 根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子 图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第 二子图像对应的多幅中心视角第三子图像；
[0010] 根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取 第二中心视角图像；
[0011] 根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个 所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图 像中除所述中心视角之外的视角对应的图像；
[0012] 根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删 除区域影响的多幅其他视角第二子图像；
[0013] 根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图 像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二 子图像对应的多幅其他视角第三子图像；
[0014] 根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取 第二其他视角图像。
[0015] 优选地，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视 差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值之 前，该方法还包括：
[0016] 利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像 包括所述中心视角图像和所述其他视角图像。
[0017] 优选地，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视 差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，包 括：
[0018]根据预设分层数量N并通过代价体滤波cost volume filtering方法确定所述目 标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解 将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角 第一子图像对应的视差值。
[0019]优选地，所述根据所述每个像素的视差值最优解将所述每个像素分别划分到对应 的所述中心视角第一子图像中，包括：
[0020] 对每幅所述中心视角第一子图像均通过图像指导滤波guided image filtering 方法以第一预设滤波半径进行平滑处理。
[0021 ]优选地，所述对每幅所述中心视角第一子图像均通过图像指导滤波guided image fi Iter ing方法进行平滑处理之后，该方法还包括：
[0022]对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guided image filtering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的 数值小于所述第一预设滤波半径。
[0023]另一方面，本方法还提供了一种光场图像编辑装置，该装置包括：
[0024]中心视角第一子图像获取单元，用于将目标场景的中心视角图像进行分层处理， 以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子 图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图 像；
[0025] 中心视角第二子图像获取单元，用于根据所述中心视角图像中的预设删除区域在 多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子 图像；
[0026] 层结构蒙版生成单元，用于根据所述预设删除区域分别生成所述多幅中心视角第 二子图像的层结构蒙版；
[0027] 中心视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的层结构 蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的 表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
[0028] 第二中心视角图像获取单元，用于根据所述多个预设视差值将所述多幅中心视角 第三子图像进行合成处理，以获取第二中心视角图像；
[0029] 其他视角第一子图像获取单元，用于根据所述多个预设视差值将目标场景的其他 视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其 他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
[0030] 其他视角第二子图像获取单元，用于根据所述预设删除区域在多个所述其他视角 第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
[0031] 其他视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的表观特 征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表 观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
[0032] 第二其他视角图像获取单元，用于根据所述多个预设视差值将所述多幅其他视角 第三子图像进行合成处理，以获取第二其他视角图像。
[0033] 优选地，该装置还包括：
[0034]多视角光场图像获取单元，用于利用消费级光场相机获取所述目标场景的多视角 光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
[0035] 优选地，所述中心视角第一子图像获取单元，进一步用于根据预设分层数量N并通 过代价体滤波cost volume filtering方法确定所述目标场景的中心视角图像中每个像素 的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的 所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
[0036] 优选地，所述中心视角第一子图像获取单元，进一步用于对每幅所述中心视角第 一子图像均通过图像指导滤波guided image filtering方法以第一预设滤波半径进行平 滑处理。
[0037] 优选地，所述中心视角第一子图像获取单元，进一步用于对每幅经过平滑处理的 所述中心视角第一子 图像再次通过图像指导滤波guided image filtering方法以第二预 设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半 径。
[0038] 本发明的基于片匹配的光场图像编辑方法和装置可针对消费级的光场相机所拍 摄的光场图像进行结构保持的光场图像编辑，满足了人们日益增长的对消费级的光场相机 所拍摄的光场图像进行编辑的需求，进一步拓展了消费级的光场相机的应用范围。
【附图说明】
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 这些附图获得其他的附图。
[0040] 图1示出了本发明一个实施例的光场图像编辑方法的流程图；
[0041] 图2示出了本发明另一个实施例的光场图像编辑方法的效果图；
[0042]图3示出了本发明另一个实施例的光场图像编辑方法的效果图；
[0043]图4示出了本发明一个实施例的光场图像编辑装置的结构框图。
【具体实施方式】
[0044]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明 一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045] 图1示出了本发明一个实施例的光场图像编辑方法的流程图；如图1所示，该方法 包括：
[0046] S1:将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应 的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视 角图像为所述目标场景的光场图像中中心视角对应的图像；
[0047] S2:根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中 确定受到所述预设删除区域影响的多幅中心视角第二子图像；
[0048] S3:根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙 版；
[0049] S4:根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二 子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角 第二子图像对应的多幅中心视角第三子图像；
[0050] S5:根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以 获取第二中心视角图像；
[0051] S6:根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取 每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光 场图像中除所述中心视角之外的视角对应的图像；
[0052] S7:根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设 删除区域影响的多幅其他视角第二子图像；
[0053] S8:根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子 图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第 二子图像对应的多幅其他视角第三子图像；
[0054] S9:根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以 获取第二其他视角图像。
[0055] 本实施例的基于片匹配的光场图像编辑方法步骤简单、思路清晰、易于实现，可针 对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，改善了光场图像编 辑的效果与质量。
[0056] 在此基础上，步骤S1之前，该方法还包括：
[0057] S0:利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场 图像包括所述中心视角图像和所述其他视角图像。
[0058] 作为本实施例的优选，步骤S1包括：
[0059] S11:根据预设分层数量N并通过代价体滤波cost volume filtering方法确定所 述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最 优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心 视角第一子图像对应的视差值。
[0060]进一步地，步骤S11中根据所述每个像素的视差值最优解将所述每个像素分别划 分到对应的所述中心视角第一子图像中，包括：
[0061] SI 11 :对每幅所述中心视角第一子图像均通过图像指导滤波guided image filtering方法以第一预设滤波半径进行平滑处理。
[0062] 进一步地，上述对每幅所述中心视角第一子图像均通过图像指导滤波guided image fiItering方法进行平滑处理之后，该方法还包括：
[0063] S112:对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波 guided image filtering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波 半径的数值小于所述第一预设滤波半径。
[0064]图2示出了本发明一个实施例的光场图像编辑装置的结构框图。如图2所示，该装 置包括：
[0065] 中心视角第一子图像获取单元11，用于将目标场景的中心视角图像进行分层处 理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第 一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的 图像；
[0066] 中心视角第二子图像获取单元12,用于根据所述中心视角图像中的预设删除区域 在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二 子图像；
[0067] 层结构蒙版生成单元13,用于根据所述预设删除区域分别生成所述多幅中心视角 第二子图像的层结构蒙版；
[0068]中心视角第三子图像获取单元14,用于根据所述多幅中心视角第二子图像的层结 构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像 的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
[0069] 第二中心视角图像获取单元15,用于根据所述多个预设视差值将所述多幅中心视 角第三子图像进行合成处理，以获取第二中心视角图像；
[0070] 其他视角第一子图像获取单元16,用于根据所述多个预设视差值将目标场景的其 他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述 其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
[0071] 其他视角第二子图像获取单元17,用于根据所述预设删除区域在多个所述其他视 角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
[0072] 其他视角第三子图像获取单元18,用于根据所述多幅中心视角第二子图像的表观 特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的 表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
[0073] 第二其他视角图像获取单元19,用于根据所述多个预设视差值将所述多幅其他视 角第三子图像进行合成处理，以获取第二其他视角图像。
[0074] 本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此 处不再赘述。
[0075] 作为本实施例的优选，该装置还包括多视角光场图像获取单元10,用于利用消费 级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角 图像和所述其他视角图像。
[0076] 在此基础上，中心视角第一子图像获取单元10,可进一步用于根据预设分层数量N 并通过代价体滤波cost volume filtering方法确定所述目标场景的中心视角图像中每个 像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对 应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
[0077] 进一步地，中心视角第一子图像获取单元10还可进一步用于对每幅所述中心 视角 第一子图像均通过图像指导滤波guided image filtering方法以第一预设滤波半径进行 平滑处理。
[0078] 作为本实施的优选，中心视角第一子图像获取单元10进一步用于对每幅经过平滑 处理的所述中心视角第一子图像再次通过图像指导滤波guided image filtering方法以 第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤 波半径。
[0079] 本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此 处不再赘述。
[0080] 下面具体说明本发明的基于片匹配的光场图像编辑方法和装置的具体应用过程。
[0081] 本实施例中，首先将一个四维的光场以1，7，11，￥)用一个二维的图像阵列1(11，￥)来 表示，每个图像都假设是由单个相机从视角(u，v)拍摄得到，而图像I(u，v)的像素(x，y)的 值等于L(X，y，u，v)。本方法具体流程如下：
[0082] 1、光场图像的分层处理
[0083] 本实施例对于获取的光场图像采用了根据视差(深度)进行的层次结构表示方法， 该方法是将光场所包含的场景看作由一系列定义在中心视角1(〇,〇)的内容层叠加而成的， 即这些内容层均具有带有透明度的软性边界。
[0084] 首先，本实施例用代价体滤波方法计算中心视角1(0,0)各点的深度值：
[0085] 在场景中有预设数量L(例如L = 32)个深度层，每个层1都有一个唯一对应的视差 值cU，对于中心视角图像的每个像素 p，其被分配到1层的代价定义如下式：
[0086]
[0087]
[0088] 其中，0 .为中心视角图像的像素 p被分配到1层的代价值；V (u，v)为视角坐标为 (u，v)的图像中像素 P'的像素值，其中P'和p的视差值为di，IP (0，0)为中心视角的像素 p的 值;。
[0089]通过这种方法，作者在(x，y，l)三维空间构建出了一个代价体。因为每个像素的代 价都是分别计算得到，所以这样构建的代价体可能会有很多噪音。未解决该问题，本实施例 采用边界敏感的图像指导滤波(guided image filtering，半径为9)方法，以平滑整个代价 体，进而可以确定每个像素属于哪个深度层1由下式得到：
[0090] Lo = arg min C, ,： ( 2 )
[0091 ]其中，LP为像素 p的所处的深度层；g为式（1)中的中心视角图像的像素 p被分配到 1层的代价值。
[0092] 进一步地，由于这样产生的分层结果会产生硬性边界（即不带有透明度信息），为 了得到不同层之间无缝的融合效果，本实施例采用进一步的软性边界生成方法;在每个深 度层上再次应用图像指导滤波方法（用较小的半径4)，就能够产生类似于alpha-抠图方法 的透明度提取效果，每个层蒙版上的像素值都在〇到1之间，进而图像就可以由这些层以不 同的透明度融合起来得到。
[0093] 具体地，图3示出了本发明另一个实施例的光场图像编辑方法的效果图；如图3所 示，本实施例要实现的编辑效果是将遮挡住较大花朵的小花的一部分去除掉。而在输入光 场数据后，由用户输入深度层，即在中心视角1(〇,〇)图像中选中要删除的图像区域，然后对 该图像进行分层处理，并判断待删除区域所影响到的层。然后利用上述方法合成各层图形 的蒙版，以根据所生成的蒙版区域形状进行表观特征合成，最后将完成表观特征合成的图 像进行合并，即完成了中心视角1(〇,〇)图像的编辑工作。特别地，由图3右上角的六变形点 阵列中的被选中原点位置即表明当前所编辑图像为中心视角1(〇,〇)图像。
[0094] 需要说明的是，在每一层的软性边界区域，采用每一层内部的颜色值外推得到，因 为假设在物体边缘的颜色是一致的（即在大花所在层上，该大花边缘的颜色由花本体的颜 色决定，而非背景颜色），这也是在图像抠取和融合技术中的常用假设。在颜色外推扩展后 的层将作为后续步骤中进行基于片的合成算法的基础。
[0095] 2、基于层结构的合成
[0096]为了更好的解释这一方法框架，首先假设用户在中心视角图像上圈出了一块区域 w以进行物体移除。给定用户输入后，层l(w)和所有被其遮挡的层都被认为是该操作的相关 层，按视差以降序排列(视差越大即可视为离镜头越近）。为了填补w，针对每个相关层均需 要重构出区域w中的那部分原本被前景物体遮挡的内容，即需要合成：
[0097] (1).层蒙版一在蒙版图像上，将像素的透明度转化为该像素的灰度值（即将表示 透明度的数值乘以255,其中表示透明度的数值例如为0~1);
[0098] (2).层内每个像素的表观特征。
[0099] 本实施例采用多尺度的基于片的合成策略在用户标记的区域w中合成层蒙版，具 体如下：
[0100] w之外的层蒙版区域将作为源蒙版，这部分区域在编辑过程中保持不变，将整个的 区域蒙版(包括《)作为待补全的目标蒙版。然后对两者都建立起高斯金字塔，第η级需要先 找到w(n)中所包含的层蒙版区域的边界像素。具体来说，为了获取属于洞边界区域的像素 P，需在w之外的区域中查找与Nt(p)最相似的片Ns(q)，将二者相似度(距离)定义如下：
[0101]
[0102]其中，N(p)为以p为中心的局部片记作N(p)，当N(p)既包含了在层蒙版中的像素和 不在层蒙版上的像素时，P即被认为属于边界区域;其中下标s表示在原始图像中，下标t表 示该片在待编辑的目标图像中。M4PMt分别为目前待编辑的图像的层蒙版和原始图像的层 蒙版。
[0103] 重复进行该过程，直到所有的边界像素被填充。而对于剩余的未填充像素（即包含 于边界内部的像素），设处在边界内部的透明度为1，外部的则设其透明度为0。特别地，本实 施例的源蒙版及新和成部分均具有软性边界。
[0104] 在此基础上，上述合成的层蒙版定义了当前层在目标区域中的内容形状，下面将 根据这一形状讲行衷观特征的合成，目标是使合成后的^与六*的距离最小：
[0105]
[0106]其中，Nt(p)为目标区域中的p像素位置的局部片;Ns(q)为源图像中的某q像素位置 的局部片;D为编辑前后图像的表观特征距离;Da为局部片的颜色特征距离，q为源图像中的 某一待运算像素位置。
[0107] 本实施例中，同一层上各像素的表观特征可能随着空间的变化而有很大的不同， 尤其是在边界区域上。因此，对于需要合成的w中的边界区域，使用同样来自于原图该层的 边界部分的颜色值进行合成。为此，在设计片表观特征的距离度量函数时，还考虑了蒙版的 相似度：
[0108] Da(Nt(p)，Ns(q))=a| |Ns(q)-Nt(p) | |+(l-a)Dm(Ns(q)，Nt(p))， (5)
[0109] 其中，a为平衡因子，优选地设为0.5。本实施例采用多尺度片合成方法来解这一优 化问题：
[0110] 最粗略层次的目标区域将采用随机初始化的偏移量值；
[0111] 在更精细的层次，偏移量值将使用上一层的偏移量来进行初始化，给定偏移量图 之后，w区域就可以采用像素投票策略来生成，从而得到了该层的合成结果。
[0112] 3、基于层结构的全视角光场生成
[0113] 在中心视角图像的各个深度层次合成之后，下面介绍如何将该编辑传播(Edit propagation)到所有其他视角图像上，并保持其他视角图像与中心视角图像的表观特征及 其深度的一致性。为了使合成的结果看起来更自然，本实施例并未选择直接从I(u，v)复制 像素值到其他的视角上。对于1(0, 〇)中每个被编辑的像素 P，算法记录下了每个合成位置的 采用的片s(p)与当前坐标的偏移量(这个偏移量是片匹配合成方法记录下来的）然后利用 该偏移量，在I (u，v)本身寻找对应的片，然后用对应片的颜色来编I (u，v)中p的对应像素。 换句话说，这个偏移量的传播过程保证了 ：1.1(u，v)是用来自于本身的像素值来编辑的； 2.1(u，v)中所进行的编辑与1(0,0)和其他视角上是完全一致的。事实上，这种方法是用了4 维空间的光场数据局部"±夬"来生成的新内容。需要注意的是，该传播过程需要按照合成层 的顺序从后往前进行，以防止不同深度物体 的遮挡关系被破坏。图4示出了本发明另一个实 施例的光场图像编辑方法的效果图。如图4所示，本实施例的方法可以实现光场数据的图像 补全、内容重排等等，其实施过程与上述实施例基本相同，在此不做赘述。
[0114] 本发明的基于片匹配的光场图像编辑方法和装置可针对消费级的光场相机所拍 摄的光场图像进行结构保持的光场图像编辑，满足了人们日益增长的对消费级的光场相机 所拍摄的光场图像进行编辑的需求，进一步拓展了消费级的光场相机的应用范围。
[0115] 以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例 对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施 例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换;而这些修改或替 换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1. 一种光场图像编辑方法，其特征在于，包括： 将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视 角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为 所述目标场景的光场图像中中心视角对应的图像； 根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受 到所述预设删除区域影响的多幅中心视角第二子图像； 根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版； 根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像 的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子 图像对应的多幅中心视角第三子图像； 根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二 中心视角图像； 根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述 预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中 除所述中心视角之外的视角对应的图像； 根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区 域影响的多幅其他视角第二子图像； 根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的 表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图 像对应的多幅其他视角第三子图像； 根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二 其他视角图像。2. 如权利要求1所述的光场图像编辑方法，其特征在于，所述将目标场景的中心视角图 像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所 述中心视角第一子图像对应的视差值之前，该方法还包括： 利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括 所述中心视角图像和所述其他视角图像。3. 如权利要求1所述的光场图像编辑方法，其特征在于，所述将目标场景的中心视角图 像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所 述中心视角第一子图像对应的视差值，包括： 根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场 景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所 述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一 子图像对应的视差值。4. 如权利要求3所述的光场图像编辑方法，其特征在于，所述根据所述每个像素的视差 值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，包括： 对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法 以第一预设滤波半径进行平滑处理。5. 如权利要求4所述的光场图像编辑方法，其特征在于，所述对每幅所述中心视角第一 子图像均通过图像指导滤波guidedimagefiltering方法进行平滑处理之后，该方法还包 括： 对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guided imagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的 数值小于所述第一预设滤波半径。6. -种光场图像编辑装置，其特征在于，包括： 中心视角第一子图像获取单元，用于将目标场景的中心视角图像进行分层处理，以获 取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像 对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像； 中心视角第二子图像获取单元，用于根据所述中心视角图像中的预设删除区域在多个 所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像； 层结构蒙版生成单元，用于根据所述预设删除区域分别生成所述多幅中心视角第二子 图像的层结构蒙版； 中心视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的层结构蒙版 生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观 特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像； 第二中心视角图像获取单元，用于根据所述多个预设视差值将所述多幅中心视角第三 子图像进行合成处理，以获取第二中心视角图像； 其他视角第一子图像获取单元，用于根据所述多个预设视差值将目标场景的其他视角 图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视 角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像； 其他视角第二子图像获取单元，用于根据所述预设删除区域在多个所述其他视角第一 子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像； 其他视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的表观特征确 定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特 征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像； 第二其他视角图像获取单元，用于根据所述多个预设视差值将所述多幅其他视角第三 子图像进行合成处理，以获取第二其他视角图像。7. 如权利要求6所述的光场图像编辑装置，其特征在于，该装置还包括： 多视角光场图像获取单元，用于利用消费级光场相机获取所述目标场景的多视角光场 图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。8. 如权利要求6所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获取 单元，进一步用于根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定 所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值 最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中 心视角第一子图像对应的视差值。9. 如权利要求8所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获取 单元，进一步用于对每幅所述中心视角第一子图像均通过图像指导滤波guidedimage filtering方法以第一预设滤波半径进行平滑处理。10.如权利要求9所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获 取单元，进一步用于对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤 波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤 波半径的数值小于所述第一预设滤波半径。
【专利摘要】本发明涉及一种光场图像编辑方法及装置，该方法包括：将目标场景的中心视角图像进行分层处理；分别生成多幅中心视角第二子图像的层结构蒙版，进而根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像，以获取第二中心视角图像；根据多幅中心视角第二子图像的表观特征确定多幅其他视角第二子图像的表观特征，以获取多幅其他视角第三子图像；将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。本发明可针对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，进一步拓展了消费级的光场相机的应用范围。
【IPC分类】G06T5/00
【公开号】CN105488771
【申请号】CN201510945488
【发明人】胡事民, 张方略, 王珏, 周子晔, 石佳希
【申请人】清华大学
【公开日】2016年4月13日
【申请日】2015年12月16日
最新回复(0)