一种基于样本模板的数字化妆方法
一种基于样本模板的数字化妆方法
【技术领域】
[0001] 本发明属于数字图像处理与人工智能技术领域，特别是设及一种人脸图像数字化 妆的处理方法。
【背景技术】
[0002] 现代社会化妆已经成为许多人的生活习惯。随着可摄像智能移动终端的普及和图 像处理技术的发展，如今人们已经开始利用智能移动终端上的应用给自己的图像进行美化 甚至是数字化妆。
[0003] 数字化妆技术在日常生活中有着非常巨大的应用潜力。例如，化妆品电商可W利 用数字化妆应用为客户提供虚拟试用功能;化妆服务提供机构可W利用数字化妆应用为客 户提供最佳的化妆方案;人们日常生活中可W利用数字化妆应用挑选合适自己的妆容;人 们在分享图片到社交网络前可W利用数字化妆应用对自己的图片进行化妆等等。
[0004] 目前，数字人脸化妆技术的文献为数不多。祝秀萍等人在2008年计算机与信息技 术期刊上发表的论文"人脸虚拟化妆系统的研究"中提出建立化妆品颜色和肤色模型，来模 拟人脸化妆效果，但只能提供一些美白、唇彩等基本效果，眼影、眼线等效果并不明显。Wai-Siun Tong等人在2007年发表的会议论文巧xample-based cosmetic transfer"中提出从 同一人脸化妆前和化妆后的人脸图像对中学习出化妆对人脸外观的影响，再将运个影响添 加到另外一张人脸中，实现化妆转移效果。运种方法限制较多，因为对每一个想实现的化妆 效果都必须要收集同一个人脸几乎相同角度的化妆前后图片，而且要求样本图像和目标图 像有相似脸型和表情，甚至需要手动操作使得样本图片和目标图片的眼睛、嘴己在相同位 置，操作复杂，实用程度较低。Dong Guo等人在2009年会议论文"Digital face makeup by example"中提出基于化妆转移思想的数字人脸化妆技术，但不再需要样本人脸化妆前后的 图像对，只需要有化妆后的人脸图像。由于使用薄片扭曲形变算法对准样本人脸和目标人 脸图像，因此不要求样本人脸和目标人脸脸型相似，不需担屯、两个人脸的五官位置对不齐。 但是，该算法采用主动形状模型ASM标注特征点，运个算法准确率不够高，很多时候需要用 户手动去调整特征点位置。
【发明内容】
[0005] 本发明的目的在于利用数字图像处理方法，提供一种基于样本模板的数字化妆方 法，对用户提供的淡妆或素颜人脸照片，经过处理后，输出一张该人脸化妆之后的图像。
[0006] 本发明采用的技术方案如下。
[0007] -种人脸图片数字化妆的方法，对移动智能终端采集的人脸图像和妆容提供图像 分别依次进行人脸检测、人脸特征点定位、人脸变形对准和人脸图像图层分解步骤后，再进 行相应图层合成，最终获得输出的化妆后的人脸图像。
[000引所述的基于样本模板的数字化妆方法包括：
[0009] (1)、人脸检测；
[0010] (2)、人脸特征点检现憶位；
[0011] (3)、人脸变形配准；
[0012] (4)、人脸图层分解；
[0013] (5)、人脸图层合成。
[0014] 所述步骤（1)是人脸检测，其目的是是检测输入图像是否含有人脸，若是，则判断 人脸位置、大小和数量。本发明利用类化ar特征的AdaBoost级联分类器来检测和标示图像 中人脸位置。
[0015] 所述步骤(2)是人脸特征点检测定位，其目的是在图像的人脸区域内，标定出人脸 特征点的位置。人脸特征点是包括人脸五官的轮廓点，本发明利用主动表观模型AAM (Active Appearance Models)进行特征点定位。首先，有效地提取形状及纹理等先验知识， 对事先人工标注好的训练图像集进行统计、分析，获得关于目标对象形状和纹理的模型，然 后根据此形状和纹理模型，对测试样本进行多次迭代捜索、匹配，同时根据测试样本的实际 情况调整先验模型参数，从而得到最终的准确的特征点定位输出。
[0016] 所述步骤(3)是变形配准，其目的是利用图片变形技术将妆容提供图像对准到输 入人脸图像。图像变形算法的主要步骤包括指定特征图元，根据特征图元的对应关系生成 变形函数，最后映射并插值得到最终的输出图像。本发明利用人脸特征点作为特征图元，采 用层次自由形状变形算法(Multilevel化ee-form Deformation,MF抑)进行变形映射，从 而得到对准后的待化妆人脸。
[0017] 具体操作如下:指定使用人脸特征点作为特征图元，根据特征图元的对应关系，推 导出所需要的变形函数，将妆容提供图像对准到输入人脸图像。Ω代表变形目标对象，p = (u，v)(l <u<m且1 < v<n)代表Ω中任意一个点。函数讯(口）=(义(口），7(口））代表〇变形后得 到的形状。针对目标对象Ω构建大小为(m+2) X (n+2)的覆盖于变形目标Ω上的控制网格 巫。控制网格Φ上的控制点在不同状态下可能处于不同位置。用樓=化乃代表当Φ在算法 开始时，第ij个控制点所在位置。通过控制网格Φ上控制点的位置，计算出变形所需要的变 形函数W。变形函数W定义为：
[001 引
[0019]式中，下标满足条件-l，y = _v_ - l,.s = M - _M_ ,? = _v_ -V,函数Bk(s)、Bi(t)是 均匀的Ξ次B样条曲线的基函数，运些函数式如下所示：
[0025] 开始时，控制点在初始位置，经过两个或者W上的共线控制点的B样条曲线肯定是 线性的，此时Φ并没有变形，所W可W得到：
[0026]
[0027]先移动单个特征点，即假设变形目标Ω应该被变形W使得其中的p移动到指定的 位置9上，gPw(p) =9，过程中位移为Δ q = w(p)-w*^(p) =9可，为了简化公式表示，假设口 = (u，v)，l <ιι，λΚ2，可得：
[002引
[0029] 其中wki = Bk(s)Bi(t)且s = u-l，t = v-l。Δ φκ满足上式的解有很多个。本发明使 用基于最小平方意义的解法，即如下所示：
[0030]
[0031 ]当移动多个控制点时，假设通过移动控制网格的控制点，将代表目标对象Ω的点 集Ρ中的点全部变形，即对于原点集Ρ中任意一个点Ρ都有W (Ρ) = q，其中q代表Ρ变形后在点 集Q中的位置。令P ' = {(Uc，Vc)}为P中的子集，满足i-2如c<i+2且j-2 < vc< j+2。记Φ为巫中 第ij个控制点并且Φ的初始位置为(i，j)，可W看出P'就是受Φ位移影响的特征点集。对P' 中的每个点P。而言，将P。移动到给定目标位置所需的邻近控制点位移A Φ。的计算如式
所示。对于P '中的每个点，A Φ。并不一定相同，所W每个控制点Φ位 移Δ Φ都应该使得所有点的变形误差最小，从而尽可能避免控制点Φ的位移使得P中其他 的点被移动到错误的位置。
[0032] 变形误差定义如下：
[0033]
[0034] 式中，WcA Φ代表由控制点Φ的位移Δ Φ引起的点Pc的位移，WcA Φ。代表实现移 动点P。到指定位置运一目标所需的全部控制点位移导致的点集位移。因此，式
衰明，变形误差代表的是P'中的每个点Pc =(山，Vc)对应的Wc Δ Φ和Wc Δ Φ C 之差的平方和。上式中，Wc = Bk(s)Bi(t)走+ ，./ 二(./ + l) = [v」，. S - 乂_ ? =哈-乂_。由式
巧Δ Φ求导，并使导数为零，可得 ；
[0035]
[0036] 运样计算出每一个控制点的正确位移，得到变形后控制点的新位置，将其代入式
得到合适变形函数W。进一步地，为控制上述操作过程中的 叠影现象，即原图中部分点被映射后重叠在一起的现象，采用分多次迭代去分步移动控制 点，随着迭代的进行，逐渐缩小控制网格大小的处理方法。
[0037] 对于g个尺寸依次缩小的控制网格Φο,Φι，…，&g，分别求解出对应的变形函数， 实现多层次自由形状变形。第f个控制网格Φ?初始化时的网格尺寸大小用hf表示，运里假定 ho、hm是给定的，而且对于每个尺寸大小，都满足hf = 2hf+1。用wo, W1 , · · · , Wn来代表对应不同控 审綱格求得的变形函数，最终整个变形函数由W···WnOWn-lO···OW日组合表示，式中，W(Ω)=Wn (Ω η)，其中Ω 0= Ω，Ω w=wi( Ω 1)。在多次迭代中，前一次迭代的结果，就是下一次迭代的 输入，因而可得Pi+i=Wi(Pi)，其中初始条件Po = P。每一次迭代的误差定义为：
[00；3 引
[0039] 式中，q。代表变形前的点集P中的点P。在变形后的点集Q中对应的位置。
[0040] 在某次迭代后，若由式
求得的值小于某个给定的阔值，算 法便收敛，给出最终结果。
[0041] 所述步骤(4)是人脸图层分解，其目的是对妆容提供图像进行图层分解，把妆容信 息从样本模板中分离出来。本发明利用引导滤波器对妆容提供图像进行边缘保留平滑滤 波，进一步分解得到人脸结构层和纹理细节层。针对数字化妆应用，人脸不同区域采取完全 不同的化妆策略，因此，本发明对引导滤波器进行改进，使其在图像不同区域根据位置信息 获得不同程度的平滑和边缘保留效果，缩减基于样本模板的数字化妆算法运算时间，提高 算法实用性，使其能实现为iOS平台上的一个应用。
[0042] 具体操作如下：引导滤波器的输入为引导图像I和待滤波图像P，则滤波输出为：
[0043]
[0044] 式中，W是由引导图像I和输入的待滤波图像P共同决定的滤波核函数，i和j是像素 位置索引。假设引导图像I与滤波输出图像q在局部区域内存在着一个简单的线性模型，即 在局部区域滤波输出图像q的像素值可W由引导图像I在对应位置的像素值的线性变换获 得，用数学公式表示为：A ，We巧。其中，c〇k代表W像素 k为中屯、的滤波窗口，ak 和bk是线性因子，其数值与其所在的窗口 wk有关。引导滤波器采用的滤波窗口是半径为r的 方形窗。将式％ =带^ +?，Vi E麟对空间进行求导得呵二aV/。
[0045] 模型中的线性因子，通过最小化输入待滤波图像与输出图像直接的差异求得，即 使得
的值最小，将qi = aiJi+bk代入得：
[0046]
[0047] 式中，ε是为了避免参数ak的取值太大而引入的正则化参数。求解式
[0051]式中化和Ok2分别代表引导图像I在窗口 ω冲所有像素的均值和方差，I ω I代表窗 口 wk中的像素点的数量，品代表输入的待滤波图像Ρ在窗口 wk中所有像素值的均值。将ak 和b止述表达式代入到式qi = aiJi+b冲，并对多个窗口取平均，求得：
[0054]考虑到真实化妆，人脸的不同区域采取的是完全不同的化妆策略，本发明对上述 改进滤波器滤波过程进行改进，使其在图像不同区域获得不同程度的平滑和边缘保留效 果。将原算法中固定的正则化因子ε，改为与像素位置有关的可变参数β。本发明中，将人脸 图像区分为脸部皮肤、眉毛和其他人脸区域Ξ个部分，对运Ξ个区域的β参数取不同值，即 Pie嫌=1，0ie席=0.7，0ie期也=0。进一步地，对β矩阵使用腐蚀算法和高斯模糊算法进行处 理，使得它在值较低区域进行边界扩张，从而满足在不同人脸区域之间平滑过渡的要求，同 时确保图像边界的锐度。引入β参数后，替换式
中的固 定参数ε，得到：
[0化9]式中，昇为βι在窗口 Wk中的均值。运样就实现了平滑度可W根据基于位置的参数 变化的引导滤波器，利用改进的引导滤波器完成图层分解。
[0060] 所述步骤(5)是人脸图层合成，其目的是将输入图像和妆容提供图像的结构图层、 细节图层和色相图层进行合成操作，获得化妆后人脸图像。具体操作如下:输入图像和妆容 提供图像在依次完成人脸检测、特征点定位、人脸变形对准和人脸图像图层分解步骤后，对 应的结构图层（Is、Es)、细节图层（Id、Ed)和色相图层（1。、私），接下来对各图层分别进行合成 操作。
[0061] 化妆前后人脸图像的结构层保持一致，因此直接使用输入人脸图像的结构层作为 输出人脸图像的结构层，即I?s = Is。人脸上非眼睛区域用输入人脸图像细节层和妆容提供图 像的细节层加权求和来获得输出人脸图像的细节层，来模拟粉底液、粉底对人脸皮肤的纹 理遮盖效果，即
[006^ Rd(p) = SiId(p)+SEEd(p)
[0063] 人的眼睛区域内和非人脸区域采用输入待化妆人脸图像的细节的方法。因此，输 出人脸图像细节层用下式表示。
[0064]
[0065] 式中，权重0含δι含1，〇含δΕ含1，分别代表输入图像细节层的保留程度和妆容提供 图像细节层的转移程度。运里没有要求Si和δΕ的和等于1或者小于1，但δι和δΕ的和不能过小 或者接近于0，否则会导致输入的化妆由于纹理细节过少而显得不真实。
[0066] 用al地a混合算法来模拟化妆品的混合效果，即：
[0067]
[0068] 式中，丫为色相混合中妆容提供图像的色相层权重。
[0069] 在眼睛和非人脸区域都是直接采用输入人脸图像色相层作为输出人脸图像的色 相值，即：写;=皮
[0070] 完成输入人脸图像和妆容提供图像的结构层、细节层和色相层对应合成后，得到 了化妆后图像的相应Ξ个图层。细节层是由亮度层L减去边缘保留滤波所得的结构层获得， 因此将输出图像的结构层和细节层简单相加便可W得到输出图像在CIELAB颜色空间中的 亮度层，即4=/?、+馬。
[0071] 输出图像的色相层Rc是由CIELAB颜色空间的為与6;组成，因而输出图像的诚与均 通道可W由Rc直接获得。现在已经完整地获得了输出图像在CIELAB颜色空间中的所有Ξ个 通道，只需要将输出图像从CIELAB颜色空间转换回RGB颜色空间就可W获得输出的化妆后 人脸图像。
[0072] 本发明的基本原理是:将妆容图像的妆容信息转移到人脸图像中，达到数字化妆 的效果。整个数字化妆方法的基本步骤包括人脸检测、人脸特征点检测定位、人脸变形配 准、人脸图层分解和人脸图层合成。
[0073] 本发明与已有数字化妆方法相比，具有如下优点和有益效果：
[0074] (1 )、算法效率优于现有算法；
[0075] (2)、改进引导滤波器对人脸图像进行图层分解，获得相当好的图层分解效果，并 大大缩减算法时间复杂度；
[0076] (3)、改进人脸图像细节层合成算法，对不同人脸区域采用不同合成策略，使得化 妆效果更加真实；
[0077] (4)、基于样本的超分辨率重构算法，解决了基于样本模板的数字化妆算法在应用 实现过程中遇到的分辨率差异问题。
【附图说明】
[0078] 图1是本发明的数字化妆算法整体流程图；
[0079] 图2是本发明的图层分解流程图；
[0080] 图3是本发明的基于 样本超分辨率重构算法整体流程图。
【具体实施方式】
[0081] W上内容W及对本发明的技术方案作了非常详细的充分公开，下面再结合附图对 本发明做进一步的说明。基于苹果公司的iOS平台的移动客户端，和基于微软公司Windows 平台的服务器，构建客户端-服务器架构，实施本发明的移动智能终端数字化妆应用。服务 器端用编程语言c#编写Windows Server,负责会话管理、基于样本模板的数字化妆的算法 调用和数据库管理等。客户端用编程语言Objective-C编写移动端应用程序，负责图像捜 集、数据传输和用户交互。
[0082] 本发明的基于样本模板的数字化妆算法整体流程如附图1所示，在分别对妆容提 供图像和待化妆人脸图像进行人脸特征点定位后，首先进行的步骤是，利用多层次自由形 状变形(Multi level Free-form Deformat ion, MF抑），将提供妆容的图像E*中的人脸对准 到输入的待化妆人脸图像I，得到E;然后，分别将I和E转换到CIELAB颜色空间，获得亮度层 L嘴两个颜色图层a嘴項同组成了附图1中的人脸色相图层Ic、Ec。接着，利用改进 的引导滤波器分别对两个图像的1^层进行图层分解，进而得到代表人脸结构的大尺度图层 Is、Es和妆容所在的细节图层Id、Ed;因为化妆前后人脸结构不变，因此化妆后人脸图像的人 脸结构图层Rs直接等于Is,而妆容的细节图层RdW及色相图层Rc则分别通过加权平均和 alpha混合算法计算;利用Rs、Rd、RcS个图层就可W得到最终的化妆后人脸图像R。附图1中， 符号W代表对妆容提供图像根据输入图像的形状进行人脸图像变形对齐，+代表对细节层进 行加权平均操作，α代表对色相层进行al地a混合操作。
[0083] 本发明的图层分解流程图如附图2所示，先将原图从RGB空间转换到CIELAB颜色空 间，得到Ξ个通道信息，分别是L*、a*和b*通道，L*是亮度通道，a*和b*共同组成色相层。对 L*通道进行引导滤波，得到大尺度信息层，用于代表人脸结构层，L*层减去人脸结构层则可 W得到纹理细节信息层。
[0084] 本发明的基于样本超分辨率重构算法整体流程如附图3所示，主要目的是解决妆 容提供图像和输入的待化妆人脸图像分辨率不同的问题。
[0085] 首先，收集到足够多的高分辨率图像组成数据集，然后将运些图像缩小为原来大 小的四分之一得到低分辨率图像数据集。接着分别将上述高、低分辨率的图像划分为局部 的小块并且一一对应。对所有获取的图像块储存其高频信息，所有图像块的高频信息共同 组成所需的训练数据。
[0086] 预测高频信息步骤中，用到马尔科夫网络(Markov network)来对图像块之间的空 间信息进行建模，将输入的低分辨率局部块看成是马尔科夫网络中可见的观察节点，而将 需要通过预测得到的对应的高分辨率局部块信息看成的隐藏节点。求解出马尔科夫网络中 的所有隐藏节点，即可W获得输出图像的高频信息。用迭代的置信度传播算法（Belief Propagation)来求解出马尔科夫网络的近似最优解，一般迭代3到4次就足够。
[0087] 如上即可较好地实现本发明并取得前述的技术效果。
【主权项】
1. 一种基于样本模板的数字化妆方法，其特征在于先对移动智能终端采集到的淡妆、 或者素颜人脸照片和妆容提供照片进行人脸检测、人脸特征点定位检测和人脸图像变形对 准，在此基础上对人脸图像进行图层分解，利用基于样本的超分辨率重构算法解决妆容提 供图像和输入人脸图像的分辨率差异问题，最后进行人脸图像的图层合成，输出淡妆或素 颜照片化妆之后的图像。2. 根据权利要求1所述的基于样本模板的数字化妆方法，其特征在于包括如下步骤： 1) 人脸检测:检测输入图像是否含有人脸，若是，则判断人脸的位置、大小和数量;本步 骤利用类Haar特征的AdaBoost级联分类器来检测和标示图像中人脸位置； 2) 人脸特征点检测定位:在图像的人脸区域内，标定出人脸特征点的位置;所述人脸特 征点是包括人脸五官的轮廓点，本步骤利用主动表观模型AAM(Active Appearance Models)进行人脸特征点定位； 3) 人脸图像变形配准：利用图片变形算法将妆容提供图像对准到输入人脸图像；图像 变形算法包括:指定特征图元，根据特征图元的对应关系生成变形函数，最后映射并插值得 到最终的输出图像；本步骤利用人脸特征点作为特征图元，采用层次自由形状变形算法 (Multilevel Free-form Deformation,MFFD)进行变形映射，从而得到对准后的待化妆人 脸； 4) 人脸图层分解:对妆容提供图像进行图层分解，把妆容信息从样本图像中分离出来； 利用引导滤波器对妆容提供图像进行边缘保留平滑滤波，进一步分解得到人脸结构层和纹 理细节层;针对数字化妆应用，人脸的不同区域采取完全不同的化妆策略，本步骤对引导滤 波器进行滤波参数自适应调整的改进，使引导滤波器在图像不同区域根据位置信息获得不 同程度的平滑和边缘保留效果，缩减基于样本模板的数字化妆算法的运算时间，提高算法 的实用性，使其能实现为i〇S平台上的一个应用； 5) 人脸图层合成:对输入图像和妆容提供图像分解后得到的结构图层、细节图层和色 相图层进行合成操作，获得化妆后的人脸图像。3. 根据权利要求2所述的数字化妆方法，其特征在于所述步骤1)利用训练样本的类 Haar特征训练分类器，从而得到一个AdaBoost级联分类器。4. 根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤2)具体 操作如下：利用AAM模型提取形状及纹理先验知识，首先，对事先人工标注好的训练图像集 进行形状和纹理信息的统计、分析，从而获得关于目标对象形状和纹理的模型，然后根据此 形状和纹理模型，对测试样本进行多次迭代搜索、匹配，同时根据测试样本的实际情况调整 先验模型参数，从而得到最终的准确的特征点定位输出。5. 根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤3)所述 图像变形算法具体操作如下:指定人脸特征点作为特征图元，根据特征图元的对应关系，推 导出所需要的变形函数，将妆容提供图像对准到输入人脸图像;设Ω代表变形目标对象，p =(^，￥)代表〇中任意一个点，1<11<111且1<￥<11，表示目标对象横纵像素点数 ；函数￥(口） = (x(p)，y(p))代表Ω变形后得到的形状;针对目标对象Ω构建大小为(m+2)X(n+2)的覆 盖于变形目标Ω上的控制网格Φ;控制网格Φ上的控制点在不同状态下可能处于不同位 置;用<=(/，./)代表当Φ在算法开始时，第i j个控制点所在位置;通过控制网格Φ上控制点 的位置，计算出变形所需要的变形函数W;变形函数W定义为：式中，下标满足条件是对变量U ,V取 整，函数Bk(S)、Bi(t)是均匀三次B样条曲线的基函数，这些函数定义式如下： B〇( t) = (_t3+3t2_3t+l )/6 Bi(t) = (3t3+6t2+4)/6 B2 (t) = (_3t3+3t2+3t+l )/6 B3(t) =t3/6 式中〇<t〈l; 开始时，控制点在初始位置，经过两个或者以上的共线控制点的B样条曲线是线性的， 此时Φ并没有变形，所以得到：先移动单个特征点，即假设变形目标Ω应该被变形以使得其中的p移动到指定的位置q 上，即w(p) = q，过程中位移为Δ q=w(p)-wQ(p) = q-p，为了简化公式表示，假设p=(u，v)，1 < u，v〈2,可得：式中￥1<1 = 1^(8)131(1：)且8 = 11-1 3 = ￥-1;八（|)1{1满足上式的解有很多个;使用基于最小 平方意义的解法，即如下所示：再考虑同时移动多个控制点的情况，假设通过移动控制网格的控制点，将代表目标对 象Ω的点集P中的点全部变形，即对于原点集P中任意一个点p都有W(p) =q，其中q代表p变 形后在点集Q中的位置;令？' = {(11。，1)}为？中的子集，满足卜2^11。〈丨+2且」-2^。〈」+2，记 Φ为Φ中第ij个控制点并且Φ的初始位置为（i，j)，可以看出P'就是受Φ位移影响的特征 点集;对P '中的每个点Pc而言，将Pc移动到给定目标位置所需的邻近控制点位移A Φ c的计 算如式所示;对于P'中的每个点，A Φ。并不一定相同，所以每个控制 点φ位移△ φ都应该使得所有点的变形误差最小，从而尽可能避免控制点φ的位移使得P 中其他的点被移动到错误的位置； 变形误差定义如下：式中，?Δ φ代表由控制点φ的位移Δ φ引起的点p。的位移，ιΔ φ。代表实现移动点p。 到指定位置这一目标所需的全部控制点位移导致的点集位移，因此，式表明，变形误差代表的是？'中的每个点口。=(11。，1)对应的《。八(})和￥。八(})。之差的平方和， 式中，Wc = Bk(s)Bi(t)，由式对Δ φ求导，并使导数为零，可得：据此计算出每一个控制点的正确位移，从而得到变形后控制点的新位置，代入式得到合适变形函数w;进一步地，为控制上述操作过程中的 叠影现象，即原图中部分点被映射后重叠在一起的现象，采用分多次迭代去分步移动控制 点，随着迭代的进行，逐渐缩小控制网格大小的处理方法； 对于g个尺寸依次缩小的控制网格Φ Q，Φ 1，…，Φ g，分别求解出对应的变形函数，从而 实现多层次自由形状变形;第f个控制网格初始化时的网格尺寸大小用hf表示，此处ho、 hg是给定的，而且对于每个尺寸大小，都满足hf = 2hf+i，用wo，wi，…，wn来代表对应不同控制 网格求得的变形函数，最终整个变形函数由W = Wn · Wn-I ·…· WQ组合表示，式中，W( Ω ) =Wn (Ω n)，其中Ω Q= Ω，Ω 1+1=Wl( Ω 〇 ;在多次迭代中，前一次迭代的结果，就是下一次迭代的 输入，因而可得Pw=W1(P1),其中初始条件Po = P，每一次迭代的误差定义为：式中，q。代表变形前的点集P中的点P。在变形后的点集Q中对应的位置； 在其中某次迭代后，若由式求得的值小于某个给定的阈值，算 法便收敛，并给出最终结果。6.根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤4)具体 操作如下:假设引导滤波器的输入为引导图像I和待滤波图像P，则滤波输出为：式中，i和j是像素位置索引，Wlj是像素位置索引ij对应的滤波核函数值，滤波核函数W 由引导图像I和输入的待滤波图像P共同决定;Pj是滤波图像像素值，为索引i处的滤波输 出值;假设引导图像I与滤波输出图像q在局部区域内存在着一个简单的线性模型，即在局 部区域滤波输出图像q的像素值由引导图像I在对应位置的像素值的线性变换获得，用数学 公式表示为:qi = aiJi+bk，访e ;其中，ω k代表以像素 k为中心的滤波窗口，ak和bk是线性 因子，其数值与其所在的窗口有关；引导滤波器采用的滤波窗口是半径为 r的方形窗;将 式qi = aiJ i+bk，W e崎对空间进行求导可得：模型中的线性因子，通过最小化输入待滤波图像与输出图像直接的差异求得，即使得>的值最小，将qi = aiJ i+bk，你 e叫代入可得：式中，ε是为了避免参数a k的取值太大而引入的正则化参数，求解式可得：其中，μι<和〇k2分别代表引导图像I在窗口 Uk中所有像素的均值和方差，I ω I代表窗口 ?k中的像素点的数量，再代表输入的待滤波图像P在窗口 所有像素值的均值;将％和 bk上述表达式代入到式qi = akli+bk,,中，并对多个窗口取平均，可以求得：真实化妆时，人脸的不同区域采取的是完全不同的化妆策略，对滤波器滤波过程进行 改进，使其在图像不同的区域可以获得不同程度的平滑和边缘保留效果，即将原算法中固 定的正则化因子ε，改为与像素位置有关的可变参数β;将人脸图像区分为脸部皮肤、眉毛和 其他人脸区域三个部分，对这三个区域的β参数取不同的值，分别取PiE嫌=1，0说鹿=〇. 7， 難=0;进一步地，对β矩阵使用腐蚀算法和高斯模糊算法来对β矩阵进行处理，并使得β 矩阵有一定的边界扩张，从而满足在不同的人脸区域之间平滑过渡的要求，同时确保图像 边界的锐度；引入β参数后，替换式中的固定参数ε，则 可得到：求解上式可得：其中，肩为队在窗口 COk中的均值;这样就实现了平滑度可以根据基于位置的参数变化 的引导滤波器，利用改进的引导滤波器完成图层分解。7.根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤5)具体 操作如下:输入图像和妆容提供图像在依次完成人脸检测、特征点定位、人脸变形对准和人 脸图像图层分解步骤后，对应的结构图层（IS、ES)、细节图层（Id、Ed)和色相图层（Ic^E。），接 下对各图层分别进行合成操作， 化妆前后人脸图像的结构层保持一致，直接使用输入人脸图像的结构层作为输出人脸 图像的结构层，即Rs = Is;人脸上非眼睛区域用输入人脸图像的细节层和妆容提供图像的细 节层加权求和来获得输出人脸图像的细节层，来模拟粉底液、粉底对人脸皮肤的纹理遮盖 效果，即 Rd(P) =3iId(p)+3EEd(p)， 人的眼睛区域内和非人脸区域采用输入待化妆人脸图像的细节的方法；因此，输出人 脸图像细节层用下式表示，其中，权重O < ~ < 1^ < 1，分别代表输入图像细节层的保留程度和妆容提供图像 细节层的转移程度； 用alpha混合算法来模拟化妆品的混合效果，即：式中，γ为色相混合中妆容提供图像的色相层权重； 在眼睛和非人脸区域都是直接采用输入人脸图像色相层作为输出人脸图像的色相值， 艮P: A; 对输入人脸图像和妆容提供图像的结构层、细节层和色相层分别对应地进行了合成 后，得到了输出的化妆后图像的相应三个图层;细节层是由亮度层L减去边缘保留滤波所得 的结构层获得的，因此将输出图像的结构层和细节层简单相加便可以得到输出图像在 CIELAB颜色空间中的亮度层，即4 =炙+ & ; 输出图像的色相层R。是由CIELAB颜色空间的 < 与6】组成，因而输出图像的 < 与％通 道可以由Rc直接获得;完整地获得输出图像在CIELAB颜色空间中的所有三个通道后，只需 要将输出图像从CIELAB颜色空间转换回RGB颜色空间就可以获得输出的化妆后人脸图像。
【专利摘要】本发明提供一种基于样本模板的数字化妆方法，先对淡妆或素颜人脸照片和妆容提供照片进行人脸检测、人脸特征点定位检测和人脸图像变形对准，在此基础上对人脸图像利用改进的引导滤波器进行图层分解，利用基于样本的超分辨率重构算法解决妆容提供图像和输入人脸图像的分辨率差异问题，最后进行人脸图像的图层合成，输出淡妆或素颜照片化妆之后的图像。本发明提出一种新颖的基于模板的数字化妆方法，通过对图层分解和图层合成算法的改进，获得更为真实的化妆效果，且显著缩减算法时间复杂度，使得数字化妆算法实用化和实时化。
【IPC分类】G06T3/40, G06T5/50, G06K9/00
【公开号】CN105488472
【申请号】CN201510860633
【发明人】金连文, 黄双萍, 黎小凤
【申请人】华南理工大学
【公开日】2016年4月13日
【申请日】2015年11月30日
【技术领域】
[0001] 本发明属于数字图像处理与人工智能技术领域，特别是设及一种人脸图像数字化 妆的处理方法。
【背景技术】
[0002] 现代社会化妆已经成为许多人的生活习惯。随着可摄像智能移动终端的普及和图 像处理技术的发展，如今人们已经开始利用智能移动终端上的应用给自己的图像进行美化 甚至是数字化妆。
[0003] 数字化妆技术在日常生活中有着非常巨大的应用潜力。例如，化妆品电商可W利 用数字化妆应用为客户提供虚拟试用功能;化妆服务提供机构可W利用数字化妆应用为客 户提供最佳的化妆方案;人们日常生活中可W利用数字化妆应用挑选合适自己的妆容;人 们在分享图片到社交网络前可W利用数字化妆应用对自己的图片进行化妆等等。
[0004] 目前，数字人脸化妆技术的文献为数不多。祝秀萍等人在2008年计算机与信息技 术期刊上发表的论文"人脸虚拟化妆系统的研究"中提出建立化妆品颜色和肤色模型，来模 拟人脸化妆效果，但只能提供一些美白、唇彩等基本效果，眼影、眼线等效果并不明显。Wai-Siun Tong等人在2007年发表的会议论文巧xample-based cosmetic transfer"中提出从 同一人脸化妆前和化妆后的人脸图像对中学习出化妆对人脸外观的影响，再将运个影响添 加到另外一张人脸中，实现化妆转移效果。运种方法限制较多，因为对每一个想实现的化妆 效果都必须要收集同一个人脸几乎相同角度的化妆前后图片，而且要求样本图像和目标图 像有相似脸型和表情，甚至需要手动操作使得样本图片和目标图片的眼睛、嘴己在相同位 置，操作复杂，实用程度较低。Dong Guo等人在2009年会议论文"Digital face makeup by example"中提出基于化妆转移思想的数字人脸化妆技术，但不再需要样本人脸化妆前后的 图像对，只需要有化妆后的人脸图像。由于使用薄片扭曲形变算法对准样本人脸和目标人 脸图像，因此不要求样本人脸和目标人脸脸型相似，不需担屯、两个人脸的五官位置对不齐。 但是，该算法采用主动形状模型ASM标注特征点，运个算法准确率不够高，很多时候需要用 户手动去调整特征点位置。
【发明内容】
[0005] 本发明的目的在于利用数字图像处理方法，提供一种基于样本模板的数字化妆方 法，对用户提供的淡妆或素颜人脸照片，经过处理后，输出一张该人脸化妆之后的图像。
[0006] 本发明采用的技术方案如下。
[0007] -种人脸图片数字化妆的方法，对移动智能终端采集的人脸图像和妆容提供图像 分别依次进行人脸检测、人脸特征点定位、人脸变形对准和人脸图像图层分解步骤后，再进 行相应图层合成，最终获得输出的化妆后的人脸图像。
[000引所述的基于样本模板的数字化妆方法包括：
[0009] (1)、人脸检测；
[0010] (2)、人脸特征点检现憶位；
[0011] (3)、人脸变形配准；
[0012] (4)、人脸图层分解；
[0013] (5)、人脸图层合成。
[0014] 所述步骤（1)是人脸检测，其目的是是检测输入图像是否含有人脸，若是，则判断 人脸位置、大小和数量。本发明利用类化ar特征的AdaBoost级联分类器来检测和标示图像 中人脸位置。
[0015] 所述步骤(2)是人脸特征点检测定位，其目的是在图像的人脸区域内，标定出人脸 特征点的位置。人脸特征点是包括人脸五官的轮廓点，本发明利用主动表观模型AAM (Active Appearance Models)进行特征点定位。首先，有效地提取形状及纹理等先验知识， 对事先人工标注好的训练图像集进行统计、分析，获得关于目标对象形状和纹理的模型，然 后根据此形状和纹理模型，对测试样本进行多次迭代捜索、匹配，同时根据测试样本的实际 情况调整先验模型参数，从而得到最终的准确的特征点定位输出。
[0016] 所述步骤(3)是变形配准，其目的是利用图片变形技术将妆容提供图像对准到输 入人脸图像。图像变形算法的主要步骤包括指定特征图元，根据特征图元的对应关系生成 变形函数，最后映射并插值得到最终的输出图像。本发明利用人脸特征点作为特征图元，采 用层次自由形状变形算法(Multilevel化ee-form Deformation,MF抑)进行变形映射，从 而得到对准后的待化妆人脸。
[0017] 具体操作如下:指定使用人脸特征点作为特征图元，根据特征图元的对应关系，推 导出所需要的变形函数，将妆容提供图像对准到输入人脸图像。Ω代表变形目标对象，p = (u，v)(l <u<m且1 < v<n)代表Ω中任意一个点。函数讯(口）=(义(口），7(口））代表〇变形后得 到的形状。针对目标对象Ω构建大小为(m+2) X (n+2)的覆盖于变形目标Ω上的控制网格 巫。控制网格Φ上的控制点在不同状态下可能处于不同位置。用樓=化乃代表当Φ在算法 开始时，第ij个控制点所在位置。通过控制网格Φ上控制点的位置，计算出变形所需要的变 形函数W。变形函数W定义为：
[001 引
[0019]式中，下标满足条件-l，y = _v_ - l,.s = M - _M_ ,? = _v_ -V,函数Bk(s)、Bi(t)是 均匀的Ξ次B样条曲线的基函数，运些函数式如下所示：
[0025] 开始时，控制点在初始位置，经过两个或者W上的共线控制点的B样条曲线肯定是 线性的，此时Φ并没有变形，所W可W得到：
[0026]
[0027]先移动单个特征点，即假设变形目标Ω应该被变形W使得其中的p移动到指定的 位置9上，gPw(p) =9，过程中位移为Δ q = w(p)-w*^(p) =9可，为了简化公式表示，假设口 = (u，v)，l <ιι，λΚ2，可得：
[002引
[0029] 其中wki = Bk(s)Bi(t)且s = u-l，t = v-l。Δ φκ满足上式的解有很多个。本发明使 用基于最小平方意义的解法，即如下所示：
[0030]
[0031 ]当移动多个控制点时，假设通过移动控制网格的控制点，将代表目标对象Ω的点 集Ρ中的点全部变形，即对于原点集Ρ中任意一个点Ρ都有W (Ρ) = q，其中q代表Ρ变形后在点 集Q中的位置。令P ' = {(Uc，Vc)}为P中的子集，满足i-2如c<i+2且j-2 < vc< j+2。记Φ为巫中 第ij个控制点并且Φ的初始位置为(i，j)，可W看出P'就是受Φ位移影响的特征点集。对P' 中的每个点P。而言，将P。移动到给定目标位置所需的邻近控制点位移A Φ。的计算如式
所示。对于P '中的每个点，A Φ。并不一定相同，所W每个控制点Φ位 移Δ Φ都应该使得所有点的变形误差最小，从而尽可能避免控制点Φ的位移使得P中其他 的点被移动到错误的位置。
[0032] 变形误差定义如下：
[0033]
[0034] 式中，WcA Φ代表由控制点Φ的位移Δ Φ引起的点Pc的位移，WcA Φ。代表实现移 动点P。到指定位置运一目标所需的全部控制点位移导致的点集位移。因此，式
衰明，变形误差代表的是P'中的每个点Pc =(山，Vc)对应的Wc Δ Φ和Wc Δ Φ C 之差的平方和。上式中，Wc = Bk(s)Bi(t)走+ ，./ 二(./ + l) = [v」，. S - 乂_ ? =哈-乂_。由式
巧Δ Φ求导，并使导数为零，可得 ；
[0035]
[0036] 运样计算出每一个控制点的正确位移，得到变形后控制点的新位置，将其代入式
得到合适变形函数W。进一步地，为控制上述操作过程中的 叠影现象，即原图中部分点被映射后重叠在一起的现象，采用分多次迭代去分步移动控制 点，随着迭代的进行，逐渐缩小控制网格大小的处理方法。
[0037] 对于g个尺寸依次缩小的控制网格Φο,Φι，…，&g，分别求解出对应的变形函数， 实现多层次自由形状变形。第f个控制网格Φ?初始化时的网格尺寸大小用hf表示，运里假定 ho、hm是给定的，而且对于每个尺寸大小，都满足hf = 2hf+1。用wo, W1 , · · · , Wn来代表对应不同控 审綱格求得的变形函数，最终整个变形函数由W···WnOWn-lO···OW日组合表示，式中，W(Ω)=Wn (Ω η)，其中Ω 0= Ω，Ω w=wi( Ω 1)。在多次迭代中，前一次迭代的结果，就是下一次迭代的 输入，因而可得Pi+i=Wi(Pi)，其中初始条件Po = P。每一次迭代的误差定义为：
[00；3 引
[0039] 式中，q。代表变形前的点集P中的点P。在变形后的点集Q中对应的位置。
[0040] 在某次迭代后，若由式
求得的值小于某个给定的阔值，算 法便收敛，给出最终结果。
[0041] 所述步骤(4)是人脸图层分解，其目的是对妆容提供图像进行图层分解，把妆容信 息从样本模板中分离出来。本发明利用引导滤波器对妆容提供图像进行边缘保留平滑滤 波，进一步分解得到人脸结构层和纹理细节层。针对数字化妆应用，人脸不同区域采取完全 不同的化妆策略，因此，本发明对引导滤波器进行改进，使其在图像不同区域根据位置信息 获得不同程度的平滑和边缘保留效果，缩减基于样本模板的数字化妆算法运算时间，提高 算法实用性，使其能实现为iOS平台上的一个应用。
[0042] 具体操作如下：引导滤波器的输入为引导图像I和待滤波图像P，则滤波输出为：
[0043]
[0044] 式中，W是由引导图像I和输入的待滤波图像P共同决定的滤波核函数，i和j是像素 位置索引。假设引导图像I与滤波输出图像q在局部区域内存在着一个简单的线性模型，即 在局部区域滤波输出图像q的像素值可W由引导图像I在对应位置的像素值的线性变换获 得，用数学公式表示为：A ，We巧。其中，c〇k代表W像素 k为中屯、的滤波窗口，ak 和bk是线性因子，其数值与其所在的窗口 wk有关。引导滤波器采用的滤波窗口是半径为r的 方形窗。将式％ =带^ +?，Vi E麟对空间进行求导得呵二aV/。
[0045] 模型中的线性因子，通过最小化输入待滤波图像与输出图像直接的差异求得，即 使得
的值最小，将qi = aiJi+bk代入得：
[0046]
[0047] 式中，ε是为了避免参数ak的取值太大而引入的正则化参数。求解式
[0051]式中化和Ok2分别代表引导图像I在窗口 ω冲所有像素的均值和方差，I ω I代表窗 口 wk中的像素点的数量，品代表输入的待滤波图像Ρ在窗口 wk中所有像素值的均值。将ak 和b止述表达式代入到式qi = aiJi+b冲，并对多个窗口取平均，求得：
[0054]考虑到真实化妆，人脸的不同区域采取的是完全不同的化妆策略，本发明对上述 改进滤波器滤波过程进行改进，使其在图像不同区域获得不同程度的平滑和边缘保留效 果。将原算法中固定的正则化因子ε，改为与像素位置有关的可变参数β。本发明中，将人脸 图像区分为脸部皮肤、眉毛和其他人脸区域Ξ个部分，对运Ξ个区域的β参数取不同值，即 Pie嫌=1，0ie席=0.7，0ie期也=0。进一步地，对β矩阵使用腐蚀算法和高斯模糊算法进行处 理，使得它在值较低区域进行边界扩张，从而满足在不同人脸区域之间平滑过渡的要求，同 时确保图像边界的锐度。引入β参数后，替换式
中的固 定参数ε，得到：
[0化9]式中，昇为βι在窗口 Wk中的均值。运样就实现了平滑度可W根据基于位置的参数 变化的引导滤波器，利用改进的引导滤波器完成图层分解。
[0060] 所述步骤(5)是人脸图层合成，其目的是将输入图像和妆容提供图像的结构图层、 细节图层和色相图层进行合成操作，获得化妆后人脸图像。具体操作如下:输入图像和妆容 提供图像在依次完成人脸检测、特征点定位、人脸变形对准和人脸图像图层分解步骤后，对 应的结构图层（Is、Es)、细节图层（Id、Ed)和色相图层（1。、私），接下来对各图层分别进行合成 操作。
[0061] 化妆前后人脸图像的结构层保持一致，因此直接使用输入人脸图像的结构层作为 输出人脸图像的结构层，即I?s = Is。人脸上非眼睛区域用输入人脸图像细节层和妆容提供图 像的细节层加权求和来获得输出人脸图像的细节层，来模拟粉底液、粉底对人脸皮肤的纹 理遮盖效果，即
[006^ Rd(p) = SiId(p)+SEEd(p)
[0063] 人的眼睛区域内和非人脸区域采用输入待化妆人脸图像的细节的方法。因此，输 出人脸图像细节层用下式表示。
[0064]
[0065] 式中，权重0含δι含1，〇含δΕ含1，分别代表输入图像细节层的保留程度和妆容提供 图像细节层的转移程度。运里没有要求Si和δΕ的和等于1或者小于1，但δι和δΕ的和不能过小 或者接近于0，否则会导致输入的化妆由于纹理细节过少而显得不真实。
[0066] 用al地a混合算法来模拟化妆品的混合效果，即：
[0067]
[0068] 式中，丫为色相混合中妆容提供图像的色相层权重。
[0069] 在眼睛和非人脸区域都是直接采用输入人脸图像色相层作为输出人脸图像的色 相值，即：写;=皮
[0070] 完成输入人脸图像和妆容提供图像的结构层、细节层和色相层对应合成后，得到 了化妆后图像的相应Ξ个图层。细节层是由亮度层L减去边缘保留滤波所得的结构层获得， 因此将输出图像的结构层和细节层简单相加便可W得到输出图像在CIELAB颜色空间中的 亮度层，即4=/?、+馬。
[0071] 输出图像的色相层Rc是由CIELAB颜色空间的為与6;组成，因而输出图像的诚与均 通道可W由Rc直接获得。现在已经完整地获得了输出图像在CIELAB颜色空间中的所有Ξ个 通道，只需要将输出图像从CIELAB颜色空间转换回RGB颜色空间就可W获得输出的化妆后 人脸图像。
[0072] 本发明的基本原理是:将妆容图像的妆容信息转移到人脸图像中，达到数字化妆 的效果。整个数字化妆方法的基本步骤包括人脸检测、人脸特征点检测定位、人脸变形配 准、人脸图层分解和人脸图层合成。
[0073] 本发明与已有数字化妆方法相比，具有如下优点和有益效果：
[0074] (1 )、算法效率优于现有算法；
[0075] (2)、改进引导滤波器对人脸图像进行图层分解，获得相当好的图层分解效果，并 大大缩减算法时间复杂度；
[0076] (3)、改进人脸图像细节层合成算法，对不同人脸区域采用不同合成策略，使得化 妆效果更加真实；
[0077] (4)、基于样本的超分辨率重构算法，解决了基于样本模板的数字化妆算法在应用 实现过程中遇到的分辨率差异问题。
【附图说明】
[0078] 图1是本发明的数字化妆算法整体流程图；
[0079] 图2是本发明的图层分解流程图；
[0080] 图3是本发明的基于 样本超分辨率重构算法整体流程图。
【具体实施方式】
[0081] W上内容W及对本发明的技术方案作了非常详细的充分公开，下面再结合附图对 本发明做进一步的说明。基于苹果公司的iOS平台的移动客户端，和基于微软公司Windows 平台的服务器，构建客户端-服务器架构，实施本发明的移动智能终端数字化妆应用。服务 器端用编程语言c#编写Windows Server,负责会话管理、基于样本模板的数字化妆的算法 调用和数据库管理等。客户端用编程语言Objective-C编写移动端应用程序，负责图像捜 集、数据传输和用户交互。
[0082] 本发明的基于样本模板的数字化妆算法整体流程如附图1所示，在分别对妆容提 供图像和待化妆人脸图像进行人脸特征点定位后，首先进行的步骤是，利用多层次自由形 状变形(Multi level Free-form Deformat ion, MF抑），将提供妆容的图像E*中的人脸对准 到输入的待化妆人脸图像I，得到E;然后，分别将I和E转换到CIELAB颜色空间，获得亮度层 L嘴两个颜色图层a嘴項同组成了附图1中的人脸色相图层Ic、Ec。接着，利用改进 的引导滤波器分别对两个图像的1^层进行图层分解，进而得到代表人脸结构的大尺度图层 Is、Es和妆容所在的细节图层Id、Ed;因为化妆前后人脸结构不变，因此化妆后人脸图像的人 脸结构图层Rs直接等于Is,而妆容的细节图层RdW及色相图层Rc则分别通过加权平均和 alpha混合算法计算;利用Rs、Rd、RcS个图层就可W得到最终的化妆后人脸图像R。附图1中， 符号W代表对妆容提供图像根据输入图像的形状进行人脸图像变形对齐，+代表对细节层进 行加权平均操作，α代表对色相层进行al地a混合操作。
[0083] 本发明的图层分解流程图如附图2所示，先将原图从RGB空间转换到CIELAB颜色空 间，得到Ξ个通道信息，分别是L*、a*和b*通道，L*是亮度通道，a*和b*共同组成色相层。对 L*通道进行引导滤波，得到大尺度信息层，用于代表人脸结构层，L*层减去人脸结构层则可 W得到纹理细节信息层。
[0084] 本发明的基于样本超分辨率重构算法整体流程如附图3所示，主要目的是解决妆 容提供图像和输入的待化妆人脸图像分辨率不同的问题。
[0085] 首先，收集到足够多的高分辨率图像组成数据集，然后将运些图像缩小为原来大 小的四分之一得到低分辨率图像数据集。接着分别将上述高、低分辨率的图像划分为局部 的小块并且一一对应。对所有获取的图像块储存其高频信息，所有图像块的高频信息共同 组成所需的训练数据。
[0086] 预测高频信息步骤中，用到马尔科夫网络(Markov network)来对图像块之间的空 间信息进行建模，将输入的低分辨率局部块看成是马尔科夫网络中可见的观察节点，而将 需要通过预测得到的对应的高分辨率局部块信息看成的隐藏节点。求解出马尔科夫网络中 的所有隐藏节点，即可W获得输出图像的高频信息。用迭代的置信度传播算法（Belief Propagation)来求解出马尔科夫网络的近似最优解，一般迭代3到4次就足够。
[0087] 如上即可较好地实现本发明并取得前述的技术效果。
【主权项】
1. 一种基于样本模板的数字化妆方法，其特征在于先对移动智能终端采集到的淡妆、 或者素颜人脸照片和妆容提供照片进行人脸检测、人脸特征点定位检测和人脸图像变形对 准，在此基础上对人脸图像进行图层分解，利用基于样本的超分辨率重构算法解决妆容提 供图像和输入人脸图像的分辨率差异问题，最后进行人脸图像的图层合成，输出淡妆或素 颜照片化妆之后的图像。2. 根据权利要求1所述的基于样本模板的数字化妆方法，其特征在于包括如下步骤： 1) 人脸检测:检测输入图像是否含有人脸，若是，则判断人脸的位置、大小和数量;本步 骤利用类Haar特征的AdaBoost级联分类器来检测和标示图像中人脸位置； 2) 人脸特征点检测定位:在图像的人脸区域内，标定出人脸特征点的位置;所述人脸特 征点是包括人脸五官的轮廓点，本步骤利用主动表观模型AAM(Active Appearance Models)进行人脸特征点定位； 3) 人脸图像变形配准：利用图片变形算法将妆容提供图像对准到输入人脸图像；图像 变形算法包括:指定特征图元，根据特征图元的对应关系生成变形函数，最后映射并插值得 到最终的输出图像；本步骤利用人脸特征点作为特征图元，采用层次自由形状变形算法 (Multilevel Free-form Deformation,MFFD)进行变形映射，从而得到对准后的待化妆人 脸； 4) 人脸图层分解:对妆容提供图像进行图层分解，把妆容信息从样本图像中分离出来； 利用引导滤波器对妆容提供图像进行边缘保留平滑滤波，进一步分解得到人脸结构层和纹 理细节层;针对数字化妆应用，人脸的不同区域采取完全不同的化妆策略，本步骤对引导滤 波器进行滤波参数自适应调整的改进，使引导滤波器在图像不同区域根据位置信息获得不 同程度的平滑和边缘保留效果，缩减基于样本模板的数字化妆算法的运算时间，提高算法 的实用性，使其能实现为i〇S平台上的一个应用； 5) 人脸图层合成:对输入图像和妆容提供图像分解后得到的结构图层、细节图层和色 相图层进行合成操作，获得化妆后的人脸图像。3. 根据权利要求2所述的数字化妆方法，其特征在于所述步骤1)利用训练样本的类 Haar特征训练分类器，从而得到一个AdaBoost级联分类器。4. 根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤2)具体 操作如下：利用AAM模型提取形状及纹理先验知识，首先，对事先人工标注好的训练图像集 进行形状和纹理信息的统计、分析，从而获得关于目标对象形状和纹理的模型，然后根据此 形状和纹理模型，对测试样本进行多次迭代搜索、匹配，同时根据测试样本的实际情况调整 先验模型参数，从而得到最终的准确的特征点定位输出。5. 根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤3)所述 图像变形算法具体操作如下:指定人脸特征点作为特征图元，根据特征图元的对应关系，推 导出所需要的变形函数，将妆容提供图像对准到输入人脸图像;设Ω代表变形目标对象，p =(^，￥)代表〇中任意一个点，1<11<111且1<￥<11，表示目标对象横纵像素点数 ；函数￥(口） = (x(p)，y(p))代表Ω变形后得到的形状;针对目标对象Ω构建大小为(m+2)X(n+2)的覆 盖于变形目标Ω上的控制网格Φ;控制网格Φ上的控制点在不同状态下可能处于不同位 置;用<=(/，./)代表当Φ在算法开始时，第i j个控制点所在位置;通过控制网格Φ上控制点 的位置，计算出变形所需要的变形函数W;变形函数W定义为：式中，下标满足条件是对变量U ,V取 整，函数Bk(S)、Bi(t)是均匀三次B样条曲线的基函数，这些函数定义式如下： B〇( t) = (_t3+3t2_3t+l )/6 Bi(t) = (3t3+6t2+4)/6 B2 (t) = (_3t3+3t2+3t+l )/6 B3(t) =t3/6 式中〇<t〈l; 开始时，控制点在初始位置，经过两个或者以上的共线控制点的B样条曲线是线性的， 此时Φ并没有变形，所以得到：先移动单个特征点，即假设变形目标Ω应该被变形以使得其中的p移动到指定的位置q 上，即w(p) = q，过程中位移为Δ q=w(p)-wQ(p) = q-p，为了简化公式表示，假设p=(u，v)，1 < u，v〈2,可得：式中￥1<1 = 1^(8)131(1：)且8 = 11-1 3 = ￥-1;八（|)1{1满足上式的解有很多个;使用基于最小 平方意义的解法，即如下所示：再考虑同时移动多个控制点的情况，假设通过移动控制网格的控制点，将代表目标对 象Ω的点集P中的点全部变形，即对于原点集P中任意一个点p都有W(p) =q，其中q代表p变 形后在点集Q中的位置;令？' = {(11。，1)}为？中的子集，满足卜2^11。〈丨+2且」-2^。〈」+2，记 Φ为Φ中第ij个控制点并且Φ的初始位置为（i，j)，可以看出P'就是受Φ位移影响的特征 点集;对P '中的每个点Pc而言，将Pc移动到给定目标位置所需的邻近控制点位移A Φ c的计 算如式所示;对于P'中的每个点，A Φ。并不一定相同，所以每个控制 点φ位移△ φ都应该使得所有点的变形误差最小，从而尽可能避免控制点φ的位移使得P 中其他的点被移动到错误的位置； 变形误差定义如下：式中，?Δ φ代表由控制点φ的位移Δ φ引起的点p。的位移，ιΔ φ。代表实现移动点p。 到指定位置这一目标所需的全部控制点位移导致的点集位移，因此，式表明，变形误差代表的是？'中的每个点口。=(11。，1)对应的《。八(})和￥。八(})。之差的平方和， 式中，Wc = Bk(s)Bi(t)，由式对Δ φ求导，并使导数为零，可得：据此计算出每一个控制点的正确位移，从而得到变形后控制点的新位置，代入式得到合适变形函数w;进一步地，为控制上述操作过程中的 叠影现象，即原图中部分点被映射后重叠在一起的现象，采用分多次迭代去分步移动控制 点，随着迭代的进行，逐渐缩小控制网格大小的处理方法； 对于g个尺寸依次缩小的控制网格Φ Q，Φ 1，…，Φ g，分别求解出对应的变形函数，从而 实现多层次自由形状变形;第f个控制网格初始化时的网格尺寸大小用hf表示，此处ho、 hg是给定的，而且对于每个尺寸大小，都满足hf = 2hf+i，用wo，wi，…，wn来代表对应不同控制 网格求得的变形函数，最终整个变形函数由W = Wn · Wn-I ·…· WQ组合表示，式中，W( Ω ) =Wn (Ω n)，其中Ω Q= Ω，Ω 1+1=Wl( Ω 〇 ;在多次迭代中，前一次迭代的结果，就是下一次迭代的 输入，因而可得Pw=W1(P1),其中初始条件Po = P，每一次迭代的误差定义为：式中，q。代表变形前的点集P中的点P。在变形后的点集Q中对应的位置； 在其中某次迭代后，若由式求得的值小于某个给定的阈值，算 法便收敛，并给出最终结果。6.根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤4)具体 操作如下:假设引导滤波器的输入为引导图像I和待滤波图像P，则滤波输出为：式中，i和j是像素位置索引，Wlj是像素位置索引ij对应的滤波核函数值，滤波核函数W 由引导图像I和输入的待滤波图像P共同决定;Pj是滤波图像像素值，为索引i处的滤波输 出值;假设引导图像I与滤波输出图像q在局部区域内存在着一个简单的线性模型，即在局 部区域滤波输出图像q的像素值由引导图像I在对应位置的像素值的线性变换获得，用数学 公式表示为:qi = aiJi+bk，访e ;其中，ω k代表以像素 k为中心的滤波窗口，ak和bk是线性 因子，其数值与其所在的窗口有关；引导滤波器采用的滤波窗口是半径为 r的方形窗;将 式qi = aiJ i+bk，W e崎对空间进行求导可得：模型中的线性因子，通过最小化输入待滤波图像与输出图像直接的差异求得，即使得>的值最小，将qi = aiJ i+bk，你 e叫代入可得：式中，ε是为了避免参数a k的取值太大而引入的正则化参数，求解式可得：其中，μι<和〇k2分别代表引导图像I在窗口 Uk中所有像素的均值和方差，I ω I代表窗口 ?k中的像素点的数量，再代表输入的待滤波图像P在窗口 所有像素值的均值;将％和 bk上述表达式代入到式qi = akli+bk,,中，并对多个窗口取平均，可以求得：真实化妆时，人脸的不同区域采取的是完全不同的化妆策略，对滤波器滤波过程进行 改进，使其在图像不同的区域可以获得不同程度的平滑和边缘保留效果，即将原算法中固 定的正则化因子ε，改为与像素位置有关的可变参数β;将人脸图像区分为脸部皮肤、眉毛和 其他人脸区域三个部分，对这三个区域的β参数取不同的值，分别取PiE嫌=1，0说鹿=〇. 7， 難=0;进一步地，对β矩阵使用腐蚀算法和高斯模糊算法来对β矩阵进行处理，并使得β 矩阵有一定的边界扩张，从而满足在不同的人脸区域之间平滑过渡的要求，同时确保图像 边界的锐度；引入β参数后，替换式中的固定参数ε，则 可得到：求解上式可得：其中，肩为队在窗口 COk中的均值;这样就实现了平滑度可以根据基于位置的参数变化 的引导滤波器，利用改进的引导滤波器完成图层分解。7.根据权利要求2所述的基于样本模板的数字化妆方法，其特征在于，所述步骤5)具体 操作如下:输入图像和妆容提供图像在依次完成人脸检测、特征点定位、人脸变形对准和人 脸图像图层分解步骤后，对应的结构图层（IS、ES)、细节图层（Id、Ed)和色相图层（Ic^E。），接 下对各图层分别进行合成操作， 化妆前后人脸图像的结构层保持一致，直接使用输入人脸图像的结构层作为输出人脸 图像的结构层，即Rs = Is;人脸上非眼睛区域用输入人脸图像的细节层和妆容提供图像的细 节层加权求和来获得输出人脸图像的细节层，来模拟粉底液、粉底对人脸皮肤的纹理遮盖 效果，即 Rd(P) =3iId(p)+3EEd(p)， 人的眼睛区域内和非人脸区域采用输入待化妆人脸图像的细节的方法；因此，输出人 脸图像细节层用下式表示，其中，权重O < ~ < 1^ < 1，分别代表输入图像细节层的保留程度和妆容提供图像 细节层的转移程度； 用alpha混合算法来模拟化妆品的混合效果，即：式中，γ为色相混合中妆容提供图像的色相层权重； 在眼睛和非人脸区域都是直接采用输入人脸图像色相层作为输出人脸图像的色相值， 艮P: A; 对输入人脸图像和妆容提供图像的结构层、细节层和色相层分别对应地进行了合成 后，得到了输出的化妆后图像的相应三个图层;细节层是由亮度层L减去边缘保留滤波所得 的结构层获得的，因此将输出图像的结构层和细节层简单相加便可以得到输出图像在 CIELAB颜色空间中的亮度层，即4 =炙+ & ; 输出图像的色相层R。是由CIELAB颜色空间的 < 与6】组成，因而输出图像的 < 与％通 道可以由Rc直接获得;完整地获得输出图像在CIELAB颜色空间中的所有三个通道后，只需 要将输出图像从CIELAB颜色空间转换回RGB颜色空间就可以获得输出的化妆后人脸图像。
【专利摘要】本发明提供一种基于样本模板的数字化妆方法，先对淡妆或素颜人脸照片和妆容提供照片进行人脸检测、人脸特征点定位检测和人脸图像变形对准，在此基础上对人脸图像利用改进的引导滤波器进行图层分解，利用基于样本的超分辨率重构算法解决妆容提供图像和输入人脸图像的分辨率差异问题，最后进行人脸图像的图层合成，输出淡妆或素颜照片化妆之后的图像。本发明提出一种新颖的基于模板的数字化妆方法，通过对图层分解和图层合成算法的改进，获得更为真实的化妆效果，且显著缩减算法时间复杂度，使得数字化妆算法实用化和实时化。
【IPC分类】G06T3/40, G06T5/50, G06K9/00
【公开号】CN105488472
【申请号】CN201510860633
【发明人】金连文, 黄双萍, 黎小凤
【申请人】华南理工大学
【公开日】2016年4月13日
【申请日】2015年11月30日
最新回复(0)