图片合成方法及装置的制造方法
图片合成方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图片处理技术领域，尤其涉及一种图片合成方法及装置。
【背景技术】
[0002] 随着可拍照智能设备越来越普及，拍照方式趣味化、简单化成为拍照软件的一个 发展方向。克隆相机是近些年出现的一类软件，它通过在同一场景拍摄多张照片，照片主体 在不同位置摆不同的姿态，最终将多次拍摄的照片主体合成到一张照片上。
[0003] 但是，现有的克隆相机软件，要求拍摄者在拍摄完成后手动选取照片中主体的区 域，以引导照片合成，这种操作繁琐而费时。
[0004] 因此，有必要提供一种方法，自动对比并发现多张照片中主体区域的位置，并自动 完成合成，为拍摄者省去了大量的人工过程。
【发明内容】
[0005] 本发明的主要目的在于提出一种图片合成方法及装置，旨在实现多张照片中主体 区域自动合成，简化用户操作。
[0006] 为实现上述目的，本发明实施例提供的一种图片合成装置，包括：
[0007] 图片获取模块，用于获取多张图片；
[0008] 图片配准模块，用于对所述多张图片进行特征配准，获取所述多张图片的公共区 域；
[0009] 主体提取模块，用于从所述多张图片的公共区域中分别提取每一张图片的主体区 域；
[0010] 图片合成模块，用于将所有图片的主体区域进行合成。
[0011] 可选地，所述图片配准模块包括：
[0012] 参考帧选取单元，用于从所述多张图片中选取一张图片作为参考帧图片，其他图 片作为待配准帧图片；
[0013] 配准参数计算单元，用于以所述参考帧图片为基准，对每一待配准帧图片进行特 征配准，计算得到每一待配准帧图片的配准参数；
[0014] 图片变换单元，用于根据所述配准参数，分别对所述配准参数对应的待配准帧图 片进行变换，使之与所述参考帧图片匹配，得到配准图片；
[0015] 公共区域提取单元，用于提取所有配准图片中区域的交集，得到所有配准图片的 公共区域。
[0016] 可选地，所述配准参数计算单元，还用于选取变换模型和配准特征;根据选取的变 换模型和配准特征，以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得 到每一待配准帧图片的配准参数。
[0017] 可选地，所述主体提取模块包括：
[0018] 帧差单元，用于基于配准图片的公共区域，分别将每一配准图片与参考帧图片进 行差异比较，获得每一配准图片的帧差图像;对所述帧差图像进行二值化处理，得到帧差二 值图像；
[0019] 参考帧主体提取单元，用于提取所有所述帧差二值图像的交集，获得所述参考帧 图片的主体区域；
[0020] 连通区域提取单元，用于根据每一配准图片的帧差二值图像，对应提取每一配准 图片的连通区域，得到每一配准图片的主体区域。
[0021] 可选地，所述图片合成模块，还用于将所有配准图片的主体区域合成到所述参考 帧图片的主体区域。
[0022] 可选地，所述装置还包括：
[0023] 图片输出模块，用于对合成后图片进行处理和/或对外发送。
[0024] 本发明实施例还提出一种图片合成方法，包括：
[0025]获取多张图片；
[0026] 对所述多张图片进行特征配准，获取所述多张图片的公共区域；
[0027] 从所述多张图片的公共区域中分别提取每一张图片的主体区域；
[0028] 将所有图片的主体区域进行合成。
[0029] 可选地，所述对多张图片进行特征配准，获取所述多张图片的公共区域的步骤包 括：
[0030] 从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧图片；
[0031] 以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待 配准帧图片的配准参数；
[0032] 根据所述配准参数，分别对所述配准参数对应的待配准帧图片进行变换，使之与 所述参考帧图片匹配，得到配准图片；
[0033]提取所有配准图片中区域的交集，得到所有配准图片的公共区域。
[0034]可选地，所述以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算 得到每一待配准帧图片的配准参数的步骤包括：
[0035]选取变换模型和配准特征；
[0036] 根据选取的变换模型和配准特征，以所述参考帧图片为基准，对每一待配准帧图 片进行特征配准，计算得到每一待配准帧图片的配准参数。
[0037] 可选地，所述从多张图片的公共区域中分别提取每一张图片的主体区域的步骤包 括：
[0038] 基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获得每 一配准图片的帧差图像；
[0039]对所述帧差图像进行二值化处理，得到帧差二值图像；
[0040] 提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域；
[0041] 根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得到每 一配准图片的主体区域。
[0042] 可选地，所述将所有图片的主体区域进行合成的步骤包括：
[0043] 将所有配准图片的主体区域合成到所述参考帧图片的主体区域。
[0044] 本发明实施例提出的一种图片合成方法及装置，可以自动提取多张照片中主体区 域并合成到一张照片，使用者只需要在同一场景拍摄多张主体不同照片，终端系统将自动 完成多个主体的合成操作，节约了大量的人工操作。
【附图说明】
[0045] 图1是实现本发明各个实施例的一个可选的移动终端的硬件结构示意图；
[0046] 图2是如图1所示的移动终端的无线通信系统示意图；
[0047] 图3是本发明图片合成装置第一实施例的功能模块示意图；
[0048] 图4是本发明实施例中图片配准模块的结构示意图；
[0049] 图5是本发明实施例中主体提取模块的结构示意图；
[0050]图6是本发明实施例的一种图片合成效果不意图；
[0051]图7是本发明图片合成装置第二实施例的功能模块示意图；
[0052]图8是本发明图片合成方法较佳实施例的流程示意图。
[0053]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0054]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 [0055]本发明实施例方案中涉及的终端设备主要指移动终端。
[0056]现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用 用于表示元件的诸如"模块"、"部件"或"单元"的后缀仅为了有利于本发明的说明，其本身 并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
[0057]移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动 电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理）、PAD(平板电脑）、PMP (便携式多媒体播放器）、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固 定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动 目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
[0058]图1为实现本发明各个实施例的一个可选的移动终端的硬件结构示意图。
[0059] 移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入 单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190 等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组 件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
[0060] 无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统 或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块 112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
[0061] 广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播 相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送 广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息 并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播 信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相 关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模 块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子 节目指南(EPG)、数字视频广播手持(DVB-Η)的电子服务指南(ESG)等等的形式而存在。广播 接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111 可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广 播-手持（DVB-H)，前向链路媒体(MediaFLO @)的数据广播系统、地面数字广播综合服务 (ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广 播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/ 或广播相关信息可以存储在存储器160(或者其它类型的存储介质）中。
[0062]移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等）、外部终端 以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通 话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。 [0063]无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地 耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN) (Wi-Fi)、Wibro (无线宽带）、Wimax(全球微波互联接入）、HSDPA(高速下行链路分组接入)等等。
[0064] 短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝 牙?、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂?等等。
[0065] 位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块 的典型示例是GPS(全球定位系统）。根据当前的技术，GPS模块计算来自三个或更多卫星的 距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、炜度和 高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星 并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能 够通过实时地连续计算当前位置信息来计算速度信息。
[0066] A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121，相 机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像 数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可 以存储在存储器160(或其它存储介质）中或者经由无线通信单元110进行发送，可以根据移 动终端的构造提供两个或更多相机1210。
[0067] 用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各 种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸 板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件）、滚轮、摇杆等 等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
[0068] 感测单元140检测移动终端100的当前状态，（例如，移动终端100的打开或关闭状 态）、移动终端100的位置、用户对于移动终端100的接触（即，触摸输入）的有无、移动终端 100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的 操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测 该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或 者接口单元170是否与外部装置耦接。接口单元170用作至少一个外部装置与移动终端100 连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或 电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端 口、音频输入/输出（I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证 用户使用移动终端100的各种信息并且可以包括用户识别模块(ΙΠΜ)、客户识别模块(sno、 通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采 取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口 单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输 入传输到移动终端1〇〇内的一个或多个元件或者可以用于在移动终端和外部装置之间传输 数据。
[0069] 另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电 力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其 传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是 否准确地安装在底座上的信号。
[0070] 输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号（例如，音频信 号、视频信号、警报信号、振动信号等等）。输出单元150可以包括显示单元151等。
[0071] 显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电 话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件 下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式 或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图 像以及相关功能的UI或GUI等等。
[0072]同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元 151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管 IXD(TFT-IXD)、有机发光二极管(0LED)显示器、柔性显示器、三维(3D)显示器等等中的至少 一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明 显示器，典型的透明显示器可以例如为T0LED(透明有机发光二极管）显示器等等。根据特定 想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置），例如，移 动终端可以包括外部显示单元(未示出）和内部显示单元(未示出）。触摸屏可用于检测触摸 输入压力以及触摸输入位置和触摸输入面积。
[0073] 存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可 以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等）。而 且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的 数据。
[0074] 存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多 媒体卡、卡型存储器(例如，SD或DX存储器等等）、随机访问存储器(RAM)、静态随机访问存储 器（SRAM)、只读存储器(R0M)、电可擦除可编程只读存储器(EEPR0M)、可编程只读存储器 (PR0M)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器 160的存储功能的网络存储装置协作。
[0075] 控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据 通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒 体数据的多媒体模块1810,多媒体模块1810可以构造在控制器180内，或者可以构造为与控 制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图 片绘制输入识别为字符或图片。
[0076] 电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元 件和组件所需的适当的电力。
[0077] 这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算 机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可 编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的 电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。 对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的 软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来 实施，软件代码可以存储在存储器160中并且由控制器180执行。
[0078] 至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、 直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示 例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
[0079] 如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有 线和无线通信系统以及基于卫星的通信系统来操作。
[0080] 现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
[0081] 这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的 空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系 统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下 面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
[0082] 参考图2,⑶MA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站 控制器(BSC)275和移动交换中心(MSCUSOJSCSSO被构造为与公共电话交换网络(PSTN) 290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。 回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T 1、ATM，IP、 PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC2750。
[0083] 每个BS270可以服务一个或多个分区（或区域），由多向天线或指向特定方向的天 线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多 天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱 (例如，1·25ΜΗζ，5ΜΗζ 等等）。
[0084]分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子 系统（BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个 BSC275和至少一个BS270。基站也可以被称为〃蜂窝站〃。或者，特定BS270的各分区可以被称 为多个蜂窝站。
[0085]如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端 100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播 信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端 100中的至少一个。
[0086]在图2中，描绘了多个卫星300,但是理解的是，可以利用任何数目的卫星获得有用 的定位信息。如图1中所示的GPS模块通常被构造为与卫星300配合以获得想要的定位信息。 替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技 术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
[0087]作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路 信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反 向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275ASC提供通话 资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数 据路由到MSC280,其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与 MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号 发送到移动终端100。
[0088] 基于上述移动终端硬件结构以及通信系统，提出本发明各个实施例。
[0089] 由于现有的克隆相机软件，要求拍摄者在拍摄完成后手动选取照片中主体区域进 行照片合成，导致用户操作繁琐而费时。
[0090] 为此，本发明提出一种解决方案，可以有效实现多张照片中主体区域自动合成，简 化用户操作。
[0091] 具体地，如图3所示，本发明第一实施例提出一种图片合成装置，包括：图片获取模 块201、图片配准模块202、主体提取模块203以及图片合成模块204，其中：
[0092] 图片获取模块201，用于获取多张图片；
[0093]图片配准模块202,用于对所述多张图片进行特征配准，获取所述多张图片的公共 区域；
[0094] 主体提取模块203,用于从所述多张图片的公共区域中分别提取每一张图片的主 体区域；
[0095] 图片合成模块204,用于将所有图片的主体区域进行合成。
[0096] 具体地，本实施例图片合成装置可以设置在上述的手机等移动终端上，通过该图 片合成装置实现多张照片中主体区域自动合成，以简化用户操作。
[0097] 首先，通过图片获取模块201获取多张图片，该多张图片可以为同一拍摄场景下拍 摄的图片，当然，也可以为不同拍摄场景下拍摄的图片，其中主体人物可以为同一人，也可 以为不同的人，或者为多个人，或者为纯景物图片。
[0098] 以多张图片为同一拍摄场景下拍摄的图片进行举例，比如，通过图片获取模块在 图片合成装置中输入用户在同一拍摄场景拍摄三张以上照片，记为h，I 2,…，Ιη，η2 3。
[0099] 然后，通过图片配准模块202将输入的多张照片对齐到同一背景，获取所述多张图 片的公共区域。
[0100] 具体实现如下：
[0101] 首先，从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧 图片；
[0102] 然后，以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每 一待配准帧图片的配准参数；
[0103] 之后，根据所述配准参数，分别对所述配准参数对应的所述待配准帧图片进行变 换，使之与所述参考帧图片匹配，得到配准图片；
[0104] 最后，提取所有配准图片中区域的交集，得到所有配准图片的公共区域。
[0105] 具体应用时，如图4所示，图片配准模块202可以包括:参考帧选取单元2021、配准 参数计算单元2022、图片变换单元2023以及公共区域提取单元2024,其中：
[0106] 参考帧选取单元2021，用于从所述多张图片中选取一张图片作为参考帧图片，其 他图片作为待配准帧图片；
[0107] 配准参数计算单元2022,用于以所述参考帧图片为基准，对每一待配准帧图片进 行特征配准，计算得到每一待配准帧图片的配准参数；
[0108] 图片变换单元2023,用于根据所述配准参数，分别对所述配准参数对应的所述待 配准帧图片进行变换，使之与所述参考帧图片匹配，得到配准图片；
[0109] 公共区域提取单元2024,用于提取所有配准图片中区域的交集，得到所有配准图 片的公共区域。
[0110] 基于上述结构的图片配准模块202,具体实现过程如下：
[0111] 步骤21，通过参考帧选取单元2021从图片获取模块输入的η张照片中选出一帧作 为参考帧。参考帧具体选取方式可以是随机选取，也可以是特定选取，其中，特定选取方式 包括但不限于如下几种：
[0112] 1，选择第一帧图片(第一张照片)作为参考帧。
[0113] 2，选择最后一帧作为参考帧。
[0114] 3,对η张照片进行清晰度评价，选出最清晰的一张作为参考帧。
[0115] 其中，清晰度评价算法可以采用对图片x、y轴方向求二阶导数，对导数绝对值累 加，累加之和越大，则表示图片清晰越高。
[0116] 由此，图片获取模块输入的η张照片经过选择之后，获得参考帧Fr和其他帧Fi， F2,…，Fn-1〇
[0117] 步骤22,图片参数计算单元以参考帧为基准，对其他每一帧向参照帧进行配准，计 算配准参数。
[0118] 其中，配准算法实施方式可以有多种，举例如下：
[0119] 首先，要选择一种变换模型作为假设。比如，选择图片全局变换，或者可以选择几 何变换、相似变换、仿射变换、射影变换等，局部变换可以把图片划分为不同部分，并对每一 部分计算单独的配准参数。
[0120]然后，选择配准特征，可以选择的特征有:特征点、互相关、互信息量等。
[0121] 对于特征点，其配准参数实施方法是:从参照帧Fr提取若干特征点，然后从待配准 帧^提取或搜索对应的特征点，根据特征点的位置作为数据，求解配准参数。
[0122] 对于互相关，其配准参数实施方法是:互相关是利用傅里叶变换将图片变换到频 域，然后用互相关公式计算待配准帧？1在空间域中每个位置的相关性，取最大的位置作为 配准结果。
[0123] 对于互信息量，其配准参数实施方法是:互信息量是图片相似性的评价方法，使用 最优化算法(如梯度下降法)搜索配准参数空间中参数的极值使得互信息量最小，即是使待 配准帧巧和参照帧Fr最佳配准的参数。
[0124] 步骤23，图片变换单元在计算得到配准参数之后，对待配准帧Fi，i = [ 1，n-1 ]进行 变换，使之与参照图匹配。变换后得到配准后图片Wl，W2，…，Wn-l。
[0125] 步骤24,公共区域提取单元从配准后图片WhWs，···，？^中计算所有变换的公共区 域。
[0126] 其中，公共区域是这些配准后图片区域的交集。得到公共区域之后，后续提取和合 成都只针对所有照片的公共区域那部分进行操作。
[0127] 然后，从所述多张图片的公共区域提取每一张图片的主体区域。
[0128] 具体实现过程如下：
[0129] 首先，基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获 得帧差图像；
[0130]然后，对所述帧差图像进行二值化处理，得到帧差二值图像；
[0131]之后，提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域；
[0132] 最后，根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得 到每一配准图片的主体区域。
[0133] 具体应用时，如图5所示，所述主体提取模块203包括:帧差单元2031、参考帧主体 提取单元2032及连通区域提取单元2033,其中：
[0134] 帧差单元2031，用于基于配准图片的公共区域，将每一配准图片与参考帧图片进 行差异比较，获得帧差图像;对所述帧差图像进行二值化处理，得到帧差二值图像；
[0135] 参考帧主体提取单元2032,用于提取所有所述帧差二值图像的交集，获得所述参 考帧图片的主体区域；
[0136] 连通区域提取单元2033,用于根据每一配准图片的帧差二值图像，对 应提取每一 配准图片的连通区域，得到每一配准图片的主体区域。
[0137] 基于上述主体提取模块203的结构，具体实现过程如下：
[0138] 步骤31，侦差单元对每一张配准图片与参照帧进行差异比较。比如，对配准图片I 与参照帧Fr计算颜色差异，获得帧差图像，计算公式可以表示如下：
[0139] DIFFi(x,y) = abs(ffi(x,y)-Fr(x,y))；
[0140] 其中，DIFFKxj)表示帧差图中x，y坐标位置的像素值。帧差图像中像素值的大小 表示配准图片与参照帧颜色差异的大小。
[0141]然后，对帧差图进行二值化，获得帧差二值图，计算公式为：
[0142]
[0143] 其中，Θ为预设值，Tl(X，y)表示帧差二值图x，y坐标的像素值，为1时表示配准图片 与参照帧有差异，〇表示无差异。
[0144]步骤32，参考帧主体提取单元从帧差二值图Ti，T2，…，Τη中获取参考帧Fr中的主 体区域。获取方法如下式：
[0145]
[0146] 因为所有照片中主体位置不同，所以参考帧和其他帧作帧差时，参考帧主体部分 区域一定与其他帧有差异。这里取所有帧差二值图像的交集作为参考帧主体。
[0147] 步骤33,连通区提取单元负责提取除参考帧以外其他每帧的主体区域，获取连通 区域。
[0148] 首先，要将帧差二值图T^Ts，…，Τη中参考帧的主体区域去掉，具体算法如下式：
[0149] = η n Maskt ；
[0150] 其目的是为了使处理后帧差二值图f hTS，···，Τ'η只保留配准图片中的主体部 分。
[0151] 然后，对二值图?^，!^，···，!^ ^进行标记，相邻为1的像素值标记为一个区域，每 个区域有独立编号，用于与其他区域区分。
[0152] 其中，连通区标记的算法有two-path两遍遍历法和种子生长法等。标记之后获得 一个标记图每个像素的值表示该像素在中的第几个连通区。例如像素(x，y)在 !^的第」个区域，则1^ =」。
[0153] 下面对每个连通K域牛成一个模板图。模板图生成方法如下式：
[0154]
[0155] 最后，通过图片合成模块204将所有配准图片的主体区域合成到所述参考帧图片 的主体区域。
[0156] 具体地，图片合成模块204在已经获取每帧主体的基础上将配准图片Μ2,…，^一！ 中的主体区域合成到参考图片上。
[0157] 合成顺序可以为Wl，W2,…，Wn-1，也可以为Wn-l，Wn-2,…，Wl。合成顺序不同主体之间 覆盖的关系也不同，因为在相同位置上，后合成的主体会覆盖先合成的主体。
[0158]合成图片为Ifusicm，初始化为Fr，假设当前待合成主体模板为Maskij，则本次合成 后，
[0159] IfUsi〇n(x，y)=Maskij(x，y) · Wi+(l_Maskij(x，y)) · IfUsi〇n(x，y);
[0160] 对所有帧的主体依次合成后，获得合成后图片Ifuslcin。
[0161] 后续，根据用户需要，将合成后图片压缩、保存、显示、或发送到网络。
[0162] 基于本实施例方案举例如下：
[0163] 如图6a、图6b、图6c所示，分别在同一场景下拍摄三张图片，通过上述方案进行图 片合成后，得到图6d所示的合成效果图。
[0164] 本实施例通过上述方案，通过自动发现多张照片中主体区域并合成到一张照片， 使得使用者只需要在同一场景拍摄多张主体不同照片，通过本装置即可将自动完成多个主 体的合成操作，节约了大量的人工操作。
[0165] 如图7所示，本发明第二实施例提出一种图片合成装置，基于上述图3所示的实施 例，所述装置还包括：
[0166] 图片输出模块205,用于对合成后图片进行处理和/或对外发送。
[0167] 根据用户需要，将合成后图片压缩、保存、显示、或发送到网络。
[0168] 本实施例通过上述方案，通过自动发现多张照片中主体区域并合成到一张照片， 使得使用者只需要在同一场景拍摄多张主体不同照片，通过本装置即可将自动完成多个主 体的合成操作，节约了大量的人工操作。
[0169] 对应地，提出本发明图片合成方法实施例。
[0170] 如图8所示，本发明较佳实施例提出一种图片合成方法，包括：
[0171] 步骤S101，获取多张图片；
[0172] 本实施例图片合成方法可以通过图片合成装置来执行，该图片合成装置可以设置 在上述的手机等移动终端上，通过该图片合成装置实现多张照片中主体区域自动合成，以 简化用户操作。
[0173] 首先，获取多张图片，该多张图片可以为同一拍摄场景下拍摄的图片，当然，也可 以为不同拍摄场景下拍摄的图片，其中主体人物可以为同一人，也可以为不同的人，或者为 多个人，或者为纯景物图片。
[0174]以多张图片为同一拍摄场景下拍摄的图片进行举例，比如，通过图片获取模块在 图片合成装置中输入用户在同一拍摄场景拍摄三张以上照片，记为h，I2,…，Ιη，η2 3。 [0175]步骤S102,对所述多张图片进行特征配准，获取所述多张图片的公共区域；
[0176]然后，通过图片配准模块将输入的多张照片对齐到同一背景，获取所述多张图片 的公共区域。
[0177]具体实现如下：
[0178]从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧图片；
[0179] 以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待 配准帧图片的配准参数；
[0180] 根据所述配准参数，分别对所述配准参数对应的所述待配准帧图片进行变换，使 之与所述参考帧图片匹配，得到配准图片；
[0181] 提取所有配准图片中区域的交集，得到所有配准图片的公共区域。
[0182] 具体应用举例实现过程如下：
[0183] 步骤21，通过参考帧选取单元从图片获取模块输入的η张照片中选出一帧作为参 考帧。参考帧具体选取方式可以是随机选取，也可以是特定选取，其中，特定选取方式包括 但不限于如下几种：
[0184] 1，选择第一帧图片(第一张照片)作为参考帧。
[0185] 2，选择最后一帧作为参考帧。
[0186] 3，对η张照片进行清晰度评价，选出最清晰的一张作为参考帧。
[0187] 其中，清晰度评价算法可以采用对图片x、y轴方向求二阶导数，对导数绝对值累 加，累加之和越大，则表示图片清晰越高。
[0188] 由此，图片获取模块输入的η张照片经过选择之后，获得参考帧Fr和其他帧Fi， F2,…，Fn-1〇
[0189] 步骤22,图片参数计算单元以参考帧为基准，对其他每一帧向参照帧进行配准，计 算配准参数。
[0190] 其中，配准算法实施方式可以有多种，举例如下：
[0191] 首先，要选择一种变换模型作为假设。比如，选择图片全局变换，或者可以选择几 何变换、相似变换、仿射变换、射影变换等，局部变换可以把图片划分为不同部分，并对每一 部分计算单独的配准参数。
[0192] 然后，选择配准特征，可以选择的特征有:特征点、互相关、互信息量等。
[0193] 对于特征点，其配准参数实施方法是:从参照帧Fr提取若干特征点，然后从待配准 帧^提取或搜索对应的特征点，根据特征点的位置作为数据，求解配准参数。
[0194] 对于互相关，其配准参数实施方法是:互相关是利用傅里叶变换将图片变换到频 域，然后用互相关公式计算待配准帧？1在空间域中每个位置的相关性，取最大的位置作为 配准结果。
[0195] 对于互信息量，其配准参数实施方法是:互信息量是图片相似性的评价方法，使用 最优化算法(如梯度下降法)搜索配准参数空间中参数的极值使得互信息量最小，即是使待 配准帧巧和参照帧Fr最佳配准的参数。
[0196] 步骤23，图片变换单元在计算得到配准参数之后，对待配准帧Fi，i = [ 1，n-1 ]进行 变换，使之与参照图匹配。变换后得到配准后图片Wl，W2，…，Wn-l。
[0197] 步骤24,公共区域提取单元从配准后图片WhWs，···，？^中计算所有变换的公共区 域。
[0198] 其中，公共区域是这些配准后图片区域的交集。得到公共区域之后，后续提取和合 成都只针对所有照片的公共区域那部分进行操作。
[0199] 步骤S103,从所述多张图片的公共区域中分别提取每一张图片的主体区域；
[0200] 然后，从所述多张图片的公共区域提取每一张图片的主体区域。
[0201 ] 具体实现过程如下：
[0202]首先，基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获 得帧差图像；
[0203]然后，对所述帧差图像进行二值化处理，得到帧差二值图像；
[0204]之后，提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域；
[0205] 最后，根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得 到每一配准图片的主体区域。
[0206] 具体应用时，可以通过主体提取模块负责提取配准之后的图片中每一帧的 主体部 分。该模块的结构框图如图5所示。
[0207] 具体应用举例实现过程如下：
[0208] 步骤31，侦差单元对每一张配准图片与参照帧进行差异比较。比如，对配准图片I 与参照帧Fr计算颜色差异，获得帧差图像，计算公式可以表示如下：
[0209] DIFFi(x,y) = abs(ffi(x,y)-Fr(x,y))；
[0210] 其中，DIFFKxj)表示帧差图中x，y坐标位置的像素值。帧差图像中像素值的大小 表示配准图片与参照帧颜色差异的大小。
[0211] 狄后·对岵荖图讲杆一佶仆莽徨岵差二值图，计算公式为：
[0212]
[0213] 其中，Θ为预设值，Tl(X，y)表示帧差二值图x，y坐标的像素值，为1时表示配准图片 与参照帧有差异，〇表示无差异。
[0214] 步骤32，参考帧主体提取单元从帧差二值图Τ!，T2，…，Tn-冲获取参考帧Fr中的主 体区域。获取方法如下式：
[0215]
[0216] 因为所有照片中主体位置不同，所以参考帧和其他帧作帧差时，参考帧主体部分 区域一定与其他帧有差异。这里取所有帧差二值图像的交集作为参考帧主体。
[0217] 步骤33,连通区提取单元负责提取除参考帧以外其他每帧的主体区域，获取连通 区域。
[0218] 首先，要将帧差二值图T^Ts，…，Τη中参考帧的主体区域去掉，具体算法如下式：
[0219] Tf = Ti n Mask,.;
[0220] 其目的是为了使处理后帧差二值图f hTS，··· f η只保留配准图片中的主体部 分。
[0221] 然后，对二值图?^，!^，···，!^ ^进行标记，相邻为1的像素值标记为一个区域，每 个区域有独立编号，用于与其他区域区分。
[0222] 其中，连通区标记的算法有two-path两遍遍历法和种子生长法等。标记之后获得 一个标记图每个像素的值表示该像素在中的第几个连通区。例如像素(x，y)在 !^的第」个区域，则1^ =」。
[0223] 下面对每个连通区域生成一个模板图。模板图生成方法如下式：
[0224]
[0225] 步骤S104,将所有图片的主体区域进行合成。
[0226] 最后，将所有配准图片的主体区域合成到所述参考帧图片的主体区域。
[0227] 具体地，图片合成模块在已经获取每帧主体的基础上将配准图片WhW^··· 中 的主体区域合成到参考图片上。
[0228] 合成顺序可以为I，W2，…，Wh，也可以为Ww，Wn- 2，…，Wi。合成顺序不同主体之间 覆盖的关系也不同，因为在相同位置上，后合成的主体会覆盖先合成的主体。
[0229] 合成图片为Ifusicm，初始化为Fr，假设当前待合成主体模板为Maskij，则本次合成 后，
[0230] IfUsi〇n(x，y)=Maskij(x，y) · Wi+(l_Maskij(x，y)) · IfUsi〇n(x，y);
[0231] 对所有帧的主体依次合成后，获得合成后图片Ifuslcin。
[0232] 后续，根据用户需要，将合成后图片压缩、保存、显示、或发送到网络。
[0233] 本实施例通过上述方案，通过自动发现多张照片中主体区域并合成到一张照片， 使得使用者只需要在同一场景拍摄多张主体不同照片，通过本装置即可将自动完成多个主 体的合成操作，节约了大量的人工操作。
[0234]需要说明的是，在本文中，术语"包括"、"包含"或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而 且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有 的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括该 要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0235] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0236] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方 法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下 前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做 出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 (如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，月艮 务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0237]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技 术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1. 一种图片合成装置，其特征在于，包括： 图片获取模块，用于获取多张图片； 图片配准模块，用于对所述多张图片进行特征配准，获取所述多张图片的公共区域； 主体提取模块，用于从所述多张图片的公共区域中分别提取每一张图片的主体区域； 图片合成模块，用于将所有图片的主体区域进行合成。2. 根据权利要求1所述的装置，其特征在于，所述图片配准模块包括： 参考帧选取单元，用于从所述多张图片中选取一张图片作为参考帧图片，其他图片作 为待配准帧图片； 配准参数计算单元，用于以所述参考帧图片为基准，对每一待配准帧图片进行特征配 准，计算得到每一待配准帧图片的配准参数； 图片变换单元，用于根据所述配准参数，分别对所述配准参数对应的待配准帧图片进 行变换，使之与所述参考帧图片匹配，得到配准图片； 公共区域提取单元，用于提取所有配准图片中区域的交集，得到所有配准图片的公共 区域。3. 根据权利要求2所述的装置，其特征在于， 所述配准参数计算单元，还用于选取变换模型和配准特征；根据选取的变换模型和配 准特征，以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待配 准帧图片的配准参数。4. 根据权利要求3所述的装置，其特征在于，所述主体提取模块包括： 帧差单元，用于基于配准图片的公共区域，分别将每一配准图片与参考帧图片进行差 异比较，获得每一配准图片的帧差图像;对所述帧差图像进行二值化处理，得到帧差二值图 像； 参考帧主体提取单元，用于提取所有所述帧差二值图像的交集，获得所述参考帧图片 的主体区域； 连通区域提取单元，用于根据每一配准图片的帧差二值图像，对应提取每一配准图片 的连通区域，得到每一配准图片的主体区域。5. 根据权利要求4所述的装置，其特征在于， 所述图片合成模块，还用于将所有配准图片的主体区域合成到所述参考帧图片的主体 区域。6. 根据权利要求1-5中任一项所述的装置，其特征在于，所述装置还包括： 图片输出模块，用于对合成后图片进行处理和/或对外发送。7. -种图片合成方法，其特征在于，包括： 获取多张图片； 对所述多张图片进行特征配准，获取所述多张图片的公共区域； 从所述多张图片的公共区域中分别提取每一张图片的主体区域； 将所有图片的主体区域进行合成。8. 根据权利要求7所述的方法，其特征在于，所述对多张图片进行特征配准，获取所述 多张图片的公共区域的步骤包括： 从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧图片； 以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待配准 帧图片的配准参数； 根据所述配准参数，分别对所述配准参数对应的待配准帧图片进行变换，使之与所述 参考帧图片匹配，得到配准图片； 提取所有配准图片中区域的交集，得到所有配准图片的公共区域。9. 根据权利要求8所述的方法，其特征在于，所述以所述参考帧图片为基准，对每一待 配准帧图片进行特征配准，计算得到每一待配准帧图片的配准参数的步骤包括： 选取变换模型和配准特征； 根据选取的变换模型和配准特征，以所述参考帧图片为基准，对每一待配准帧图片进 行特征配准，计算得到每一待配准帧图片的配准参数。10. 根据权利要求9所述的方法，其特征在于，所述从多张图片的公共区域中分别提取 每一张图片的主体区域的步骤包括： 基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获得每一配 准图片的帧差图像； 对所述帧差图像进行二值化处理，得到帧差二值图像； 提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域； 根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得到每一配 准图片的主体区域。
【专利摘要】本发明公开了一种图片合成方法及装置，其装置包括：图片获取模块，用于获取多张图片；图片配准模块，用于对多张图片进行特征配准，获取多张图片的公共区域；主体提取模块，用于从多张图片的公共区域中分别提取每一张图片的主体区域；图片合成模块，用于将所有图片的主体区域进行合成。本发明可以自动提取多张照片中主体区域并合成到一张照片，使用者只需要在同一场景拍摄多张主体不同照片，终端系统将自动完成多个主体的合成操作，节约了大量的人工操作。
【IPC分类】G06T3/40, G06T3/00
【公开号】CN105488756
【申请号】CN201510845403
【发明人】李嵩
【申请人】努比亚技术有限公司
【公开日】2016年4月13日
【申请日】2015年11月26日
【技术领域】
[0001] 本发明涉及图片处理技术领域，尤其涉及一种图片合成方法及装置。
【背景技术】
[0002] 随着可拍照智能设备越来越普及，拍照方式趣味化、简单化成为拍照软件的一个 发展方向。克隆相机是近些年出现的一类软件，它通过在同一场景拍摄多张照片，照片主体 在不同位置摆不同的姿态，最终将多次拍摄的照片主体合成到一张照片上。
[0003] 但是，现有的克隆相机软件，要求拍摄者在拍摄完成后手动选取照片中主体的区 域，以引导照片合成，这种操作繁琐而费时。
[0004] 因此，有必要提供一种方法，自动对比并发现多张照片中主体区域的位置，并自动 完成合成，为拍摄者省去了大量的人工过程。
【发明内容】
[0005] 本发明的主要目的在于提出一种图片合成方法及装置，旨在实现多张照片中主体 区域自动合成，简化用户操作。
[0006] 为实现上述目的，本发明实施例提供的一种图片合成装置，包括：
[0007] 图片获取模块，用于获取多张图片；
[0008] 图片配准模块，用于对所述多张图片进行特征配准，获取所述多张图片的公共区 域；
[0009] 主体提取模块，用于从所述多张图片的公共区域中分别提取每一张图片的主体区 域；
[0010] 图片合成模块，用于将所有图片的主体区域进行合成。
[0011] 可选地，所述图片配准模块包括：
[0012] 参考帧选取单元，用于从所述多张图片中选取一张图片作为参考帧图片，其他图 片作为待配准帧图片；
[0013] 配准参数计算单元，用于以所述参考帧图片为基准，对每一待配准帧图片进行特 征配准，计算得到每一待配准帧图片的配准参数；
[0014] 图片变换单元，用于根据所述配准参数，分别对所述配准参数对应的待配准帧图 片进行变换，使之与所述参考帧图片匹配，得到配准图片；
[0015] 公共区域提取单元，用于提取所有配准图片中区域的交集，得到所有配准图片的 公共区域。
[0016] 可选地，所述配准参数计算单元，还用于选取变换模型和配准特征;根据选取的变 换模型和配准特征，以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得 到每一待配准帧图片的配准参数。
[0017] 可选地，所述主体提取模块包括：
[0018] 帧差单元，用于基于配准图片的公共区域，分别将每一配准图片与参考帧图片进 行差异比较，获得每一配准图片的帧差图像;对所述帧差图像进行二值化处理，得到帧差二 值图像；
[0019] 参考帧主体提取单元，用于提取所有所述帧差二值图像的交集，获得所述参考帧 图片的主体区域；
[0020] 连通区域提取单元，用于根据每一配准图片的帧差二值图像，对应提取每一配准 图片的连通区域，得到每一配准图片的主体区域。
[0021] 可选地，所述图片合成模块，还用于将所有配准图片的主体区域合成到所述参考 帧图片的主体区域。
[0022] 可选地，所述装置还包括：
[0023] 图片输出模块，用于对合成后图片进行处理和/或对外发送。
[0024] 本发明实施例还提出一种图片合成方法，包括：
[0025]获取多张图片；
[0026] 对所述多张图片进行特征配准，获取所述多张图片的公共区域；
[0027] 从所述多张图片的公共区域中分别提取每一张图片的主体区域；
[0028] 将所有图片的主体区域进行合成。
[0029] 可选地，所述对多张图片进行特征配准，获取所述多张图片的公共区域的步骤包 括：
[0030] 从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧图片；
[0031] 以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待 配准帧图片的配准参数；
[0032] 根据所述配准参数，分别对所述配准参数对应的待配准帧图片进行变换，使之与 所述参考帧图片匹配，得到配准图片；
[0033]提取所有配准图片中区域的交集，得到所有配准图片的公共区域。
[0034]可选地，所述以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算 得到每一待配准帧图片的配准参数的步骤包括：
[0035]选取变换模型和配准特征；
[0036] 根据选取的变换模型和配准特征，以所述参考帧图片为基准，对每一待配准帧图 片进行特征配准，计算得到每一待配准帧图片的配准参数。
[0037] 可选地，所述从多张图片的公共区域中分别提取每一张图片的主体区域的步骤包 括：
[0038] 基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获得每 一配准图片的帧差图像；
[0039]对所述帧差图像进行二值化处理，得到帧差二值图像；
[0040] 提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域；
[0041] 根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得到每 一配准图片的主体区域。
[0042] 可选地，所述将所有图片的主体区域进行合成的步骤包括：
[0043] 将所有配准图片的主体区域合成到所述参考帧图片的主体区域。
[0044] 本发明实施例提出的一种图片合成方法及装置，可以自动提取多张照片中主体区 域并合成到一张照片，使用者只需要在同一场景拍摄多张主体不同照片，终端系统将自动 完成多个主体的合成操作，节约了大量的人工操作。
【附图说明】
[0045] 图1是实现本发明各个实施例的一个可选的移动终端的硬件结构示意图；
[0046] 图2是如图1所示的移动终端的无线通信系统示意图；
[0047] 图3是本发明图片合成装置第一实施例的功能模块示意图；
[0048] 图4是本发明实施例中图片配准模块的结构示意图；
[0049] 图5是本发明实施例中主体提取模块的结构示意图；
[0050]图6是本发明实施例的一种图片合成效果不意图；
[0051]图7是本发明图片合成装置第二实施例的功能模块示意图；
[0052]图8是本发明图片合成方法较佳实施例的流程示意图。
[0053]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0054]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 [0055]本发明实施例方案中涉及的终端设备主要指移动终端。
[0056]现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用 用于表示元件的诸如"模块"、"部件"或"单元"的后缀仅为了有利于本发明的说明，其本身 并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
[0057]移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动 电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理）、PAD(平板电脑）、PMP (便携式多媒体播放器）、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固 定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动 目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
[0058]图1为实现本发明各个实施例的一个可选的移动终端的硬件结构示意图。
[0059] 移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入 单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190 等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组 件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
[0060] 无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统 或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块 112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
[0061] 广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播 相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送 广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息 并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播 信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相 关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模 块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子 节目指南(EPG)、数字视频广播手持(DVB-Η)的电子服务指南(ESG)等等的形式而存在。广播 接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111 可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广 播-手持（DVB-H)，前向链路媒体(MediaFLO @)的数据广播系统、地面数字广播综合服务 (ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广 播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/ 或广播相关信息可以存储在存储器160(或者其它类型的存储介质）中。
[0062]移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等）、外部终端 以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通 话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。 [0063]无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地 耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN) (Wi-Fi)、Wibro (无线宽带）、Wimax(全球微波互联接入）、HSDPA(高速下行链路分组接入)等等。
[0064] 短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝 牙?、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂?等等。
[0065] 位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块 的典型示例是GPS(全球定位系统）。根据当前的技术，GPS模块计算来自三个或更多卫星的 距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、炜度和 高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星 并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能 够通过实时地连续计算当前位置信息来计算速度信息。
[0066] A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121，相 机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像 数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可 以存储在存储器160(或其它存储介质）中或者经由无线通信单元110进行发送，可以根据移 动终端的构造提供两个或更多相机1210。
[0067] 用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各 种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸 板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件）、滚轮、摇杆等 等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
[0068] 感测单元140检测移动终端100的当前状态，（例如，移动终端100的打开或关闭状 态）、移动终端100的位置、用户对于移动终端100的接触（即，触摸输入）的有无、移动终端 100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的 操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测 该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或 者接口单元170是否与外部装置耦接。接口单元170用作至少一个外部装置与移动终端100 连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或 电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端 口、音频输入/输出（I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证 用户使用移动终端100的各种信息并且可以包括用户识别模块(ΙΠΜ)、客户识别模块(sno、 通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采 取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口 单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输 入传输到移动终端1〇〇内的一个或多个元件或者可以用于在移动终端和外部装置之间传输 数据。
[0069] 另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电 力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其 传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是 否准确地安装在底座上的信号。
[0070] 输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号（例如，音频信 号、视频信号、警报信号、振动信号等等）。输出单元150可以包括显示单元151等。
[0071] 显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电 话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件 下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式 或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图 像以及相关功能的UI或GUI等等。
[0072]同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元 151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管 IXD(TFT-IXD)、有机发光二极管(0LED)显示器、柔性显示器、三维(3D)显示器等等中的至少 一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明 显示器，典型的透明显示器可以例如为T0LED(透明有机发光二极管）显示器等等。根据特定 想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置），例如，移 动终端可以包括外部显示单元(未示出）和内部显示单元(未示出）。触摸屏可用于检测触摸 输入压力以及触摸输入位置和触摸输入面积。
[0073] 存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可 以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等）。而 且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的 数据。
[0074] 存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多 媒体卡、卡型存储器(例如，SD或DX存储器等等）、随机访问存储器(RAM)、静态随机访问存储 器（SRAM)、只读存储器(R0M)、电可擦除可编程只读存储器(EEPR0M)、可编程只读存储器 (PR0M)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器 160的存储功能的网络存储装置协作。
[0075] 控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据 通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒 体数据的多媒体模块1810,多媒体模块1810可以构造在控制器180内，或者可以构造为与控 制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图 片绘制输入识别为字符或图片。
[0076] 电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元 件和组件所需的适当的电力。
[0077] 这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算 机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可 编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的 电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。 对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的 软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来 实施，软件代码可以存储在存储器160中并且由控制器180执行。
[0078] 至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、 直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示 例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
[0079] 如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有 线和无线通信系统以及基于卫星的通信系统来操作。
[0080] 现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
[0081] 这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的 空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系 统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下 面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
[0082] 参考图2,⑶MA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站 控制器(BSC)275和移动交换中心(MSCUSOJSCSSO被构造为与公共电话交换网络(PSTN) 290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。 回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T 1、ATM，IP、 PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC2750。
[0083] 每个BS270可以服务一个或多个分区（或区域），由多向天线或指向特定方向的天 线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多 天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱 (例如，1·25ΜΗζ，5ΜΗζ 等等）。
[0084]分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子 系统（BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个 BSC275和至少一个BS270。基站也可以被称为〃蜂窝站〃。或者，特定BS270的各分区可以被称 为多个蜂窝站。
[0085]如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端 100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播 信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端 100中的至少一个。
[0086]在图2中，描绘了多个卫星300,但是理解的是，可以利用任何数目的卫星获得有用 的定位信息。如图1中所示的GPS模块通常被构造为与卫星300配合以获得想要的定位信息。 替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技 术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
[0087]作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路 信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反 向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275ASC提供通话 资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数 据路由到MSC280,其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与 MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号 发送到移动终端100。
[0088] 基于上述移动终端硬件结构以及通信系统，提出本发明各个实施例。
[0089] 由于现有的克隆相机软件，要求拍摄者在拍摄完成后手动选取照片中主体区域进 行照片合成，导致用户操作繁琐而费时。
[0090] 为此，本发明提出一种解决方案，可以有效实现多张照片中主体区域自动合成，简 化用户操作。
[0091] 具体地，如图3所示，本发明第一实施例提出一种图片合成装置，包括：图片获取模 块201、图片配准模块202、主体提取模块203以及图片合成模块204，其中：
[0092] 图片获取模块201，用于获取多张图片；
[0093]图片配准模块202,用于对所述多张图片进行特征配准，获取所述多张图片的公共 区域；
[0094] 主体提取模块203,用于从所述多张图片的公共区域中分别提取每一张图片的主 体区域；
[0095] 图片合成模块204,用于将所有图片的主体区域进行合成。
[0096] 具体地，本实施例图片合成装置可以设置在上述的手机等移动终端上，通过该图 片合成装置实现多张照片中主体区域自动合成，以简化用户操作。
[0097] 首先，通过图片获取模块201获取多张图片，该多张图片可以为同一拍摄场景下拍 摄的图片，当然，也可以为不同拍摄场景下拍摄的图片，其中主体人物可以为同一人，也可 以为不同的人，或者为多个人，或者为纯景物图片。
[0098] 以多张图片为同一拍摄场景下拍摄的图片进行举例，比如，通过图片获取模块在 图片合成装置中输入用户在同一拍摄场景拍摄三张以上照片，记为h，I 2,…，Ιη，η2 3。
[0099] 然后，通过图片配准模块202将输入的多张照片对齐到同一背景，获取所述多张图 片的公共区域。
[0100] 具体实现如下：
[0101] 首先，从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧 图片；
[0102] 然后，以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每 一待配准帧图片的配准参数；
[0103] 之后，根据所述配准参数，分别对所述配准参数对应的所述待配准帧图片进行变 换，使之与所述参考帧图片匹配，得到配准图片；
[0104] 最后，提取所有配准图片中区域的交集，得到所有配准图片的公共区域。
[0105] 具体应用时，如图4所示，图片配准模块202可以包括:参考帧选取单元2021、配准 参数计算单元2022、图片变换单元2023以及公共区域提取单元2024,其中：
[0106] 参考帧选取单元2021，用于从所述多张图片中选取一张图片作为参考帧图片，其 他图片作为待配准帧图片；
[0107] 配准参数计算单元2022,用于以所述参考帧图片为基准，对每一待配准帧图片进 行特征配准，计算得到每一待配准帧图片的配准参数；
[0108] 图片变换单元2023,用于根据所述配准参数，分别对所述配准参数对应的所述待 配准帧图片进行变换，使之与所述参考帧图片匹配，得到配准图片；
[0109] 公共区域提取单元2024,用于提取所有配准图片中区域的交集，得到所有配准图 片的公共区域。
[0110] 基于上述结构的图片配准模块202,具体实现过程如下：
[0111] 步骤21，通过参考帧选取单元2021从图片获取模块输入的η张照片中选出一帧作 为参考帧。参考帧具体选取方式可以是随机选取，也可以是特定选取，其中，特定选取方式 包括但不限于如下几种：
[0112] 1，选择第一帧图片(第一张照片)作为参考帧。
[0113] 2，选择最后一帧作为参考帧。
[0114] 3,对η张照片进行清晰度评价，选出最清晰的一张作为参考帧。
[0115] 其中，清晰度评价算法可以采用对图片x、y轴方向求二阶导数，对导数绝对值累 加，累加之和越大，则表示图片清晰越高。
[0116] 由此，图片获取模块输入的η张照片经过选择之后，获得参考帧Fr和其他帧Fi， F2,…，Fn-1〇
[0117] 步骤22,图片参数计算单元以参考帧为基准，对其他每一帧向参照帧进行配准，计 算配准参数。
[0118] 其中，配准算法实施方式可以有多种，举例如下：
[0119] 首先，要选择一种变换模型作为假设。比如，选择图片全局变换，或者可以选择几 何变换、相似变换、仿射变换、射影变换等，局部变换可以把图片划分为不同部分，并对每一 部分计算单独的配准参数。
[0120]然后，选择配准特征，可以选择的特征有:特征点、互相关、互信息量等。
[0121] 对于特征点，其配准参数实施方法是:从参照帧Fr提取若干特征点，然后从待配准 帧^提取或搜索对应的特征点，根据特征点的位置作为数据，求解配准参数。
[0122] 对于互相关，其配准参数实施方法是:互相关是利用傅里叶变换将图片变换到频 域，然后用互相关公式计算待配准帧？1在空间域中每个位置的相关性，取最大的位置作为 配准结果。
[0123] 对于互信息量，其配准参数实施方法是:互信息量是图片相似性的评价方法，使用 最优化算法(如梯度下降法)搜索配准参数空间中参数的极值使得互信息量最小，即是使待 配准帧巧和参照帧Fr最佳配准的参数。
[0124] 步骤23，图片变换单元在计算得到配准参数之后，对待配准帧Fi，i = [ 1，n-1 ]进行 变换，使之与参照图匹配。变换后得到配准后图片Wl，W2，…，Wn-l。
[0125] 步骤24,公共区域提取单元从配准后图片WhWs，···，？^中计算所有变换的公共区 域。
[0126] 其中，公共区域是这些配准后图片区域的交集。得到公共区域之后，后续提取和合 成都只针对所有照片的公共区域那部分进行操作。
[0127] 然后，从所述多张图片的公共区域提取每一张图片的主体区域。
[0128] 具体实现过程如下：
[0129] 首先，基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获 得帧差图像；
[0130]然后，对所述帧差图像进行二值化处理，得到帧差二值图像；
[0131]之后，提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域；
[0132] 最后，根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得 到每一配准图片的主体区域。
[0133] 具体应用时，如图5所示，所述主体提取模块203包括:帧差单元2031、参考帧主体 提取单元2032及连通区域提取单元2033,其中：
[0134] 帧差单元2031，用于基于配准图片的公共区域，将每一配准图片与参考帧图片进 行差异比较，获得帧差图像;对所述帧差图像进行二值化处理，得到帧差二值图像；
[0135] 参考帧主体提取单元2032,用于提取所有所述帧差二值图像的交集，获得所述参 考帧图片的主体区域；
[0136] 连通区域提取单元2033,用于根据每一配准图片的帧差二值图像，对 应提取每一 配准图片的连通区域，得到每一配准图片的主体区域。
[0137] 基于上述主体提取模块203的结构，具体实现过程如下：
[0138] 步骤31，侦差单元对每一张配准图片与参照帧进行差异比较。比如，对配准图片I 与参照帧Fr计算颜色差异，获得帧差图像，计算公式可以表示如下：
[0139] DIFFi(x,y) = abs(ffi(x,y)-Fr(x,y))；
[0140] 其中，DIFFKxj)表示帧差图中x，y坐标位置的像素值。帧差图像中像素值的大小 表示配准图片与参照帧颜色差异的大小。
[0141]然后，对帧差图进行二值化，获得帧差二值图，计算公式为：
[0142]
[0143] 其中，Θ为预设值，Tl(X，y)表示帧差二值图x，y坐标的像素值，为1时表示配准图片 与参照帧有差异，〇表示无差异。
[0144]步骤32，参考帧主体提取单元从帧差二值图Ti，T2，…，Τη中获取参考帧Fr中的主 体区域。获取方法如下式：
[0145]
[0146] 因为所有照片中主体位置不同，所以参考帧和其他帧作帧差时，参考帧主体部分 区域一定与其他帧有差异。这里取所有帧差二值图像的交集作为参考帧主体。
[0147] 步骤33,连通区提取单元负责提取除参考帧以外其他每帧的主体区域，获取连通 区域。
[0148] 首先，要将帧差二值图T^Ts，…，Τη中参考帧的主体区域去掉，具体算法如下式：
[0149] = η n Maskt ；
[0150] 其目的是为了使处理后帧差二值图f hTS，···，Τ'η只保留配准图片中的主体部 分。
[0151] 然后，对二值图?^，!^，···，!^ ^进行标记，相邻为1的像素值标记为一个区域，每 个区域有独立编号，用于与其他区域区分。
[0152] 其中，连通区标记的算法有two-path两遍遍历法和种子生长法等。标记之后获得 一个标记图每个像素的值表示该像素在中的第几个连通区。例如像素(x，y)在 !^的第」个区域，则1^ =」。
[0153] 下面对每个连通K域牛成一个模板图。模板图生成方法如下式：
[0154]
[0155] 最后，通过图片合成模块204将所有配准图片的主体区域合成到所述参考帧图片 的主体区域。
[0156] 具体地，图片合成模块204在已经获取每帧主体的基础上将配准图片Μ2,…，^一！ 中的主体区域合成到参考图片上。
[0157] 合成顺序可以为Wl，W2,…，Wn-1，也可以为Wn-l，Wn-2,…，Wl。合成顺序不同主体之间 覆盖的关系也不同，因为在相同位置上，后合成的主体会覆盖先合成的主体。
[0158]合成图片为Ifusicm，初始化为Fr，假设当前待合成主体模板为Maskij，则本次合成 后，
[0159] IfUsi〇n(x，y)=Maskij(x，y) · Wi+(l_Maskij(x，y)) · IfUsi〇n(x，y);
[0160] 对所有帧的主体依次合成后，获得合成后图片Ifuslcin。
[0161] 后续，根据用户需要，将合成后图片压缩、保存、显示、或发送到网络。
[0162] 基于本实施例方案举例如下：
[0163] 如图6a、图6b、图6c所示，分别在同一场景下拍摄三张图片，通过上述方案进行图 片合成后，得到图6d所示的合成效果图。
[0164] 本实施例通过上述方案，通过自动发现多张照片中主体区域并合成到一张照片， 使得使用者只需要在同一场景拍摄多张主体不同照片，通过本装置即可将自动完成多个主 体的合成操作，节约了大量的人工操作。
[0165] 如图7所示，本发明第二实施例提出一种图片合成装置，基于上述图3所示的实施 例，所述装置还包括：
[0166] 图片输出模块205,用于对合成后图片进行处理和/或对外发送。
[0167] 根据用户需要，将合成后图片压缩、保存、显示、或发送到网络。
[0168] 本实施例通过上述方案，通过自动发现多张照片中主体区域并合成到一张照片， 使得使用者只需要在同一场景拍摄多张主体不同照片，通过本装置即可将自动完成多个主 体的合成操作，节约了大量的人工操作。
[0169] 对应地，提出本发明图片合成方法实施例。
[0170] 如图8所示，本发明较佳实施例提出一种图片合成方法，包括：
[0171] 步骤S101，获取多张图片；
[0172] 本实施例图片合成方法可以通过图片合成装置来执行，该图片合成装置可以设置 在上述的手机等移动终端上，通过该图片合成装置实现多张照片中主体区域自动合成，以 简化用户操作。
[0173] 首先，获取多张图片，该多张图片可以为同一拍摄场景下拍摄的图片，当然，也可 以为不同拍摄场景下拍摄的图片，其中主体人物可以为同一人，也可以为不同的人，或者为 多个人，或者为纯景物图片。
[0174]以多张图片为同一拍摄场景下拍摄的图片进行举例，比如，通过图片获取模块在 图片合成装置中输入用户在同一拍摄场景拍摄三张以上照片，记为h，I2,…，Ιη，η2 3。 [0175]步骤S102,对所述多张图片进行特征配准，获取所述多张图片的公共区域；
[0176]然后，通过图片配准模块将输入的多张照片对齐到同一背景，获取所述多张图片 的公共区域。
[0177]具体实现如下：
[0178]从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧图片；
[0179] 以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待 配准帧图片的配准参数；
[0180] 根据所述配准参数，分别对所述配准参数对应的所述待配准帧图片进行变换，使 之与所述参考帧图片匹配，得到配准图片；
[0181] 提取所有配准图片中区域的交集，得到所有配准图片的公共区域。
[0182] 具体应用举例实现过程如下：
[0183] 步骤21，通过参考帧选取单元从图片获取模块输入的η张照片中选出一帧作为参 考帧。参考帧具体选取方式可以是随机选取，也可以是特定选取，其中，特定选取方式包括 但不限于如下几种：
[0184] 1，选择第一帧图片(第一张照片)作为参考帧。
[0185] 2，选择最后一帧作为参考帧。
[0186] 3，对η张照片进行清晰度评价，选出最清晰的一张作为参考帧。
[0187] 其中，清晰度评价算法可以采用对图片x、y轴方向求二阶导数，对导数绝对值累 加，累加之和越大，则表示图片清晰越高。
[0188] 由此，图片获取模块输入的η张照片经过选择之后，获得参考帧Fr和其他帧Fi， F2,…，Fn-1〇
[0189] 步骤22,图片参数计算单元以参考帧为基准，对其他每一帧向参照帧进行配准，计 算配准参数。
[0190] 其中，配准算法实施方式可以有多种，举例如下：
[0191] 首先，要选择一种变换模型作为假设。比如，选择图片全局变换，或者可以选择几 何变换、相似变换、仿射变换、射影变换等，局部变换可以把图片划分为不同部分，并对每一 部分计算单独的配准参数。
[0192] 然后，选择配准特征，可以选择的特征有:特征点、互相关、互信息量等。
[0193] 对于特征点，其配准参数实施方法是:从参照帧Fr提取若干特征点，然后从待配准 帧^提取或搜索对应的特征点，根据特征点的位置作为数据，求解配准参数。
[0194] 对于互相关，其配准参数实施方法是:互相关是利用傅里叶变换将图片变换到频 域，然后用互相关公式计算待配准帧？1在空间域中每个位置的相关性，取最大的位置作为 配准结果。
[0195] 对于互信息量，其配准参数实施方法是:互信息量是图片相似性的评价方法，使用 最优化算法(如梯度下降法)搜索配准参数空间中参数的极值使得互信息量最小，即是使待 配准帧巧和参照帧Fr最佳配准的参数。
[0196] 步骤23，图片变换单元在计算得到配准参数之后，对待配准帧Fi，i = [ 1，n-1 ]进行 变换，使之与参照图匹配。变换后得到配准后图片Wl，W2，…，Wn-l。
[0197] 步骤24,公共区域提取单元从配准后图片WhWs，···，？^中计算所有变换的公共区 域。
[0198] 其中，公共区域是这些配准后图片区域的交集。得到公共区域之后，后续提取和合 成都只针对所有照片的公共区域那部分进行操作。
[0199] 步骤S103,从所述多张图片的公共区域中分别提取每一张图片的主体区域；
[0200] 然后，从所述多张图片的公共区域提取每一张图片的主体区域。
[0201 ] 具体实现过程如下：
[0202]首先，基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获 得帧差图像；
[0203]然后，对所述帧差图像进行二值化处理，得到帧差二值图像；
[0204]之后，提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域；
[0205] 最后，根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得 到每一配准图片的主体区域。
[0206] 具体应用时，可以通过主体提取模块负责提取配准之后的图片中每一帧的 主体部 分。该模块的结构框图如图5所示。
[0207] 具体应用举例实现过程如下：
[0208] 步骤31，侦差单元对每一张配准图片与参照帧进行差异比较。比如，对配准图片I 与参照帧Fr计算颜色差异，获得帧差图像，计算公式可以表示如下：
[0209] DIFFi(x,y) = abs(ffi(x,y)-Fr(x,y))；
[0210] 其中，DIFFKxj)表示帧差图中x，y坐标位置的像素值。帧差图像中像素值的大小 表示配准图片与参照帧颜色差异的大小。
[0211] 狄后·对岵荖图讲杆一佶仆莽徨岵差二值图，计算公式为：
[0212]
[0213] 其中，Θ为预设值，Tl(X，y)表示帧差二值图x，y坐标的像素值，为1时表示配准图片 与参照帧有差异，〇表示无差异。
[0214] 步骤32，参考帧主体提取单元从帧差二值图Τ!，T2，…，Tn-冲获取参考帧Fr中的主 体区域。获取方法如下式：
[0215]
[0216] 因为所有照片中主体位置不同，所以参考帧和其他帧作帧差时，参考帧主体部分 区域一定与其他帧有差异。这里取所有帧差二值图像的交集作为参考帧主体。
[0217] 步骤33,连通区提取单元负责提取除参考帧以外其他每帧的主体区域，获取连通 区域。
[0218] 首先，要将帧差二值图T^Ts，…，Τη中参考帧的主体区域去掉，具体算法如下式：
[0219] Tf = Ti n Mask,.;
[0220] 其目的是为了使处理后帧差二值图f hTS，··· f η只保留配准图片中的主体部 分。
[0221] 然后，对二值图?^，!^，···，!^ ^进行标记，相邻为1的像素值标记为一个区域，每 个区域有独立编号，用于与其他区域区分。
[0222] 其中，连通区标记的算法有two-path两遍遍历法和种子生长法等。标记之后获得 一个标记图每个像素的值表示该像素在中的第几个连通区。例如像素(x，y)在 !^的第」个区域，则1^ =」。
[0223] 下面对每个连通区域生成一个模板图。模板图生成方法如下式：
[0224]
[0225] 步骤S104,将所有图片的主体区域进行合成。
[0226] 最后，将所有配准图片的主体区域合成到所述参考帧图片的主体区域。
[0227] 具体地，图片合成模块在已经获取每帧主体的基础上将配准图片WhW^··· 中 的主体区域合成到参考图片上。
[0228] 合成顺序可以为I，W2，…，Wh，也可以为Ww，Wn- 2，…，Wi。合成顺序不同主体之间 覆盖的关系也不同，因为在相同位置上，后合成的主体会覆盖先合成的主体。
[0229] 合成图片为Ifusicm，初始化为Fr，假设当前待合成主体模板为Maskij，则本次合成 后，
[0230] IfUsi〇n(x，y)=Maskij(x，y) · Wi+(l_Maskij(x，y)) · IfUsi〇n(x，y);
[0231] 对所有帧的主体依次合成后，获得合成后图片Ifuslcin。
[0232] 后续，根据用户需要，将合成后图片压缩、保存、显示、或发送到网络。
[0233] 本实施例通过上述方案，通过自动发现多张照片中主体区域并合成到一张照片， 使得使用者只需要在同一场景拍摄多张主体不同照片，通过本装置即可将自动完成多个主 体的合成操作，节约了大量的人工操作。
[0234]需要说明的是，在本文中，术语"包括"、"包含"或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而 且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有 的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括该 要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0235] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0236] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方 法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下 前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做 出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 (如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，月艮 务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0237]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技 术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1. 一种图片合成装置，其特征在于，包括： 图片获取模块，用于获取多张图片； 图片配准模块，用于对所述多张图片进行特征配准，获取所述多张图片的公共区域； 主体提取模块，用于从所述多张图片的公共区域中分别提取每一张图片的主体区域； 图片合成模块，用于将所有图片的主体区域进行合成。2. 根据权利要求1所述的装置，其特征在于，所述图片配准模块包括： 参考帧选取单元，用于从所述多张图片中选取一张图片作为参考帧图片，其他图片作 为待配准帧图片； 配准参数计算单元，用于以所述参考帧图片为基准，对每一待配准帧图片进行特征配 准，计算得到每一待配准帧图片的配准参数； 图片变换单元，用于根据所述配准参数，分别对所述配准参数对应的待配准帧图片进 行变换，使之与所述参考帧图片匹配，得到配准图片； 公共区域提取单元，用于提取所有配准图片中区域的交集，得到所有配准图片的公共 区域。3. 根据权利要求2所述的装置，其特征在于， 所述配准参数计算单元，还用于选取变换模型和配准特征；根据选取的变换模型和配 准特征，以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待配 准帧图片的配准参数。4. 根据权利要求3所述的装置，其特征在于，所述主体提取模块包括： 帧差单元，用于基于配准图片的公共区域，分别将每一配准图片与参考帧图片进行差 异比较，获得每一配准图片的帧差图像;对所述帧差图像进行二值化处理，得到帧差二值图 像； 参考帧主体提取单元，用于提取所有所述帧差二值图像的交集，获得所述参考帧图片 的主体区域； 连通区域提取单元，用于根据每一配准图片的帧差二值图像，对应提取每一配准图片 的连通区域，得到每一配准图片的主体区域。5. 根据权利要求4所述的装置，其特征在于， 所述图片合成模块，还用于将所有配准图片的主体区域合成到所述参考帧图片的主体 区域。6. 根据权利要求1-5中任一项所述的装置，其特征在于，所述装置还包括： 图片输出模块，用于对合成后图片进行处理和/或对外发送。7. -种图片合成方法，其特征在于，包括： 获取多张图片； 对所述多张图片进行特征配准，获取所述多张图片的公共区域； 从所述多张图片的公共区域中分别提取每一张图片的主体区域； 将所有图片的主体区域进行合成。8. 根据权利要求7所述的方法，其特征在于，所述对多张图片进行特征配准，获取所述 多张图片的公共区域的步骤包括： 从所述多张图片中选取一张图片作为参考帧图片，其他图片作为待配准帧图片； 以所述参考帧图片为基准，对每一待配准帧图片进行特征配准，计算得到每一待配准 帧图片的配准参数； 根据所述配准参数，分别对所述配准参数对应的待配准帧图片进行变换，使之与所述 参考帧图片匹配，得到配准图片； 提取所有配准图片中区域的交集，得到所有配准图片的公共区域。9. 根据权利要求8所述的方法，其特征在于，所述以所述参考帧图片为基准，对每一待 配准帧图片进行特征配准，计算得到每一待配准帧图片的配准参数的步骤包括： 选取变换模型和配准特征； 根据选取的变换模型和配准特征，以所述参考帧图片为基准，对每一待配准帧图片进 行特征配准，计算得到每一待配准帧图片的配准参数。10. 根据权利要求9所述的方法，其特征在于，所述从多张图片的公共区域中分别提取 每一张图片的主体区域的步骤包括： 基于配准图片的公共区域，将每一配准图片与参考帧图片进行差异比较，获得每一配 准图片的帧差图像； 对所述帧差图像进行二值化处理，得到帧差二值图像； 提取所有所述帧差二值图像的交集，获得所述参考帧图片的主体区域； 根据每一配准图片的帧差二值图像，对应提取每一配准图片的连通区域，得到每一配 准图片的主体区域。
【专利摘要】本发明公开了一种图片合成方法及装置，其装置包括：图片获取模块，用于获取多张图片；图片配准模块，用于对多张图片进行特征配准，获取多张图片的公共区域；主体提取模块，用于从多张图片的公共区域中分别提取每一张图片的主体区域；图片合成模块，用于将所有图片的主体区域进行合成。本发明可以自动提取多张照片中主体区域并合成到一张照片，使用者只需要在同一场景拍摄多张主体不同照片，终端系统将自动完成多个主体的合成操作，节约了大量的人工操作。
【IPC分类】G06T3/40, G06T3/00
【公开号】CN105488756
【申请号】CN201510845403
【发明人】李嵩
【申请人】努比亚技术有限公司
【公开日】2016年4月13日
【申请日】2015年11月26日
最新回复(0)