一种显示设备及其显示方法
一种显示设备及其显示方法
【技术领域】
[0001] 本申请涉及节电技术，特别涉及一种显示设备及其显示方法。
【背景技术】
[0002] 显示技术的发展历史大致可以分为三个阶段：阴极射线显像管（CRT)被称为第一 代显示技术；液晶屏（LCD)被称为第二代显示技术；有机电激发光二极管（OLED)被称为第 三代显示技术。
[0003] 随着移动互联网技术和多媒体的发展，便携式终端的显示内容也趋于多样化和复 合化，屏幕通常同时显示包括文字，视频，图片等多种信息。为了适应这种内容多类型复合 化显示的趋势，在传输技术上也在进行按照内容类型进行分区域传输的演进，包括IS0/IEC JTCl发布的，Part 1:MPEG media transport标准。该标准根据传输内容的类型以区域分 别进行传输和编码。
[0004] 降低显示功耗始终是设备、尤其是便携式设备（例如pad，手机，电子书等）厂商 需要面对的问题。特别是在电池技术发展缓慢，大屏幕显示趋于流行的情况下，作为耗电 量最高的部件，液晶屏幕的功耗在很大程度上决定了电池供电的便携式显示设备的使用 时间。为了正常使用，需要对设备或电池进行频繁充电。节约便携式设备的电量消耗，提 供更长的工作时间对便携式显示设备的用户体验和机产品性能很有帮助。显示屏的节电 对整个设备的节电起到决定作用：在对便携式显示设备的能耗进行研究后发现，显示屏的 功率消耗达到整个设备消耗的 38%-50%，[1]F. Shearer, Power management in mobile devices, Newnes, 2007.因此如何降低显示屏的能耗对整个设备的节电至关重要。需要在减 小用户观看体验影响的前提下，降低设备的耗电，延长使用时间。
[0005] 目前，显示设备的最新节电方式为：对需要显示的图像内容进行内容类型的判断， 内容类型包括图像，文字，图片。然后依据显示内容的类型，对整个显示屏进行统一的均匀 亮度降低，达到节电的目的。
[0006] 但是上述节电方式存在如下问题：不同观看者对调整的程度和风格并不相同，该 节电方式不能依据各体不同喜好的进行差异化的调整；对显示内容只能进行统一的亮度降 低；进行亮度调整时，只考虑内容类型，未考虑观看者的重点关注区域；对于图片和视频， 无法对主要信息和辅助信息差别化处理；对于文字区域，只是采用整个区域降低亮度的方 式，节电效果并不显著。
【发明内容】
[0007] 本申请提供一种显示设备及其显示方法，能够降低显示设备的功耗，达到更好的 节电效果。
[0008] 为实现上述目的，本申请采用如下的技术方案：
[0009] 一种显示设备的显示方法，包括：
[0010] 对显示内容进行块分解； toon] 根据所述显示内容中各个块的内容类型、和/或不同块间的层叠关系、和/或检测 到的用户对所述显示内容中各个块的选择，确定每个块的平均显示亮度，并依据所确定的 每个块的平均显示亮度显示每个块。
[0012] 较佳地，检测用户对所述显示内容中各个块的选择方式包括：检测用户的触摸位 置确定对于块的选择，或者，检测用户眼睛的焦点位置确定对于块的选择。
[0013] 较佳地，若根据所述内容类型确定所述平均显示亮度，则，当所述不同块间的层叠 关系和所述各个块与所述焦点位置间的距离保持不变时，对于内容类型不同的块，平均显 示亮度不同；其中，所述内容类型包括：图像和文字；图像块的平均显示亮度高于文字块的 平均显示亮度；和/或，
[0014] 若根据所述层叠关系确定所述平均显示亮度，则，当所述各个块与所述焦点位置 间的距离保持不变、且不同块间的层叠关系发生变化时，对于层叠关系发生变化的块，其平 均显示亮度也发生变化；其中，层叠关系中位于上层的块比位于下层的块的平均显示亮度 商；和/或，
[0015] 若根据所述选择确定所述平均显示亮度，则，当所述显示内容中不同块间的层叠 关系保持不变、且用户选择的块发生变化时，所述每个块的平均亮度发生变化；其中，与所 述用户选择的块之间距离变近的块，平均亮度变亮。
[0016] 较佳地，根据所述显示内容的内容类型对所述显示内容进行块分解。
[0017] 较佳地，所述根据显示内容的内容类型对显示内容进行块分解包括：
[0018] 当所述显示内容是通过多流分内容传输方式传输到所述显示设备时，根据传输流 中提取的内容类型对所述显示内容进行块分解；或者，
[0019] 对所述显示内容进行图像分析，根据分析结果确定内容类型，并对所述显示内容 进行块分解。
[0020] 较佳地，在确定各个块的平均亮度后、依据所述平均亮度显示每个块前，该方法进 一步包括：
[0021 ] 对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体信息、预 先设定的用户喜好信息、所述设备的剩余电量和/或环境光，计算相应块中每个像素的灰 度值；
[0022] 所述依据所述平均亮度显示每个块包括：在所确定的每个块的所述平均亮度的基 础上，按照每个块中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果 显示每个块中的每个像素。
[0023] 较佳地，当用户喜好信息、所述设备的剩余电量和环境光保持不变时，同一块中主 体?目息越1?的像素点，其显不壳度越1?。
[0024] 较佳地，确定块中每个像素的主体信息时，
[0025] 对于图像和视频块，将对每个像素进行的双边滤波结果作为主体信息；
[0026] 对于文字块，提取文字部分作为主体信息，其余像素点均无主体信息；
[0027] 对于背景块，所有像素点均无主体信息。
[0028] 较佳地，对于文字块，文字部分的亮度高于非文字部分。
[0029] 较佳地，所述计算块中每个像素的灰度值I* (P)包括：
(α-I) ]，P为所述块中的像素点索引，I (P)是所述块中像素点P的灰度值，/(rf是经过预 设滤波之后的像素点P的灰度值，α是预先设置的用户喜好信息，用于表示细节保留程度， 〇彡α彡l，S(p)是像素点ρ的主体信息映射saliency map图像，1[(U) (X)为指示函数，当 X在区间[0, 1)之间时l[ai) (X)取值为1，否则lttil) (X)取值为0 ; β为显示设备根据当前 剩余电量和环境光参数确定的总体亮度水平，0< β < 1。
[0031 ] 较佳地，所述预设滤波为双边滤波。
[0032] 较佳地，所述对每个像素进行的双边滤波包括：
[0034] 其中，
B(I)p为像素点ρ的双边滤波 结果，P和q为像素点索引，Gfts和是均值为〇、标准差分别为σ s和σ ^的高斯函数， I P_q I I为像素点P和像素点q之间的欧式距离，I Ip-IqI为像素点P和像素点q的灰度差， Iq为像素点q的灰度值，N(p)为像素点ρ周围指定像素点的集合。
[0035] 较佳地，预先设定用户喜好信息的方式包括：
[0036] 预先为用户提供同一原始图像在多种不同用户喜好信息设置下的显示图像，接收 用户选择的显示图像，将该显示图像对应的用户喜好信息作为预先设定的用户喜好信息。
[0037] -种显示设备，包括：分解单元、块平均亮度确定单元和显示单元；
[0038] 所述分解单元，用于对显示内容进行块分解，并输出给所述平均亮度确定单元；
[0039] 所述块平均亮度确定单元，用于根据所述显示内容中各个块的内容类型、和/或 不同块间的层叠关系、和/或检测到的用户对所述显示内容中各个块的选择，确定不同块 的平均显示亮度；
[0040] 所述显示单元，用于依据所确定的每个块的平均显示亮度显示每个块。
[0041] 较佳地，所述显示设备进一步包括块内像素调节单元，用于对于每个块，确定该块 中每个像素的主体信息，根据块中各个像素的主体信息、预先设定的用户喜好信息、所述设 备的剩余电量和/或环境光计算相应块中每个像素的灰度值；
[0042] 所述显示单元，进一步用于在所确定的每个块的所述平均亮度的基础上，按照每 个块中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果显示每个块中 的每个像素。
[0043] 由上述技术方案可见，本申请中，对显示内容进行块分解；根据显示内容中各个块 的内容类型、和/或不同块间的层叠关系、和/或检测到的用户对显示内容中各个块的选 择，确定每个块的平均显示亮度，并依据所确定的每个块的平均显示亮度显示每个块。通过 上述处 理，能够对不同块独立控制亮度调节，从而进一步降低显示设备的功耗，达到更好的 节电效果。
【附图说明】
[0044] 图1为本申请中显示设备显示方法的基本流程示意图；
[0045] 图2为对显示内容进行块分解的示意图；
[0046] 图3为图像块的层置关系不意图；
[0047] 图4为各图像与焦点位置间的距离示意图；
[0048] 图5为用户喜欢信息的设定示意图；
[0049] 图6为本申请中显示设备的基本结构示意图；
[0050] 图7为原始图像；
[0051] 图8为对原始图像进行块分解的结果；
[0052] 图9为对原始图像分解后的各块进行块亮度调整的结果示意图；
[0053] 图10为对原始图像的各块以及块内各像素进行亮度调整后的结果示意图；
[0054] 图11为原始图像中各个块的亮度降低百分比示意图；
[0055] 图12为本申请和现有技术相比的节电效果示意图一；
[0056] 图13为本申请和现有技术相比的节电效果示意图二。
【具体实施方式】
[0057] 为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做 进一步详细说明。
[0058] 在目前的显示设备中，一般情况下，图像的显示内容都不是单一的一种内容类型， 往往是多种显示内容类型的结合。也就是说在一个需要显示的内容中，同时包括文字，图 片，视频，背景等信息。【背景技术】中给出的节电方式只能根据显示内容的最主要的部分，把 整幅图像看作一种单一类型进行调整。
[0059] 针对上述缺陷，本申请中给出一种显示设备的节电显示方法，对显示内容进行块 分解，对不同块进行分别处理，对每一个块进行独立的亮度降低调节，具体可以根据块的内 容类型、和/或块间的层叠关系和/或用户对各个块与用户眼睛焦点位置间的距离选择，确 定每个块的平均显示亮度降低的程度。这样，在达到更好的节电效果同时减小对观看者观 看体验的影响。其中，用户对于各个块的选择，可以通过触摸方式进行或者将用户的眼睛角 点集中在某个块上，相应地显示设备通过对用户触摸位置或用户眼睛角点位置的检测确定 用户选择的块。
[0060] 具体地，图1为本申请中显示设备显示方法的基本流程示意图。其中，图1是以通 过用户眼睛焦点进行块选择为例进行说明的。如图1所示，该方法包括：
[0061] 步骤101，对显示内容进行块分解。
[0062] 本步骤中，可以根据显示内容中各部分的内容类型（例如背景、文字、视频、图片 等）等对显示内容进行块分解。当然，也可以采用其他任意方式进行块分解。
[0063] 具体根据内容类型进行块分解的方式可以包括如下两种：
[0064] 如果显示内容是通过采用诸如MMT标准等的多流分内容传送技术传输给显示设 备的，则可以直接从输入的传送流中提取内容类型，并据此对显示内容进行块分解。或者， 还可以直接对显示内容使用图像分析算法（例如当显示内容是通过单流传输方式传输到 显示设备的），根据分析结果确定内容类型，分割并提取各显示块。图2为对显示内容进行 块分解的示意图。如图2所示，将显示内容分解为文字块、视频块、图像块和背景块。
[0065] 对于分解后的各个块，可以通过步骤102a、102b和102c分别计算每个块相应的类 型系数、层级系数和焦点系数，具体操作如下：
[0066] 步骤102a，根据分解后各个块的内容类型，确定相应块的类型系数。
[0067] 对于分解后的每个块，可以根据该块的内容类型确定类型系数。具体地，可以预先 设定不同的内容类型对应的类型系数，将块的类型系数T设定为该块的内容类型对应的类 型系数。通常，视频块、图像块、文字块和背景块的类型系数关系如下所示：
[0069] 当然，也可以根据实际需要，设定不同内容类型对应类型系数的相互关系。一般 地，当不考虑用户眼睛的焦点位置与块间的层叠关系时，内容类型不同的块，平均显示亮度 也不同，类型系数越大，块的平均亮度越大，表示受用户关注的程度越高。
【背景技术】 [0070] 中给出的节电方式中，在调整图像时，只考虑到了内容类型，并没有考虑 到观看者对显示屏幕的关注位置和区域，没有对关注区域及非关注区域进行差别化处理。 针对这一缺陷，在上述基本显示方法中，可以进一步考虑组成块的重叠信息以及观看者的 视觉焦点位置，来识别用户的关注区域。重叠关系中，越上层的块，用户的关注度高的可能 性越大。距离焦点越近的块，用户的关注度高的可能性越大，针对用户关注程度的不同，对 显示内容的不同区域区别进行亮度调节，这样能达到更好的节电效果和对用户观看体验的 更小影响。基于此，本申请采用步骤102b和102c的处理，从而在节电处理时可以进一步考 虑焦点位置和块间的层叠关系。
[0071] 步骤102b，根据分解后各个块之间的层叠关系，确定各个块之间的层叠关系，确定 相应块的层级系数。
[0072] 具体地，可以根据块间的层叠关系确定各个块所属的层级，并确定相应块的层级 系数为所属层对应的层级系数。
[0073] 在各个块之间的层叠关系中，能够完全显示而不被其他块遮挡的内容块，用户高 关注度的可能性较高，部分被覆盖遮挡的显示块，用户低关注程度可能性较高。对于高关注 度的部分，应该尽可能好的保留画质，不影响观看者的体验，也就是尽量少的降低亮度。而 低关注的部分，可以进行较大幅度的亮度降低。基于此，层级系数可以由顶层到底层递减， 层级系数越高，表示用户关注程度越高。图3为图像块层叠关系的示意图。对每个图像块 确定其层级系数L。
[0076] 当不考虑块与焦点位置间的距离和块的内容类型时，层级系数越大，块的平均显 示亮度越大。当块与焦点位置间的距离和块的内容类型都不变时，若块间的层叠关系发生 变化，则层叠关系发生变化的块，其显示亮度也会发生变化。例如，在打开多个应用程序窗 口的显示界面上，若用户选中部分被遮挡的应用程序窗口，使该窗口位于最上层，则该窗口 的显不壳度会被抬商。
[0077] 步骤102c，识别用户眼睛的焦点位置确定用户对于块的选择，根据分解后的各个 块与用户所选择块间的距离，确定相应块的焦点系数。
[0078] 对用户眼睛焦点位置的具体识别方式本申请不做限定。将用户眼睛的焦点位置所 在的块作为用户选择的块。本例中，以各个块与焦点位置间的距离代表各个块与用户所选 择块间的距离。通常，距离观看者焦点位置越近的显示块，观看者的关注程度越高，图像亮 度的降低对用户越敏感；距离焦点位置越远的显示块，观看者的关注程度越低，图像块的平 均亮度可以进行更大幅度的降低。图4是根据焦点位置确定的显示内容的不同显示块的焦 点系数F的示意图。
[0081] 其中，块与焦点位置的距离越近，该块的焦点系数越大，观看者的关注程度越高。 在不考虑块的内容类型和块间层叠关系的前提下，块与焦点位置越近，该块的平均亮度越 大。当不同块间的层叠关系和块的内容类型保持不变时，若检测到的焦点位置发生变化，则 块的平均显示亮度也会随之发生变化；其中，与焦点位置间的距离变小的块，平均显示亮度 会变亮，与焦点位置间的距离变大的块，平均显示亮度会降低。
[0082] 上述步骤102a、102b和102c可以全部执行，或者可以在三个步骤中选择部分步骤 执行，再利用所执行步骤的结果进行后续步骤103的操作。对于选择出要执行的步骤，可以 同时执行，或以任意顺序执行。
[0083] 步骤103,根据每个块的类型系数、和/或层级系数和/或焦点系数，确定每个块的 平均显示亮度。
[0084] 在确定出块的类型系数、层级系数和焦点系数后，进行节电控制，确定每个块的平 均显示亮度。具体地，可以根据每个块η的类型系数T、和/或层级系数L和/或焦点系数 F确定每个块的亮度降低系数，例如使用reduction (Ln Fn Tn)表示，再利用亮度降低系数乘 以当前亮度确定块的平均显示亮度Lumn TOSult = reduction(Ln Fn TjXLumn initial。
[0085] 步骤104,依据步骤103所确定的每个块的平均显示亮度显示每个块。
[0086] 至此，本申请中的基本显示方法流程结束。在上述步骤102c的处理中，是根据用 户眼睛焦点位置的检测确定用户对于块的选择。在实际应用中，还可以通过其他各种可行 的方式实现用户对于块的选择，例如用户可以通过触摸操作选择块等，显示设备通过对用 户触摸位置的检测，确定用户选择的块，还可以进一步根据各个块与用户触摸点或用户选 择块中心之间的 距离，确定各个块的平均显示亮度。
[0087] 另外，在上述流程基础上，还可以进一步增加其他处理，以在不影响用户体验的前 提下得到更好的节电效果。
[0088] 在上述的处理中，是对显示内容以块为单位进行平均显示亮度的确定，从而可以 各个不同块进行区别处理，达到更好的节电效果。
[0089] 另外，对于图像及视频显示内容，包括重点信息主体和辅助信息主体，其受用户的 关注程度也不尽相同。其中，重点信息是指图片或视频需要显示的主要信息，比如一张以沙 漠为背景的人物照，人物就是这张照片需要传递的最主要的信息，也是观看者最关心的内 容。对于文字区域，非文字的背景部分对观看者来说信息量很小，信息主要集中在文字上， 因此文字区域的文字本身和非文字的背景部分受用户的关注程度也不相同。
[0090] 在在【背景技术】介绍的节电方式中，无论对于图像及视频显示内容中的重点信息主 体和辅助信息主体，还是对于文字区域中的文字本身和非文字的背景部分，都统一采用相 同的亮度，无法进行区分处理。针对这一缺陷，本申请中还可以进一步对显示块内的不同像 素点，根据其受用户关注程度的不同，进行区分处理。对观看者关注的主体信息进行比例相 对较小的亮度降低，而对关注度较低的其他信息进行比例相对较大的亮度降低。针对图像 及视频显示内容，对于重点信息主体亮度降低幅度较小，对于辅助信息主体亮度降低幅度 较大；对文字区域的非文字背景亮度降低幅度较大，可以进一步低于文字本身的亮度降低 比例。
[0091] 具体地，可以在图1所示的方法中，在步骤103的处理中，确定每个块的平均显示 亮度后，显示每个块前，进一步针对每个特定的显示块，分别提取其重点用户关注内容，然 后再综合用户预配置的个性化偏好情况，电池剩余电量情况，背景光情况，对显示块内的显 示像素，进行差异化处理。
[0092] 更详细地，可以在步骤103后、步骤104之前进一步包括如下步骤105和步骤106 的处理：
[0093] 步骤105,对于每个块，确定该块中每个像素的主体信息。
[0094] 具体确定像素主体信息的方式可以采用现有方式。
[0095] 例如，对于图片和视频块，可以将对每个像素进行的双边滤波结果作为主体信息， 具体双边滤波的处理可以为：
[0097] 其中， B(I)p为像素点p的双边滤波 .D 结果，P和q为像素点索引，^s和^^是均值为0、标准差分别为〇；3和的高斯函数， I P_q I I为像素点P和像素点q之间的欧式距离，I Ip-IqI为像素点P和像素点q的灰度差， Iq为像素点q的灰度值，N(p)为像素点p周围指定像素点的集合。在上述计算过程中, 用于计算像素点P和q之间依据空间距离得到的权重，用于计算像素点P和q之间依据 灰度差异得到的权重，Wp表示像素点p周围所有指定像素点的权重之和。
[0098] 当然，将上述双边滤波结果作为像素点的主体信息仅是一个示例，还可以采用其 他具有保持边缘特性的平滑滤波算法计算像素点的主体信息，例如，Kaiming He提出的 Guided filter 矛口 Eduardo S. L. Gastal 提出的 Domain transform filter。
[0099] 对于文字块，可以提取文字部分作为主体信息，认为其余像素点均无主体信息；提 取文字部分的方法可以是根据传输时的输入信息类型进行识别，也可以是显示区域的识 另IJ。对于背景块，可以认为所有像素点均无主体信息。
[0100] 在确定像素点的主体信息后，可以将其映射为saliency map图像，用于下一步骤 106的像素灰度值计算。具体映射方式为现有的，本申请不做限定。例如，对于文字块和背 景块，作为主体信息的像素点可以设置为显示白色，无主体信息的像素点可以设置为显示 黑色，或者显示相反的颜色。当不考虑用户喜好信息、所述设备的剩余电量和环境光时，或 者，当用户喜好信息、所述设备的剩余电量和环境光保持不变时，同一块中主体信息越高的 像素点，其显示亮度越高。例如，对于文字块，文字部分的高度一般要高于非文字部分，甚 至，非文字的背景部分可以为全黑。
[0101] 步骤106,根据块中各个像素的主体信息、预先设定的用户喜好信息、显示设备的 剩余电量和/或环境光计算相应块中每个像素的灰度值。
[0102] 本步骤中，对每一个块内的各个像素点分别进行显示亮度调整。调整过程中，综合 考虑块主体信息、用户喜好信息、便携设备剩余电量情况和/或环境光情况。
[0103] 其中，块主体信息利用主体信息映射saliency map图像表示，即步骤104的结果。
[0104] 用户喜好信息可以是预先设定的，具体设定方式可以为：预先为用户提供同一原 始图像在多种不同用户喜好信息设置下的显示图像，接收用户选择的显示图像，将该显示 图像对应的用户喜好信息作为预先设定的用户喜好信息。例如，在开机显示之前，可以提供 对同一图像，采用不同调整策略的多个调整后结果（如图5所示，其中参数（！和β的含义 在下面公式2中进行描述），用户根据自己的喜好，选择一个自己最喜欢的结果，系统提取 用户选择结果，对应的调整策略，也就是后续进行图像亮度调整时需要的参数-用户喜好 信息。
[0105] 具体根据上述参数计算各个像素点的显示灰度值的方式可以根据需要进行设定。 下面给出一种优选的计算方式：
S (p) +1 [(Μ) ( α -1) ]，p为像素点索引，I (p)是像素点p的灰度值，是经过预设滤波之后 的像素点P的灰度值，α是预先设置的用户喜好信息，本例中该喜欢信息表示细节保留程 度，0<(1：^1，(1越大，表示细节保留的越多；5化）是像素点口的主体信息映射8&1161^7 map图像，1[(U) (X)为指示函数，当X在区间[0, 1)之间时1[(U) (X)取值为1，否则1[(U) (X)取 值为0;β为显示设备根据当前剩余电量和环境光参数确定的总体亮度水平，0< β <1， 该参数也可以预先设定。由上述公式可见，在该像素灰度值的计算过程中，当用户喜好信息 α取值为1(即选择保留所有细节）时，Υ(α，β，ρ)和Γ(ρ)的取值与像素主体信息无关， 仅与像素点P的灰度值I (P)及进行预设滤波后的灰度值/(/0相关；当用户喜好信息α取 值不为1 (即选择保留部分细节）时，Υ( α，β，p)和Γ(ρ)的取值与像素主体信息相关，并 同时与像素点P的灰度值I (P)及进行预设滤波后的灰度值/(/;)相关。用户喜好信息即是 通过这种方式控制像素点的亮度显示的。在上述处理中，得到/1/;)的滤波方法可以任选，例 如可以使用双边滤波，即前述公式（1)，这样，对图片和视频块，可以只在计算主体信息时进 行一次滤波即可，在本步骤计算像素灰度值时可以直接利用计算主体信息时的滤波结果。
[0107] 在确定出每个块中的所有像素点灰度值后，可以继续执行步骤104进行各个块的 显示。具体地，可以在步骤102确定的每个块的平均显示亮度的基础上，按照步骤106中确 定的每个块中各个像素的灰度值调节各个像素的显示亮度，并按照调节结果进行显示。这 样，对于同一显示块，对其内部不同像素也可以根据需要进行不同的显示亮度处理，从而实 现更好的节电效果。
[0108] 上述即为本申请中显示方法的具体实现。本申请还提供了一种显示设备，能够用 于实施上述显示方法。图6为本申请中显示设备的基本结构示意图。如图6所示，该设备 基本的结构中包括：分解单元、块平均亮度确定单元和显示单元；
[0109] 其中，分解单元，用于对显示内容进行块分解，并输出给平均亮度确定单元。块平 均亮度确定单元，用于根据显示内容中各个块的内容类型、和/或不同块间的层叠关系、和 /或检测到的用户对所述显示内容中各个块的选择，确定不同块的平均显示亮度。显示单 元，用于依据所确定的每个块的平均显示亮度显示每个块。
[0110] 在上述基本结构的基础上，显示设备还可以进一步包括块内像素调节单元，用于 对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体信息、预先设定的 用户喜好信息、所述设备的剩余电量和/或环境光计算相应块中每个像素的灰度值。显示 单元，进一步用于在所确定的每个块的所述平均亮度的基础上，按照每个块中每个像素的 灰度值调节相应块中各个像素的显示亮度，根据调节结果显示每个块中的每个像素。
[0111] 下面通过图7到图11给出按照本申请的方法对一个原始图像进行处理的示意图。 图7所示为原始图像，图8、图9、图10和图11为应用本申请显示方法的过程示意图。图8 为对图7的原始图像进行块分解后的 结果，分解为背景、文字和视频图像块；图9为分解为 不同块后对每个块应用步骤101、102、102a、102b和103进行处理后的结果；图10为对每个 块内的各个像素分别进行亮度调节后的结果；图11给出了各个不同块的亮度降低百分比。
[0112] 下面通过与【背景技术】中统一降低亮度的方式进行比较，来说明本申请的处理方式 能够带来的节电效果。在进行不同节电方案比较时，可以通过两种方法比较方案效果。一 种是在达到相同图像显示效果的前提下，比较哪种方法的耗电量更低，耗电量低的方法有 更好的节电效果。另一种方法是在相同的耗电量降低的前提，比较使用哪一种方法后图像 的显示效果更好，观看者更舒适。但由于相同的图像显示效果是主观的评判感觉，所以第一 种方法比较难使用，本申请采用第二种方法进行比较。
[0113] 具体地，将本申请中图1所示的流程（包括步骤101、102、102a、102b、103、104和 105)与【背景技术】中给出的节电方案进行比较。在本申请的节电处理中，采用双边滤波对图 片和视频进行主体信息提取，并使用双边滤波作为预设滤波方式计算/(/;)，采用公式（2) 计算块内各像素的灰度值。其中，双边滤波的处理时长为3ms，整个本申请节电处理中图 像处理过程的能耗约为总功率的8%~9%。对于手机设备，显示屏的功耗为整个终端功 耗的38%~50%。考虑到通信模块的功率消耗，对于其他无通信功能的便携式设备，显示 屏的功耗比例会更高。以手机为例，当采用上述本申请的节电处理方法时，假定显示屏功 耗降低为现有功耗的60%，则手机整体功率下降到约13%到22%区间（[38%~50% ] x60% - [8%~9% ] = [13. 8%~22% ])。图12和图13给出手机整体功率下降到50%， 采用【背景技术】和本申请中的节电处理方法的图像比较结果。
[0114] 在图12和图13中，第一幅图为原始图像，第二幅图为按照【背景技术】中给出的整幅 图像统一降低亮度的方式得到的图像处理结果，第三幅图为按照本申请中给出的方式得到 的图像处理结果。第二幅图和第三幅图中手机整体功率下降50%。显然，在视觉效果来看， 第三幅图的亮度明显高于第二幅图，细节保留也更加完整。可见，本申请的显示方式能够达 到更好的节电效果。
[0115] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【主权项】
1. 一种显示设备的显示方法，其特征在于，包括： 对显示内容进行块分解； 根据所述显示内容中各个块的内容类型、和/或不同块间的层叠关系、和/或检测到的 用户对所述显示内容中各个块的选择，确定每个块的平均显示亮度，并依据所确定的每个 块的平均显示亮度显示每个块。2. 根据权利要求1所述的方法，其特征在于，检测用户对所述显示内容中各个块的选 择方式包括：检测用户的触摸位置确定对于块的选择，或者，检测用户眼睛的焦点位置确定 对于块的选择。3. 根据权利要求1所述的方法，其特征在于，若根据所述内容类型确定所述平均显示 亮度，则，当所述不同块间的层叠关系和所述各个块与所述焦点位置间的距离保持不变时， 对于内容类型不同的块，平均显示亮度不同；其中，所述内容类型包括：图像和文字；图像 块的平均显示亮度高于文字块的平均显示亮度；和/或， 若根据所述层叠关系确定所述平均显示亮度，则，当所述各个块与所述焦点位置间的 距离保持不变、且不同块间的层叠关系发生变化时，对于层叠关系发生变化的块，其平均显 示亮度也发生变化；其中，层叠关系中位于上层的块比位于下层的块的平均显示亮度高； 和/或， 若根据所述选择确定所述平均显示亮度，则，当所述显示内容中不同块间的层叠关系 保持不变、且用户选择的块发生变化时，所述每个块的平均亮度发生变化；其中，与所述用 户选择的块之间距离变近的块，平均亮度变亮。4. 根据权利要求1或3所述的方法，其特征在于，根据所述显示内容的内容类型对所述 显示内容进行块分解。5. 根据权利要求4所述的方法，其特征在于，所述根据显示内容的内容类型对显示内 容进行块分解包括： 当所述显示内容是通过多流分内容传输方式传输到所述显示设备时，根据传输流中提 取的内容类型对所述显示内容进行块分解；或者， 对所述显示内容进行图像分析，根据分析结果确定内容类型，并对所述显示内容进行 块分解。6. 根据权利要求1所述的方法，其特征在于，在确定各个块的平均亮度后、依据所述平 均亮度显示每个块前，该方法进一步包括： 对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体信息、预先设 定的用户喜好信息、所述设备的剩余电量和/或环境光，计算相应块中每个像素的灰度值； 所述依据所述平均亮度显示每个块包括：在所确定的每个块的所述平均亮度的基础 上，按照每个块中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果显 示每个块中的每个像素。7. 根据权利要求6所述的方法，其特征在于，当用户喜好信息、所述设备的剩余电量和 环境光保持不变时，同一块中主体信息越高的像素点，其显示亮度越高。8. 根据权利要求7所述的方法，其特征在于，确定块中每个像素的主体信息时， 对于图像和视频块，将对每个像素进行的双边滤波结果作为主体信息； 对于文字块，提取文字部分作为主体信息，其余像素点均无主体信息； 对于背景块，所有像素点均无主体信息。9. 根据权利要求8所述的方法，其特征在于，对于文字块，文字部分的亮度高于非文字 部分。10. 根据权利要求6所述的方法，其特征在于，所述计算块中每个像素的灰度值I* (p) 包括：(α -1) ]，P为所述块中的像素点索引，I (P)是所述块中像素点P的灰度值，/( /;)是经过预 设滤波之后的像素点P的灰度值，α是预先设置的用户喜好信息，用于表示细节保留程度， 〇彡α彡l，S(p)是像素点ρ的主体信息映射saliency map图像，1[(U) (X)为指示函数，当 X在区间[〇, 1)之间时l[ai) (X)取值为1，否则lttil) (X)取值为〇 ; β为显示设备根据当前 剩余电量和环境光参数确定的总体亮度水平，〇< β < 1。11. 根据权利要求10所述的方法，其特征在于，所述预设滤波为双边滤波。12. 根据权利要求8或11所述的方法，其特征在于，所述对每个像素进行的双边滤波包 括：其中，B(I)p为像素点ρ的双边滤波结果， P和q为像素点索引，和Ca,是均值为〇、标准差分别为σ 3和? ^的高斯函数，I I p-q I 为像素点P和像素点q之间的欧式距离，I Ip-Iq I为像素点P和像素点q的灰度差，Iq为像 素点q的灰度值，N(p)为像素点ρ周围指定像素点的集合。13. 根据权利要求6所述的方法，其特征在于，预先设定用户喜好信息的方式包括： 预先为用户提供同一原始图像在多种不同用户喜好信息设置下的显示图像，接收用户 选择的显示图像，将该显示图像对应的用户喜好信息作为预先设定的用户喜好信息。14. 一种显示设备，包括：分解单元、块平均亮度确定单元和显示单元； 所述分解单元，用于对显示内容进行块分解，并输出给所述平均亮度确定单元； 所述块平均亮度确定单元，用于根据所述显示内容中各个块的内容类型、和/或不同 块间的层叠关系、和/或检测到的用户对所述显示内容中各个块的选择，确定不同块的平 均显示亮度； 所述显示单元，用于依据所确定的每个块的平均显示亮度显示每个块。15. 根据权利要求14所述的显示设备，其特征在于，所述显示设备进一步包括块内像 素调节单元，用于对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体 信息、预先设定的用户喜好信息、所述设备的剩余电量和/或环境光计算相应块中每个像 素的灰度值； 所述显示单元，进一步用于在所确定的每个块的所述平均亮度的基础上，按照每个块 中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果显示每个块中的每 个像素。
【专利摘要】本申请公开了一种显示设备的显示方法，包括：对显示内容进行块分解；根据所述显示内容中各个块的内容类型、和/或不同块间的层叠关系、和/或检测到的用户对于各个块的选择，确定每个块的平均显示亮度，并依据所确定的每个块的平均显示亮度显示每个块。通过本申请，能够进一步降低显示设备的功耗，达到更好的节电效果。
【IPC分类】G09G5/10
【公开号】CN105489191
【申请号】CN201410479637
【发明人】胡海宁, 焦少慧
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社
【公开日】2016年4月13日
【申请日】2014年9月18日
【技术领域】
[0001] 本申请涉及节电技术，特别涉及一种显示设备及其显示方法。
【背景技术】
[0002] 显示技术的发展历史大致可以分为三个阶段：阴极射线显像管（CRT)被称为第一 代显示技术；液晶屏（LCD)被称为第二代显示技术；有机电激发光二极管（OLED)被称为第 三代显示技术。
[0003] 随着移动互联网技术和多媒体的发展，便携式终端的显示内容也趋于多样化和复 合化，屏幕通常同时显示包括文字，视频，图片等多种信息。为了适应这种内容多类型复合 化显示的趋势，在传输技术上也在进行按照内容类型进行分区域传输的演进，包括IS0/IEC JTCl发布的，Part 1:MPEG media transport标准。该标准根据传输内容的类型以区域分 别进行传输和编码。
[0004] 降低显示功耗始终是设备、尤其是便携式设备（例如pad，手机，电子书等）厂商 需要面对的问题。特别是在电池技术发展缓慢，大屏幕显示趋于流行的情况下，作为耗电 量最高的部件，液晶屏幕的功耗在很大程度上决定了电池供电的便携式显示设备的使用 时间。为了正常使用，需要对设备或电池进行频繁充电。节约便携式设备的电量消耗，提 供更长的工作时间对便携式显示设备的用户体验和机产品性能很有帮助。显示屏的节电 对整个设备的节电起到决定作用：在对便携式显示设备的能耗进行研究后发现，显示屏的 功率消耗达到整个设备消耗的 38%-50%，[1]F. Shearer, Power management in mobile devices, Newnes, 2007.因此如何降低显示屏的能耗对整个设备的节电至关重要。需要在减 小用户观看体验影响的前提下，降低设备的耗电，延长使用时间。
[0005] 目前，显示设备的最新节电方式为：对需要显示的图像内容进行内容类型的判断， 内容类型包括图像，文字，图片。然后依据显示内容的类型，对整个显示屏进行统一的均匀 亮度降低，达到节电的目的。
[0006] 但是上述节电方式存在如下问题：不同观看者对调整的程度和风格并不相同，该 节电方式不能依据各体不同喜好的进行差异化的调整；对显示内容只能进行统一的亮度降 低；进行亮度调整时，只考虑内容类型，未考虑观看者的重点关注区域；对于图片和视频， 无法对主要信息和辅助信息差别化处理；对于文字区域，只是采用整个区域降低亮度的方 式，节电效果并不显著。
【发明内容】
[0007] 本申请提供一种显示设备及其显示方法，能够降低显示设备的功耗，达到更好的 节电效果。
[0008] 为实现上述目的，本申请采用如下的技术方案：
[0009] 一种显示设备的显示方法，包括：
[0010] 对显示内容进行块分解； toon] 根据所述显示内容中各个块的内容类型、和/或不同块间的层叠关系、和/或检测 到的用户对所述显示内容中各个块的选择，确定每个块的平均显示亮度，并依据所确定的 每个块的平均显示亮度显示每个块。
[0012] 较佳地，检测用户对所述显示内容中各个块的选择方式包括：检测用户的触摸位 置确定对于块的选择，或者，检测用户眼睛的焦点位置确定对于块的选择。
[0013] 较佳地，若根据所述内容类型确定所述平均显示亮度，则，当所述不同块间的层叠 关系和所述各个块与所述焦点位置间的距离保持不变时，对于内容类型不同的块，平均显 示亮度不同；其中，所述内容类型包括：图像和文字；图像块的平均显示亮度高于文字块的 平均显示亮度；和/或，
[0014] 若根据所述层叠关系确定所述平均显示亮度，则，当所述各个块与所述焦点位置 间的距离保持不变、且不同块间的层叠关系发生变化时，对于层叠关系发生变化的块，其平 均显示亮度也发生变化；其中，层叠关系中位于上层的块比位于下层的块的平均显示亮度 商；和/或，
[0015] 若根据所述选择确定所述平均显示亮度，则，当所述显示内容中不同块间的层叠 关系保持不变、且用户选择的块发生变化时，所述每个块的平均亮度发生变化；其中，与所 述用户选择的块之间距离变近的块，平均亮度变亮。
[0016] 较佳地，根据所述显示内容的内容类型对所述显示内容进行块分解。
[0017] 较佳地，所述根据显示内容的内容类型对显示内容进行块分解包括：
[0018] 当所述显示内容是通过多流分内容传输方式传输到所述显示设备时，根据传输流 中提取的内容类型对所述显示内容进行块分解；或者，
[0019] 对所述显示内容进行图像分析，根据分析结果确定内容类型，并对所述显示内容 进行块分解。
[0020] 较佳地，在确定各个块的平均亮度后、依据所述平均亮度显示每个块前，该方法进 一步包括：
[0021 ] 对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体信息、预 先设定的用户喜好信息、所述设备的剩余电量和/或环境光，计算相应块中每个像素的灰 度值；
[0022] 所述依据所述平均亮度显示每个块包括：在所确定的每个块的所述平均亮度的基 础上，按照每个块中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果 显示每个块中的每个像素。
[0023] 较佳地，当用户喜好信息、所述设备的剩余电量和环境光保持不变时，同一块中主 体?目息越1?的像素点，其显不壳度越1?。
[0024] 较佳地，确定块中每个像素的主体信息时，
[0025] 对于图像和视频块，将对每个像素进行的双边滤波结果作为主体信息；
[0026] 对于文字块，提取文字部分作为主体信息，其余像素点均无主体信息；
[0027] 对于背景块，所有像素点均无主体信息。
[0028] 较佳地，对于文字块，文字部分的亮度高于非文字部分。
[0029] 较佳地，所述计算块中每个像素的灰度值I* (P)包括：
(α-I) ]，P为所述块中的像素点索引，I (P)是所述块中像素点P的灰度值，/(rf是经过预 设滤波之后的像素点P的灰度值，α是预先设置的用户喜好信息，用于表示细节保留程度， 〇彡α彡l，S(p)是像素点ρ的主体信息映射saliency map图像，1[(U) (X)为指示函数，当 X在区间[0, 1)之间时l[ai) (X)取值为1，否则lttil) (X)取值为0 ; β为显示设备根据当前 剩余电量和环境光参数确定的总体亮度水平，0< β < 1。
[0031 ] 较佳地，所述预设滤波为双边滤波。
[0032] 较佳地，所述对每个像素进行的双边滤波包括：
[0034] 其中，
B(I)p为像素点ρ的双边滤波 结果，P和q为像素点索引，Gfts和是均值为〇、标准差分别为σ s和σ ^的高斯函数， I P_q I I为像素点P和像素点q之间的欧式距离，I Ip-IqI为像素点P和像素点q的灰度差， Iq为像素点q的灰度值，N(p)为像素点ρ周围指定像素点的集合。
[0035] 较佳地，预先设定用户喜好信息的方式包括：
[0036] 预先为用户提供同一原始图像在多种不同用户喜好信息设置下的显示图像，接收 用户选择的显示图像，将该显示图像对应的用户喜好信息作为预先设定的用户喜好信息。
[0037] -种显示设备，包括：分解单元、块平均亮度确定单元和显示单元；
[0038] 所述分解单元，用于对显示内容进行块分解，并输出给所述平均亮度确定单元；
[0039] 所述块平均亮度确定单元，用于根据所述显示内容中各个块的内容类型、和/或 不同块间的层叠关系、和/或检测到的用户对所述显示内容中各个块的选择，确定不同块 的平均显示亮度；
[0040] 所述显示单元，用于依据所确定的每个块的平均显示亮度显示每个块。
[0041] 较佳地，所述显示设备进一步包括块内像素调节单元，用于对于每个块，确定该块 中每个像素的主体信息，根据块中各个像素的主体信息、预先设定的用户喜好信息、所述设 备的剩余电量和/或环境光计算相应块中每个像素的灰度值；
[0042] 所述显示单元，进一步用于在所确定的每个块的所述平均亮度的基础上，按照每 个块中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果显示每个块中 的每个像素。
[0043] 由上述技术方案可见，本申请中，对显示内容进行块分解；根据显示内容中各个块 的内容类型、和/或不同块间的层叠关系、和/或检测到的用户对显示内容中各个块的选 择，确定每个块的平均显示亮度，并依据所确定的每个块的平均显示亮度显示每个块。通过 上述处 理，能够对不同块独立控制亮度调节，从而进一步降低显示设备的功耗，达到更好的 节电效果。
【附图说明】
[0044] 图1为本申请中显示设备显示方法的基本流程示意图；
[0045] 图2为对显示内容进行块分解的示意图；
[0046] 图3为图像块的层置关系不意图；
[0047] 图4为各图像与焦点位置间的距离示意图；
[0048] 图5为用户喜欢信息的设定示意图；
[0049] 图6为本申请中显示设备的基本结构示意图；
[0050] 图7为原始图像；
[0051] 图8为对原始图像进行块分解的结果；
[0052] 图9为对原始图像分解后的各块进行块亮度调整的结果示意图；
[0053] 图10为对原始图像的各块以及块内各像素进行亮度调整后的结果示意图；
[0054] 图11为原始图像中各个块的亮度降低百分比示意图；
[0055] 图12为本申请和现有技术相比的节电效果示意图一；
[0056] 图13为本申请和现有技术相比的节电效果示意图二。
【具体实施方式】
[0057] 为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做 进一步详细说明。
[0058] 在目前的显示设备中，一般情况下，图像的显示内容都不是单一的一种内容类型， 往往是多种显示内容类型的结合。也就是说在一个需要显示的内容中，同时包括文字，图 片，视频，背景等信息。【背景技术】中给出的节电方式只能根据显示内容的最主要的部分，把 整幅图像看作一种单一类型进行调整。
[0059] 针对上述缺陷，本申请中给出一种显示设备的节电显示方法，对显示内容进行块 分解，对不同块进行分别处理，对每一个块进行独立的亮度降低调节，具体可以根据块的内 容类型、和/或块间的层叠关系和/或用户对各个块与用户眼睛焦点位置间的距离选择，确 定每个块的平均显示亮度降低的程度。这样，在达到更好的节电效果同时减小对观看者观 看体验的影响。其中，用户对于各个块的选择，可以通过触摸方式进行或者将用户的眼睛角 点集中在某个块上，相应地显示设备通过对用户触摸位置或用户眼睛角点位置的检测确定 用户选择的块。
[0060] 具体地，图1为本申请中显示设备显示方法的基本流程示意图。其中，图1是以通 过用户眼睛焦点进行块选择为例进行说明的。如图1所示，该方法包括：
[0061] 步骤101，对显示内容进行块分解。
[0062] 本步骤中，可以根据显示内容中各部分的内容类型（例如背景、文字、视频、图片 等）等对显示内容进行块分解。当然，也可以采用其他任意方式进行块分解。
[0063] 具体根据内容类型进行块分解的方式可以包括如下两种：
[0064] 如果显示内容是通过采用诸如MMT标准等的多流分内容传送技术传输给显示设 备的，则可以直接从输入的传送流中提取内容类型，并据此对显示内容进行块分解。或者， 还可以直接对显示内容使用图像分析算法（例如当显示内容是通过单流传输方式传输到 显示设备的），根据分析结果确定内容类型，分割并提取各显示块。图2为对显示内容进行 块分解的示意图。如图2所示，将显示内容分解为文字块、视频块、图像块和背景块。
[0065] 对于分解后的各个块，可以通过步骤102a、102b和102c分别计算每个块相应的类 型系数、层级系数和焦点系数，具体操作如下：
[0066] 步骤102a，根据分解后各个块的内容类型，确定相应块的类型系数。
[0067] 对于分解后的每个块，可以根据该块的内容类型确定类型系数。具体地，可以预先 设定不同的内容类型对应的类型系数，将块的类型系数T设定为该块的内容类型对应的类 型系数。通常，视频块、图像块、文字块和背景块的类型系数关系如下所示：
[0069] 当然，也可以根据实际需要，设定不同内容类型对应类型系数的相互关系。一般 地，当不考虑用户眼睛的焦点位置与块间的层叠关系时，内容类型不同的块，平均显示亮度 也不同，类型系数越大，块的平均亮度越大，表示受用户关注的程度越高。
【背景技术】 [0070] 中给出的节电方式中，在调整图像时，只考虑到了内容类型，并没有考虑 到观看者对显示屏幕的关注位置和区域，没有对关注区域及非关注区域进行差别化处理。 针对这一缺陷，在上述基本显示方法中，可以进一步考虑组成块的重叠信息以及观看者的 视觉焦点位置，来识别用户的关注区域。重叠关系中，越上层的块，用户的关注度高的可能 性越大。距离焦点越近的块，用户的关注度高的可能性越大，针对用户关注程度的不同，对 显示内容的不同区域区别进行亮度调节，这样能达到更好的节电效果和对用户观看体验的 更小影响。基于此，本申请采用步骤102b和102c的处理，从而在节电处理时可以进一步考 虑焦点位置和块间的层叠关系。
[0071] 步骤102b，根据分解后各个块之间的层叠关系，确定各个块之间的层叠关系，确定 相应块的层级系数。
[0072] 具体地，可以根据块间的层叠关系确定各个块所属的层级，并确定相应块的层级 系数为所属层对应的层级系数。
[0073] 在各个块之间的层叠关系中，能够完全显示而不被其他块遮挡的内容块，用户高 关注度的可能性较高，部分被覆盖遮挡的显示块，用户低关注程度可能性较高。对于高关注 度的部分，应该尽可能好的保留画质，不影响观看者的体验，也就是尽量少的降低亮度。而 低关注的部分，可以进行较大幅度的亮度降低。基于此，层级系数可以由顶层到底层递减， 层级系数越高，表示用户关注程度越高。图3为图像块层叠关系的示意图。对每个图像块 确定其层级系数L。
[0076] 当不考虑块与焦点位置间的距离和块的内容类型时，层级系数越大，块的平均显 示亮度越大。当块与焦点位置间的距离和块的内容类型都不变时，若块间的层叠关系发生 变化，则层叠关系发生变化的块，其显示亮度也会发生变化。例如，在打开多个应用程序窗 口的显示界面上，若用户选中部分被遮挡的应用程序窗口，使该窗口位于最上层，则该窗口 的显不壳度会被抬商。
[0077] 步骤102c，识别用户眼睛的焦点位置确定用户对于块的选择，根据分解后的各个 块与用户所选择块间的距离，确定相应块的焦点系数。
[0078] 对用户眼睛焦点位置的具体识别方式本申请不做限定。将用户眼睛的焦点位置所 在的块作为用户选择的块。本例中，以各个块与焦点位置间的距离代表各个块与用户所选 择块间的距离。通常，距离观看者焦点位置越近的显示块，观看者的关注程度越高，图像亮 度的降低对用户越敏感；距离焦点位置越远的显示块，观看者的关注程度越低，图像块的平 均亮度可以进行更大幅度的降低。图4是根据焦点位置确定的显示内容的不同显示块的焦 点系数F的示意图。
[0081] 其中，块与焦点位置的距离越近，该块的焦点系数越大，观看者的关注程度越高。 在不考虑块的内容类型和块间层叠关系的前提下，块与焦点位置越近，该块的平均亮度越 大。当不同块间的层叠关系和块的内容类型保持不变时，若检测到的焦点位置发生变化，则 块的平均显示亮度也会随之发生变化；其中，与焦点位置间的距离变小的块，平均显示亮度 会变亮，与焦点位置间的距离变大的块，平均显示亮度会降低。
[0082] 上述步骤102a、102b和102c可以全部执行，或者可以在三个步骤中选择部分步骤 执行，再利用所执行步骤的结果进行后续步骤103的操作。对于选择出要执行的步骤，可以 同时执行，或以任意顺序执行。
[0083] 步骤103,根据每个块的类型系数、和/或层级系数和/或焦点系数，确定每个块的 平均显示亮度。
[0084] 在确定出块的类型系数、层级系数和焦点系数后，进行节电控制，确定每个块的平 均显示亮度。具体地，可以根据每个块η的类型系数T、和/或层级系数L和/或焦点系数 F确定每个块的亮度降低系数，例如使用reduction (Ln Fn Tn)表示，再利用亮度降低系数乘 以当前亮度确定块的平均显示亮度Lumn TOSult = reduction(Ln Fn TjXLumn initial。
[0085] 步骤104,依据步骤103所确定的每个块的平均显示亮度显示每个块。
[0086] 至此，本申请中的基本显示方法流程结束。在上述步骤102c的处理中，是根据用 户眼睛焦点位置的检测确定用户对于块的选择。在实际应用中，还可以通过其他各种可行 的方式实现用户对于块的选择，例如用户可以通过触摸操作选择块等，显示设备通过对用 户触摸位置的检测，确定用户选择的块，还可以进一步根据各个块与用户触摸点或用户选 择块中心之间的 距离，确定各个块的平均显示亮度。
[0087] 另外，在上述流程基础上，还可以进一步增加其他处理，以在不影响用户体验的前 提下得到更好的节电效果。
[0088] 在上述的处理中，是对显示内容以块为单位进行平均显示亮度的确定，从而可以 各个不同块进行区别处理，达到更好的节电效果。
[0089] 另外，对于图像及视频显示内容，包括重点信息主体和辅助信息主体，其受用户的 关注程度也不尽相同。其中，重点信息是指图片或视频需要显示的主要信息，比如一张以沙 漠为背景的人物照，人物就是这张照片需要传递的最主要的信息，也是观看者最关心的内 容。对于文字区域，非文字的背景部分对观看者来说信息量很小，信息主要集中在文字上， 因此文字区域的文字本身和非文字的背景部分受用户的关注程度也不相同。
[0090] 在在【背景技术】介绍的节电方式中，无论对于图像及视频显示内容中的重点信息主 体和辅助信息主体，还是对于文字区域中的文字本身和非文字的背景部分，都统一采用相 同的亮度，无法进行区分处理。针对这一缺陷，本申请中还可以进一步对显示块内的不同像 素点，根据其受用户关注程度的不同，进行区分处理。对观看者关注的主体信息进行比例相 对较小的亮度降低，而对关注度较低的其他信息进行比例相对较大的亮度降低。针对图像 及视频显示内容，对于重点信息主体亮度降低幅度较小，对于辅助信息主体亮度降低幅度 较大；对文字区域的非文字背景亮度降低幅度较大，可以进一步低于文字本身的亮度降低 比例。
[0091] 具体地，可以在图1所示的方法中，在步骤103的处理中，确定每个块的平均显示 亮度后，显示每个块前，进一步针对每个特定的显示块，分别提取其重点用户关注内容，然 后再综合用户预配置的个性化偏好情况，电池剩余电量情况，背景光情况，对显示块内的显 示像素，进行差异化处理。
[0092] 更详细地，可以在步骤103后、步骤104之前进一步包括如下步骤105和步骤106 的处理：
[0093] 步骤105,对于每个块，确定该块中每个像素的主体信息。
[0094] 具体确定像素主体信息的方式可以采用现有方式。
[0095] 例如，对于图片和视频块，可以将对每个像素进行的双边滤波结果作为主体信息， 具体双边滤波的处理可以为：
[0097] 其中， B(I)p为像素点p的双边滤波 .D 结果，P和q为像素点索引，^s和^^是均值为0、标准差分别为〇；3和的高斯函数， I P_q I I为像素点P和像素点q之间的欧式距离，I Ip-IqI为像素点P和像素点q的灰度差， Iq为像素点q的灰度值，N(p)为像素点p周围指定像素点的集合。在上述计算过程中, 用于计算像素点P和q之间依据空间距离得到的权重，用于计算像素点P和q之间依据 灰度差异得到的权重，Wp表示像素点p周围所有指定像素点的权重之和。
[0098] 当然，将上述双边滤波结果作为像素点的主体信息仅是一个示例，还可以采用其 他具有保持边缘特性的平滑滤波算法计算像素点的主体信息，例如，Kaiming He提出的 Guided filter 矛口 Eduardo S. L. Gastal 提出的 Domain transform filter。
[0099] 对于文字块，可以提取文字部分作为主体信息，认为其余像素点均无主体信息；提 取文字部分的方法可以是根据传输时的输入信息类型进行识别，也可以是显示区域的识 另IJ。对于背景块，可以认为所有像素点均无主体信息。
[0100] 在确定像素点的主体信息后，可以将其映射为saliency map图像，用于下一步骤 106的像素灰度值计算。具体映射方式为现有的，本申请不做限定。例如，对于文字块和背 景块，作为主体信息的像素点可以设置为显示白色，无主体信息的像素点可以设置为显示 黑色，或者显示相反的颜色。当不考虑用户喜好信息、所述设备的剩余电量和环境光时，或 者，当用户喜好信息、所述设备的剩余电量和环境光保持不变时，同一块中主体信息越高的 像素点，其显示亮度越高。例如，对于文字块，文字部分的高度一般要高于非文字部分，甚 至，非文字的背景部分可以为全黑。
[0101] 步骤106,根据块中各个像素的主体信息、预先设定的用户喜好信息、显示设备的 剩余电量和/或环境光计算相应块中每个像素的灰度值。
[0102] 本步骤中，对每一个块内的各个像素点分别进行显示亮度调整。调整过程中，综合 考虑块主体信息、用户喜好信息、便携设备剩余电量情况和/或环境光情况。
[0103] 其中，块主体信息利用主体信息映射saliency map图像表示，即步骤104的结果。
[0104] 用户喜好信息可以是预先设定的，具体设定方式可以为：预先为用户提供同一原 始图像在多种不同用户喜好信息设置下的显示图像，接收用户选择的显示图像，将该显示 图像对应的用户喜好信息作为预先设定的用户喜好信息。例如，在开机显示之前，可以提供 对同一图像，采用不同调整策略的多个调整后结果（如图5所示，其中参数（！和β的含义 在下面公式2中进行描述），用户根据自己的喜好，选择一个自己最喜欢的结果，系统提取 用户选择结果，对应的调整策略，也就是后续进行图像亮度调整时需要的参数-用户喜好 信息。
[0105] 具体根据上述参数计算各个像素点的显示灰度值的方式可以根据需要进行设定。 下面给出一种优选的计算方式：
S (p) +1 [(Μ) ( α -1) ]，p为像素点索引，I (p)是像素点p的灰度值，是经过预设滤波之后 的像素点P的灰度值，α是预先设置的用户喜好信息，本例中该喜欢信息表示细节保留程 度，0<(1：^1，(1越大，表示细节保留的越多；5化）是像素点口的主体信息映射8&1161^7 map图像，1[(U) (X)为指示函数，当X在区间[0, 1)之间时1[(U) (X)取值为1，否则1[(U) (X)取 值为0;β为显示设备根据当前剩余电量和环境光参数确定的总体亮度水平，0< β <1， 该参数也可以预先设定。由上述公式可见，在该像素灰度值的计算过程中，当用户喜好信息 α取值为1(即选择保留所有细节）时，Υ(α，β，ρ)和Γ(ρ)的取值与像素主体信息无关， 仅与像素点P的灰度值I (P)及进行预设滤波后的灰度值/(/0相关；当用户喜好信息α取 值不为1 (即选择保留部分细节）时，Υ( α，β，p)和Γ(ρ)的取值与像素主体信息相关，并 同时与像素点P的灰度值I (P)及进行预设滤波后的灰度值/(/;)相关。用户喜好信息即是 通过这种方式控制像素点的亮度显示的。在上述处理中，得到/1/;)的滤波方法可以任选，例 如可以使用双边滤波，即前述公式（1)，这样，对图片和视频块，可以只在计算主体信息时进 行一次滤波即可，在本步骤计算像素灰度值时可以直接利用计算主体信息时的滤波结果。
[0107] 在确定出每个块中的所有像素点灰度值后，可以继续执行步骤104进行各个块的 显示。具体地，可以在步骤102确定的每个块的平均显示亮度的基础上，按照步骤106中确 定的每个块中各个像素的灰度值调节各个像素的显示亮度，并按照调节结果进行显示。这 样，对于同一显示块，对其内部不同像素也可以根据需要进行不同的显示亮度处理，从而实 现更好的节电效果。
[0108] 上述即为本申请中显示方法的具体实现。本申请还提供了一种显示设备，能够用 于实施上述显示方法。图6为本申请中显示设备的基本结构示意图。如图6所示，该设备 基本的结构中包括：分解单元、块平均亮度确定单元和显示单元；
[0109] 其中，分解单元，用于对显示内容进行块分解，并输出给平均亮度确定单元。块平 均亮度确定单元，用于根据显示内容中各个块的内容类型、和/或不同块间的层叠关系、和 /或检测到的用户对所述显示内容中各个块的选择，确定不同块的平均显示亮度。显示单 元，用于依据所确定的每个块的平均显示亮度显示每个块。
[0110] 在上述基本结构的基础上，显示设备还可以进一步包括块内像素调节单元，用于 对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体信息、预先设定的 用户喜好信息、所述设备的剩余电量和/或环境光计算相应块中每个像素的灰度值。显示 单元，进一步用于在所确定的每个块的所述平均亮度的基础上，按照每个块中每个像素的 灰度值调节相应块中各个像素的显示亮度，根据调节结果显示每个块中的每个像素。
[0111] 下面通过图7到图11给出按照本申请的方法对一个原始图像进行处理的示意图。 图7所示为原始图像，图8、图9、图10和图11为应用本申请显示方法的过程示意图。图8 为对图7的原始图像进行块分解后的 结果，分解为背景、文字和视频图像块；图9为分解为 不同块后对每个块应用步骤101、102、102a、102b和103进行处理后的结果；图10为对每个 块内的各个像素分别进行亮度调节后的结果；图11给出了各个不同块的亮度降低百分比。
[0112] 下面通过与【背景技术】中统一降低亮度的方式进行比较，来说明本申请的处理方式 能够带来的节电效果。在进行不同节电方案比较时，可以通过两种方法比较方案效果。一 种是在达到相同图像显示效果的前提下，比较哪种方法的耗电量更低，耗电量低的方法有 更好的节电效果。另一种方法是在相同的耗电量降低的前提，比较使用哪一种方法后图像 的显示效果更好，观看者更舒适。但由于相同的图像显示效果是主观的评判感觉，所以第一 种方法比较难使用，本申请采用第二种方法进行比较。
[0113] 具体地，将本申请中图1所示的流程（包括步骤101、102、102a、102b、103、104和 105)与【背景技术】中给出的节电方案进行比较。在本申请的节电处理中，采用双边滤波对图 片和视频进行主体信息提取，并使用双边滤波作为预设滤波方式计算/(/;)，采用公式（2) 计算块内各像素的灰度值。其中，双边滤波的处理时长为3ms，整个本申请节电处理中图 像处理过程的能耗约为总功率的8%~9%。对于手机设备，显示屏的功耗为整个终端功 耗的38%~50%。考虑到通信模块的功率消耗，对于其他无通信功能的便携式设备，显示 屏的功耗比例会更高。以手机为例，当采用上述本申请的节电处理方法时，假定显示屏功 耗降低为现有功耗的60%，则手机整体功率下降到约13%到22%区间（[38%~50% ] x60% - [8%~9% ] = [13. 8%~22% ])。图12和图13给出手机整体功率下降到50%， 采用【背景技术】和本申请中的节电处理方法的图像比较结果。
[0114] 在图12和图13中，第一幅图为原始图像，第二幅图为按照【背景技术】中给出的整幅 图像统一降低亮度的方式得到的图像处理结果，第三幅图为按照本申请中给出的方式得到 的图像处理结果。第二幅图和第三幅图中手机整体功率下降50%。显然，在视觉效果来看， 第三幅图的亮度明显高于第二幅图，细节保留也更加完整。可见，本申请的显示方式能够达 到更好的节电效果。
[0115] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【主权项】
1. 一种显示设备的显示方法，其特征在于，包括： 对显示内容进行块分解； 根据所述显示内容中各个块的内容类型、和/或不同块间的层叠关系、和/或检测到的 用户对所述显示内容中各个块的选择，确定每个块的平均显示亮度，并依据所确定的每个 块的平均显示亮度显示每个块。2. 根据权利要求1所述的方法，其特征在于，检测用户对所述显示内容中各个块的选 择方式包括：检测用户的触摸位置确定对于块的选择，或者，检测用户眼睛的焦点位置确定 对于块的选择。3. 根据权利要求1所述的方法，其特征在于，若根据所述内容类型确定所述平均显示 亮度，则，当所述不同块间的层叠关系和所述各个块与所述焦点位置间的距离保持不变时， 对于内容类型不同的块，平均显示亮度不同；其中，所述内容类型包括：图像和文字；图像 块的平均显示亮度高于文字块的平均显示亮度；和/或， 若根据所述层叠关系确定所述平均显示亮度，则，当所述各个块与所述焦点位置间的 距离保持不变、且不同块间的层叠关系发生变化时，对于层叠关系发生变化的块，其平均显 示亮度也发生变化；其中，层叠关系中位于上层的块比位于下层的块的平均显示亮度高； 和/或， 若根据所述选择确定所述平均显示亮度，则，当所述显示内容中不同块间的层叠关系 保持不变、且用户选择的块发生变化时，所述每个块的平均亮度发生变化；其中，与所述用 户选择的块之间距离变近的块，平均亮度变亮。4. 根据权利要求1或3所述的方法，其特征在于，根据所述显示内容的内容类型对所述 显示内容进行块分解。5. 根据权利要求4所述的方法，其特征在于，所述根据显示内容的内容类型对显示内 容进行块分解包括： 当所述显示内容是通过多流分内容传输方式传输到所述显示设备时，根据传输流中提 取的内容类型对所述显示内容进行块分解；或者， 对所述显示内容进行图像分析，根据分析结果确定内容类型，并对所述显示内容进行 块分解。6. 根据权利要求1所述的方法，其特征在于，在确定各个块的平均亮度后、依据所述平 均亮度显示每个块前，该方法进一步包括： 对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体信息、预先设 定的用户喜好信息、所述设备的剩余电量和/或环境光，计算相应块中每个像素的灰度值； 所述依据所述平均亮度显示每个块包括：在所确定的每个块的所述平均亮度的基础 上，按照每个块中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果显 示每个块中的每个像素。7. 根据权利要求6所述的方法，其特征在于，当用户喜好信息、所述设备的剩余电量和 环境光保持不变时，同一块中主体信息越高的像素点，其显示亮度越高。8. 根据权利要求7所述的方法，其特征在于，确定块中每个像素的主体信息时， 对于图像和视频块，将对每个像素进行的双边滤波结果作为主体信息； 对于文字块，提取文字部分作为主体信息，其余像素点均无主体信息； 对于背景块，所有像素点均无主体信息。9. 根据权利要求8所述的方法，其特征在于，对于文字块，文字部分的亮度高于非文字 部分。10. 根据权利要求6所述的方法，其特征在于，所述计算块中每个像素的灰度值I* (p) 包括：(α -1) ]，P为所述块中的像素点索引，I (P)是所述块中像素点P的灰度值，/( /;)是经过预 设滤波之后的像素点P的灰度值，α是预先设置的用户喜好信息，用于表示细节保留程度， 〇彡α彡l，S(p)是像素点ρ的主体信息映射saliency map图像，1[(U) (X)为指示函数，当 X在区间[〇, 1)之间时l[ai) (X)取值为1，否则lttil) (X)取值为〇 ; β为显示设备根据当前 剩余电量和环境光参数确定的总体亮度水平，〇< β < 1。11. 根据权利要求10所述的方法，其特征在于，所述预设滤波为双边滤波。12. 根据权利要求8或11所述的方法，其特征在于，所述对每个像素进行的双边滤波包 括：其中，B(I)p为像素点ρ的双边滤波结果， P和q为像素点索引，和Ca,是均值为〇、标准差分别为σ 3和? ^的高斯函数，I I p-q I 为像素点P和像素点q之间的欧式距离，I Ip-Iq I为像素点P和像素点q的灰度差，Iq为像 素点q的灰度值，N(p)为像素点ρ周围指定像素点的集合。13. 根据权利要求6所述的方法，其特征在于，预先设定用户喜好信息的方式包括： 预先为用户提供同一原始图像在多种不同用户喜好信息设置下的显示图像，接收用户 选择的显示图像，将该显示图像对应的用户喜好信息作为预先设定的用户喜好信息。14. 一种显示设备，包括：分解单元、块平均亮度确定单元和显示单元； 所述分解单元，用于对显示内容进行块分解，并输出给所述平均亮度确定单元； 所述块平均亮度确定单元，用于根据所述显示内容中各个块的内容类型、和/或不同 块间的层叠关系、和/或检测到的用户对所述显示内容中各个块的选择，确定不同块的平 均显示亮度； 所述显示单元，用于依据所确定的每个块的平均显示亮度显示每个块。15. 根据权利要求14所述的显示设备，其特征在于，所述显示设备进一步包括块内像 素调节单元，用于对于每个块，确定该块中每个像素的主体信息，根据块中各个像素的主体 信息、预先设定的用户喜好信息、所述设备的剩余电量和/或环境光计算相应块中每个像 素的灰度值； 所述显示单元，进一步用于在所确定的每个块的所述平均亮度的基础上，按照每个块 中每个像素的灰度值调节相应块中各个像素的显示亮度，根据调节结果显示每个块中的每 个像素。
【专利摘要】本申请公开了一种显示设备的显示方法，包括：对显示内容进行块分解；根据所述显示内容中各个块的内容类型、和/或不同块间的层叠关系、和/或检测到的用户对于各个块的选择，确定每个块的平均显示亮度，并依据所确定的每个块的平均显示亮度显示每个块。通过本申请，能够进一步降低显示设备的功耗，达到更好的节电效果。
【IPC分类】G09G5/10
【公开号】CN105489191
【申请号】CN201410479637
【发明人】胡海宁, 焦少慧
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社
【公开日】2016年4月13日
【申请日】2014年9月18日
最新回复(0)