用于对3D对象的属性进行编码解码的方法和装置与流程
本发明的实施方案总体涉及用于3d对象的编码和解码的方法和装置，并且更具体地涉及被表示为t网格的3d对象的编码和解码。
背景技术：
1、可以通过使用在空间上调度的一组物理捕获设备(视频、红外光，……)捕获动画模型来实现自由视点视频。随后可以对所捕获的动画序列进行编码并将其发送到终端，以便以六自由度(6dof)从任何虚拟视点进行播放。存在用于对动画模型进行编码的不同方法。例如，动画模型可以表示为图像/视频、点云或纹理网格。
2、在基于图像/视频的方法中，存储一组视频流加上附加元数据，并且执行扭曲或任何其他重投影以在回放时从虚拟视点产生图像。这种解决方案需要大量的带宽并且引入许多伪影。在点云方法中，由一组输入动画图像重建动画3d点云，从而产生更紧凑的3d模型表示。随后可以将动画点云投影在包裹动画点云的体积的平面上并将经投影的点(也称为补块(patch))编码到一组2d译码视频流(例如，使用hevc、avc、vvc……)中以用于递送该动画点云。这种解决方案是例如在mpeg v-pcc标准(“iso/iec jtc1/sc29 wg11，w19332，v-pcc编解码器说明”，alpbach，austria，2020年4月)中开发的。然而，模型的实质在空间扩展方面非常有限，并且可能出现一些伪影，诸如表面上的针对近距离视图的孔穴。
3、在纹理网格方法中，由一组输入动画图像重建动画纹理网格，诸如例如在以下文献中：[1]a.collet、m.chuang、p.sweeney、d.gillett、d.evseev、d.calabrese、h.hoppe、a.kirk和s.sullivan，“high-quality streamable free-viewpoint video”，acmtransaction on graphics(siggraph)，2015。这种重建通常经历作为体素或点云的中间表示。网格的特征为：几何定义可以非常低，并且光度测定纹理图集可以被编码在标准视频流中。点云解决方案可能需要“复杂”且“有损”的隐式或显式投影(如在v-pcc中)，以获得与基于视频的编码方法兼容的平面表示。对应地，纹理网格编码依赖于纹理坐标(uv)来执行纹理图像到网格的三角形的映射。
技术实现思路
1、根据实施方案，提供了一种用于对3d对象的属性进行编码的方法。属性以第一比特深度表示，该方法包括：获得经修改的属性值，该经修改的属性值以小于该第一比特深度的第二比特深度表示；获得与该属性值的该至少一个子集相关联的元数据，该元数据包括表示应用于该至少一个子集的该属性值以获得该第二比特深度的该经修改的属性值的修改的信息；以及对该经修改的属性值和该元数据进行编码。
2、根据另一个实施方案，提供了一种用于对3d对象的属性进行编码的装置。该装置包括一个或多个处理器，该一个或多个处理器被配置为：针对该属性值的至少一个子集，以第一比特深度表示属性；获得该属性值的该至少一个子集的经修改的属性值，该经修改的属性值以小于该第一比特深度的第二比特深度表示；获得与该属性值的该至少一个子集相关联的元数据，该元数据包括表示应用于该至少一个子集的该属性值以获得该第二比特深度的该经修改的属性值的修改的信息；以及对该经修改的属性值和该元数据进行编码。
3、根据另一个实施方案，提供了一种用于对3d对象的属性进行解码的方法。该方法包括：对该3d对象的属性值的至少一个子集和与该至少一个子集相关联的元数据进行解码，该元数据包括表示应用于该至少一个子集的第一比特深度的属性值以获得第二比特深度的经修改的属性值的修改的信息，该第二比特深度小于该第一比特深度，所解码的属性值以该第二比特深度表示；以及使用该元数据和该至少一个子集的所解码的属性值来获得经重建的属性值，该经重建的属性以该第一比特深度表示。
4、根据另一个实施方案，提供了一种用于对3d对象的属性进行解码的装置。该装置包括一个或多个处理器，该一个或多个处理器被配置为：对3d对象的属性值的至少一个子集和与该至少一个子集相关联的元数据进行解码，该元数据包括表示应用于该至少一个子集的第一比特深度的属性值以获得第二比特深度的经修改的属性值的修改的信息，该第二比特深度小于该第一比特深度，所解码的属性值以该第二比特深度表示；以及使用该元数据和该至少一个子集的所解码的属性值来获得经重建的属性值，该经重建的属性以该第一比特深度表示。
5、根据另一个实施方案，一种比特流包括：与3d对象的属性值的至少一个子集相关联的译码元数据，该属性值以第一比特深度表示，该元数据包括表示应用于该至少一个子集的属性值以获得小于该第一比特深度的第二比特深度的经修改的属性值的修改的信息：和译码视频数据，该译码视频数据表示该至少一个子集的该经修改的属性值。
6、一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案的编码方法或解码方法中的任一者。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据本文所述的方法对3d对象的属性进行编码或解码的指令。一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有根据本文所述方法生成的比特流。一个或多个实施方案还提供了一种用于发送或接收比特流的方法和装置，所述比特流根据本文所述的方法生成。
技术特征：
1.一种方法，所述方法包括针对具有以第一比特深度表示的属性值的3d对象：
2.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为针对具有以第一比特深度表示的属性值的3d对象：
3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中使用以所述第二比特深度操作的基于视频的编码器来对所述经修改的属性值进行编码。
4.根据权利要求1或3中任一项所述的方法或根据权利要求2至3中任一项所述的装置，其中所述元数据被编码在基于视频的编码器的sei消息中。
5.根据权利要求1或3至4中任一项所述的方法，所述方法还包括，或根据权利要求2至4中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于将所述经修改的属性值打包到视频的图像的至少一个分量中。
6.根据权利要求1或3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中针对属性值的至少一个分量并且针对属性值的所述至少一个子集，所述元数据还包括指示所述子集的第一属性值在所述属性值的序列中的位置的索引。
7.根据权利要求1或3至6中任一项所述的方法或根据权利要求2至6中任一项所述的装置，其中获得所述元数据包括将所述属性值分割成属性值的一个或多个子集。
8.根据权利要求1或3至7中任一项所述的方法或根据权利要求2至7中任一项所述的装置，其中获得所述至少一个子集的所述经修改的属性值包括基于表示所述至少一个子集的属性值的信息修改所述属性值。
9.根据权利要求1或3至8中任一项所述的方法或根据权利要求2至8中任一项所述的装置，其中属性值包括至少两个分量，相同的元数据与所述至少一个子集的所述属性值的所有分量相关联。
10.根据权利要求1或3至8中任一项所述的方法或根据权利要求2至8中任一项所述的装置，其中属性值包括至少两个分量，不同的元数据与所述至少一个子集的所述属性值的每个分量相关联。
11.根据权利要求1或3至8或10中任一项所述的方法或根据权利要求2至8或10中任一项所述的装置，其中获得所述元数据包括针对属性值的所述至少一个子集和所述属性值的至少一个分量：
12.根据权利要求11所述的方法或根据权利要求11所述的装置，其中获得所述经修改的属性值包括针对属性值的所述至少一个子集和所述属性值的至少一个分量：
13.根据权利要求7所述的方法或装置，其中将所述属性值分割成一个或多个子集包括解析所有属性值，并且针对每个属性值：
14.根据权利要求13所述的方法或装置，其中所述属性值的所述分量的所述n个最高有效比特以代码的形式存储在所述元数据中，所述代码级联所述属性值的每个分量的所述n个最高有效比特。
15.根据权利要求13或14所述的方法或装置，其中所述经修改的属性值对应于所述属性值的m减n个最低有效比特，m是用于表示所述第一比特深度的所述属性值的比特数量。
16.根据权利要求13至15中任一项所述的方法或装置，其中所述属性值在属性值中的所述索引被存储为增量索引。
17.根据权利要求1或3至16中任一项所述的方法，所述方法还包括，或根据权利要求2至16中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于对以下中的至少一项进行编码：
18.根据权利要求1或3至17中任一项所述的方法，所述方法还包括，或根据权利要求2至17中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于将所述3d对象的拓扑编码为元数据。
19.一种方法，所述方法包括：
20.一种装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为：
21.根据权利要求19所述的方法或根据权利要求20所述的装置，其中使用以所述第二比特深度操作的基于视频的解码器来对所述属性值进行解码。
22.根据权利要求19或21中任一项所述的方法或根据权利要求20或21中任一项所述的装置，其中所述元数据是从基于视频的解码器的sei消息解码的。
23.根据权利要求19或21至22中任一项所述的方法，所述方法还包括，或根据权利要求20至22中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于从视频的图像的至少一个分量解包所述属性值。
24.根据权利要求19或21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中针对属性值的至少一个分量并且针对属性值的所述至少一个子集，所述元数据还包括指示所述子集的第一属性值在所述属性值的序列中的位置的索引。
25.根据权利要求24所述的方法或装置，使用所述元数据和所述至少一个子集的所解码的属性值来获得经重建的属性值包括针对所述子集的每个解码的属性值：
26.根据权利要求24所述的方法或装置，其中使用所述元数据和所述至少一个子集的所解码的属性值来获得经重建的属性值包括：
27.根据权利要求19或21至26中任一项所述的方法，所述方法还包括，或根据权利要求20至26中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于对以下中的至少一项进行解码：
28.根据权利要求1或3至19或21至27中任一项所述的方法或根据权利要求2至18或20至27中任一项所述的装置，其中属性值是以下类型之一：所述3d对象的点的几何坐标、帧图集中的所述3d对象的点的纹理坐标、法线坐标、颜色数据。
29.根据权利要求1或3至19或21至28中任一项所述的方法或根据权利要求2至18或20至28中任一项所述的装置，其中所述3d对象是3d网格。
30.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有指令，所述指令用于使一个或多个处理器执行根据权利要求1或3至19或21至29中任一项所述的方法。
31.一种设备，所述设备包括：
32.根据权利要求31所述的设备，所述设备包括tv、蜂窝电话、平板电脑或机顶盒。
33.一种比特流，所述比特流包括：
34.根据权利要求33所述的比特流，所述比特流还包括以下中的至少一者：
35.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有根据权利要求33或34所述的比特流。
36.一种装置，所述装置包括：
技术总结
提供了用于对3D对象进行编码或解码的方法和装置。该3D对象具有以第一比特深度表示的属性值，针对该属性值的至少一个子集获得经修改的属性值，该经修改的属性值以小于该第一比特深度的第二比特深度表示；以及获得与该属性值的该至少一个子集相关联的元数据，该元数据包括表示应用于该至少一个子集的该属性值以获得该第二比特深度的该经修改的属性值的修改的信息。对该经修改的属性值和该元数据进行编码。
技术研发人员：J-E·马维,Y·奥利维尔,J-C·舍韦
受保护的技术使用者：交互数字CE专利控股有限公司
技术研发日：
技术公布日：2024/9/23