一种基于实景孪生虚拟数字场景图实现的控制交互方法与流程
本发明涉及数字孪生及智能交互，特别是一种基于实景孪生虚拟数字场景图实现的控制交互方法。
背景技术：
1、随着数字技术和智能控制的不断发展，人们对于虚拟与现实融合的需求日益增加。目前，在现有的技术格局中，虚拟与现实的交互控制往往呈现出一定的局限性，传统的交互方式在灵活性差、不符合操作习惯、人机交互不自然、交互界面视觉体验感不理想、以及对多样化场景的适应能力方面存在不足，无法有效地满足用户对于高质量、便捷且富有创新性的交互体验的期望。这些现存的问题不仅限制了虚拟与现实融合应用的发展，也在一定程度上阻碍了相关技术在诸如智能家居、智能城市、智能多功能场景等领域的广泛推广和深入应用。
技术实现思路
1、本发明的目的是针对以上现有技术的不足，提供一种基于实景孪生虚拟数字场景图实现的控制交互方法。
2、本发明采用的技术方案是：一种基于实景孪生虚拟数字场景图实现的控制交互方法，包括以下步骤：
3、步骤s1、基于现实场景的精确测绘和建模，构建与现实场景完全对应的数字副本，对空间布局、物体位置进行模拟，生成现实场景的3d或2d的虚拟场景图，并在虚拟场景图嵌入地理位置坐标；
4、步骤s2、对现实场景中的传感器和控制对象在所述虚拟场景图中相应位置创建传感器模型和控制对象模型，并为控制对象模型植入用于交互控制的可触发的提示标注；建立控制对象模型与提示标注之间地理坐标和交互机制的关联和映射关系，对虚拟场景图的坐标与传感器模型和控制对象模型的坐标进行校准和匹配，构建集成了传感器模型和控制对象模型的场景图数据库；
5、步骤s3、将步骤s2的场景图数据库上传至云端服务器，同时，现实场景中的传感器和控制对象通过安全网络与云端服务器连接；
6、步骤s4、用户在现实场景中通过交互终端连接云端服务器，云端服务器根据交互终端的视角调用相应的场景图数据库进行比对，将场景图数据库相应数据通过透明或半透明方式加载覆盖交互终端视角中相应的现实场景，现实场景中的控制对象在交互终端的视角中显示出相应的可触发的提示标注、传感器则显示出传感器的实时参数；用户通过交互终端触发相应的提示标注发出相应的控制指令，所述控制指令通过云端服务器加载至现实场景的控制对象并执行相应控制指令，同时，传感器和控制对象将实时状态信息上传至云端服务器，实现在现实场景中通过交互终端对现实场景中的控制对象进行交互控制。
7、进一步，所述步骤s1中，构建虚拟的场景图方法包括但不限于：数字孪生地图、ar地图、动画地图、手绘地图，并建立它们之间的关联和映射关系。
8、进一步，所述步骤s2中，所述可触发的提示标注集成有地理位置坐标，并放置在虚拟场景图的相应位置进行显示。确保提示标注与虚拟实景场景图的坐标系和交互机制相匹配，可触发的提示标注使用3d渲染库或3d引擎将提示标注模型加载到场景图中，并确保其正确显示位置，具有极高的视觉体验感。
9、进一步，所述步骤s2中，所述可触发的提示标注集成有tcp/udp链接，可通过触发形式发送控制指令，可自然快速进行交互控制。
10、进一步，所述步骤s2中，所述场景图数据库中的数据划分为不同的数据显示层级，数据显示层级由高至低依次为：可触发的提示标注、传感器模型和控制对象模型、场景图数据和地理位置坐标。实现在用户视角的分层次显示，可触发的提示标注和控制对象模型在场景图前面显示，实现精确、可靠交互控制。
11、进一步，所述步骤s2中，在虚拟场景图建立传感器模型和控制对象模型经过模型简化、数据压缩、缓存机制优化处理，提高交互控制的响应速度和可靠性。
12、进一步，所述步骤s4中，所述传感器和控制对象的状态信息包括开关量状态信息和模拟量状态信息，所述控制指令包括开关量控制控制指令和模拟量控制指令，所述控制指令具备指令重发和纠错机制。所述传感器包括有：位置传感器、位移传感器、温度传感器、湿度传感器、雷达传感器、压力传感器、红外传感器、变频功率传感器；所述控制对象包括，灯光开关、阀门、电机、电子锁、门磁开关等。
13、进一步，所述步骤s4中，所述交互终端包括但不限于：手机、平板电脑、vr设备、ar设备，所述交互终端触发提示标注的方式包括但不限于：触摸屏、语音指令、手势。可实现了自然逼真、体验感强的交互界面。
14、进一步，所述步骤s4中，云端服务器接收到交互终端的控制指令后，对控制指令进行解析、分类和检索，检索到对应的指令后通过数据通信对相应的控制对象进行指令派发，该派发方式包含但不限于一对一或一对多方式；控制对象的执行设备终端收到云端服务器的派发指令后，再比对控制对象的终端设备数据库，调用终端设备存储的效果进行相应的控制输出，提高了控制指令派发的冗余度、实时性和准确性。
15、进一步，用户也可通过pc终端连接云端服务器，在虚拟场景图中访问传感器模型，或触发相应的提示标注对控制对象模型发出相应的控制指令，通过授权的pc终端，可远程监测传感器、并对控制对象进行远程交互控制。
16、本发明的有益效果是，采用基于现实场景的精确测绘和建模，构建与现实世界完全对应的数字副本，对空间布局、物体位置坐标进行模拟，对现实场景中的传感器和控制对象在虚拟场景图中相应位置创建传感器模型和控制对象模型，并为控制对象模型植入用于交互控制的可触发的提示标注；形成集成了传感器模型和控制对象模型的场景图数据库；用户在现实场景中通过交互终端连接云端服务器，交互终端通过触发相应的提示标注发出相应的控制指令，控制指令通过云端服务器加载至现实场景的控制对象并执行相应控制指令，实现了在现实场景生成的虚拟场景与现实场景的深度融合、在身临其境的高度仿真场景进行交互控制。
17、场景图数据库中的数据划分为不同的数据显示层级，实现在用户视角的分层次显示，可触发的提示标注和控制对象模型在场景图前面显示，实现精确、可靠交互控制。
18、本发明实现了交互控制界面的虚拟现实的高度仿真、交互控制符合现实中的操作习惯，并提供实时反馈机制，确保控制指令的准确执行和及时响应。具有高度可扩展性，能够根据不同的应用场景和用户需求进行灵活定制，覆盖实景、动漫、手绘等多种现实场景，视觉体验感强，实现了虚拟与现实之间深度且高效的控制交互，可应用于常见的灯光控制、场景互动、水景管理、音乐播放，还可延伸至各类电子设备的精准调控技术领域，可应用于旅游景区、城市景观、建筑、工业生产线控制、教育等多个相关领域。
19、本发明可集成多种类型的传感器和控制对象的功能模块，实现复杂场景下的多元素协同控制，提升交互控制整体性能和稳定性可应用于为各种领域带来创新的解决方案和显著的价值提升。
技术特征：
1.一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s1中，构建虚拟的场景图方法包括但不限于：数字孪生地图、ar 地图、动画地图、手绘地图，并建立它们之间的关联和映射关系。
3.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s2中，所述可触发的提示标注集成有地理位置坐标，并放置在虚拟场景图的相应位置进行显示。
4.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s2中，所述可触发的提示标注集成有tcp/udp链接，可通过触发形式发送控制指令。
5.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s2中，所述场景图数据库中的数据划分为不同的数据显示层级，数据显示层级由高至低依次为：可触发的提示标注、传感器模型和控制对象模型、场景图数据和地理位置坐标。
6.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s2中，在虚拟场景图建立传感器模型和控制对象模型经过模型简化、数据压缩、缓存机制优化处理。
7.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s4中，所述传感器和控制对象的状态信息包括开关量状态信息和模拟量状态信息，所述控制指令包括开关量控制控制指令和模拟量控制指令，所述控制指令具备指令重发和纠错机制。
8.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s4中，所述交互终端包括但不限于：手机、平板电脑、vr设备、ar设备，所述交互终端触发提示标注的方式包括但不限于：触摸屏、语音指令、手势。
9.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，所述步骤s4中，云端服务器接收到交互终端的控制指令后，对控制指令进行解析、分类和检索，检索到对应的指令后通过数据通信对相应的控制对象进行指令派发，该派发方式包含但不限于一对一或一对多方式；控制对象的执行设备终端收到云端服务器的派发指令后，再比对控制对象的终端设备数据库，调用终端设备存储的效果进行相应的控制输出。
10.根据权利要求1所述的一种基于实景孪生虚拟数字场景图实现的控制交互方法，其特征在于，用户也可通过pc终端连接云端服务器，在虚拟场景图中访问传感器模型，或触发相应的提示标注对控制对象模型发出相应的控制指令。
技术总结
本发明公开了一种基于实景孪生虚拟数字场景图实现的控制交互方法，本发明构建了一个全新的基于实景孪生虚拟数字场景图实现的控制交互方法，旨在打破现有交互控制模式的瓶颈，为用户提供更为流畅、自然且智能的交互体验。具体而言，本发明通过引入先进的数字场景孪生技术，结合丰富多样的场景图类型，包括但不限于数字孪生地图、AR地图、动画地图、手绘地图、多功能场景图以及家居场景等可移动场景图，实现了虚拟与现实之间深度且高效的控制交互，可应用于常见的灯光控制、场景互动、水景管理、音乐播放，还可延伸至各类电子设备的精准调控技术领域。
技术研发人员：赵凯
受保护的技术使用者：成都艾森德光电工程有限公司
技术研发日：
技术公布日：2024/9/23