问题数据的意图分类方法和装置与流程

本技术涉及自然语言处理，特别是涉及一种问题数据的意图分类方法和装置。

背景技术：

1、多轮问答场景是自然语言处理技术领域中较为常见的一种任务场景。然而，在商业查询领域的聊天对话任务中，有一些用户问题需要用企业专有数据库获取信息来产生回答，而另一些用户问题则适合通过互联网获取相关信息来产生回答。此外，还有些用户问题是无效问题，如无意义的输入或者打招呼等不需要获取信息的问题。因此，在多轮问答场景中实现问题数据的精确意图分类对回答文本生成任务至关重要。

2、传统技术中，一般通过先训练一个分类模型预测意图类别，将预测得到的前几个意图类别作为候选类别，再从训练数据中随机选择这几个意图类别的对应样本作为样例，最后把这几个意图类别及其对应样例，加上用户问题构建成提示数据prompt，并交给大语言模型来做分类预测。然而，采用上述意图分类方法时，由于训练数据是随机选择得到的，具有一定的偶然性，从而容易导致大语言模型的意图分类存在偏差。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种更精确的问题数据的意图分类方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种问题数据的意图分类方法，包括：

3、获取待分类的目标问题数据；

4、对所述目标问题数据进行向量化处理，得到与所述目标问题数据对应的向量化结果；

5、利用所述向量化结果从向量数据库中分别匹配得到在每种预设的意图类别下的相似样本数据；

6、根据所述目标问题数据、所述相似样本数据以及所述相似样本数据对应的意图类别标签，生成第一提示语料；

7、将所述第一提示语料输入至第一大语言模型，得到所述第一大语言模型生成的与所述目标问题数据对应的意图分类结果。

8、在其中一个实施例中，所述对所述目标问题数据进行向量化处理，得到与所述目标问题数据对应的向量化结果，包括：

9、对所述目标问题数据进行命名实体识别，得到所述目标问题数据的实体识别结果；

10、根据与所述实体识别结果对应的实体类别，采用对应的类别字段替换所述目标问题数据中的所述实体识别结果，得到替换后的目标问题数据；

11、对所述替换后的目标问题数据进行分词处理，得到对应的分词结果；

12、将所述分词结果转换为对应的向量化数据，得到与所述目标问题数据对应的向量化结果。

13、在其中一个实施例中，所述获取待分类的目标问题数据，包括：

14、获取当前输入的目标对话数据，在所述目标对话数据之前产生的历史对话数据，以及所述历史对话数据对应的问题类别标签；

15、根据所述历史对话数据、所述问题类别标签以及所述目标对话数据，构建第二提示语料；

16、将所述第二提示语料输入至第二大语言模型，得到所述第二大语言模型生成的与所述目标对话数据对应的问题分类结果；

17、根据所述问题分类结果确定出所述目标问题数据。

18、在其中一个实施例中，所述将所述第二提示语料输入至第二大语言模型，得到所述第二大语言模型生成的与所述目标对话数据对应的问题分类结果，包括：

19、通过所述第二大语言模型利用自身的权重参数生成与所述第二提示语料对应的第一卷积结果；

20、通过所述第二大语言模型利用低秩矩阵生成与所述第二提示语料对应的第二卷积结果，所述低秩矩阵用于存储所述第二大语言模型在预训练微调阶段中学习到的模型参数；

21、通过所述第二大语言模型根据所述第一卷积结果和所述第二卷积结果，生成所述问题分类结果。

22、在其中一个实施例中，所述根据所述目标问题数据、所述相似样本数据以及所述相似样本数据对应的意图类别标签，生成第一提示语料，包括：

23、获取与当前应用场景匹配的角色描述信息，以及与每种所述意图类别对应的类别描述信息；

24、根据所述相似样本数据以及所述相似样本数据对应的意图类别标签，构建对应的问答语料；

25、对所述角色描述信息、所述类别描述信息、所述问答语料以及所述目标问题数据进行拼接处理，得到所述第一提示语料。

26、在其中一个实施例中，所述利用所述向量化结果从向量数据库中分别匹配得到在每种预设的意图类别下的相似样本数据，包括：

27、获取所述向量数据库中存储的在每种所述意图类别下的样本问题数据对应的样本向量；

28、根据所述向量化结果与所述样本向量之间的相似度，对所述样本向量进行排序，得到在每种所述意图类别下的排序后的样本向量；

29、根据所述样本向量的排序结果，确定出在每种所述意图类别下的预设数量个的相似样本向量；

30、将所述相似样本向量对应的样本问题数据作为所述相似样本数据。

31、第二方面，本技术还提供了一种问题数据的意图分类装置，包括：

32、问题获取模块，用于获取待分类的目标问题数据；

33、问题向量化模块，用于对所述目标问题数据进行向量化处理，得到与所述目标问题数据对应的向量化结果；

34、向量召回模块，用于利用所述向量化结果从向量数据库中分别匹配得到在每种预设的意图类别下的相似样本数据；

35、语料生成模块，用于根据所述目标问题数据、所述相似样本数据以及所述相似样本数据对应的意图类别标签，生成第一提示语料；

36、意图分类模块，用于将所述第一提示语料输入至第一大语言模型，得到所述第一大语言模型生成的与所述目标问题数据对应的意图分类结果。第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项实施例所述的问题数据的意图分类方法。

37、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项实施例所述的问题数据的意图分类方法。

38、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一项实施例所述的问题数据的意图分类方法。

39、上述问题数据的意图分类方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过对待分类的目标问题数据进行向量化处理，利用目标问题数据的向量化结果从向量数据库中分别匹配得到目标问题数据在每种预设的意图类别下的相似样本数据。根据目标问题数据、相似样本数据以及相似样本数据对应的意图类别标签，生成第一提示语料。将第一提示语料输入至第一大语言模型，得到第一大语言模型生成的与目标问题数据对应的意图分类结果，能够利用向量召回的方式选取得到与目标问题数据相似度较高的相似样本数据，为第一大语言模型学习问题数据的意图分类提供了强有力的参考消息，比现有技术中随机获取或固定设置的样本数据更具有分类价值，从而有助于第一大语言模型输出更精确的意图分类结果。此外，由于采用上述问题数据的意图分类方法，采用了每种预设的意图类别下的相似样本数据及其对应的意图类别标签与目标问题数据构建第一大语言模型的输入提示语料，能够丰富第一大语言模型处理的样本量，从而有助于第一大语言模型在特定的问题意图分类场景呈现更优的意图分类效果，例如更快的意图分类速度或更精确的意图分类结果。

技术特征：

1.一种问题数据的意图分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述目标问题数据进行向量化处理，得到与所述目标问题数据对应的向量化结果，包括：

3.根据权利要求1所述的方法，其特征在于，所述获取待分类的目标问题数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述第二提示语料输入至第二大语言模型，得到所述第二大语言模型生成的与所述目标对话数据对应的问题分类结果，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标问题数据、所述相似样本数据以及所述相似样本数据对应的意图类别标签，生成第一提示语料，包括：

6.根据权利要求1所述的方法，其特征在于，所述利用所述向量化结果从向量数据库中分别匹配得到在每种预设的意图类别下的相似样本数据，包括：

7.一种问题数据的意图分类装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种问题数据的意图分类方法和装置。所述方法包括：获取待分类的目标问题数据；对目标问题数据进行向量化处理，得到与目标问题数据对应的向量化结果；利用向量化结果从向量数据库中分别匹配得到在每种预设的意图类别下的相似样本数据；根据目标问题数据、相似样本数据以及相似样本数据对应的意图类别标签，生成第一提示语料；将第一提示语料输入至第一大语言模型，得到第一大语言模型生成的与目标问题数据对应的意图分类结果。采用本方法能够利用向量召回的方式选取得到与目标问题数据相似度较高的相似样本数据，为第一大语言模型学习问题数据的意图分类提供了强有力的参考消息，从而有助于第一大语言模型输出更精确的意图分类结果。

技术研发人员：熊玉竹,陈汝龙,曹梦远
受保护的技术使用者：企查查科技股份有限公司
技术研发日：
技术公布日：2024/9/23