答案生成方法、装置、电子设备及存储介质与流程

本发明涉及自然语言处理，尤其涉及一种答案生成方法、装置、电子设备及存储介质。

背景技术：

1、检索增强生成(retrieval-augmented generation，rag)技术是一种将检索和生成结合的技术，大语言模型在基于用户问题生成答案时，会先从大量的文档形成的知识库中检索出相关信息，并基于这些检索出的信息进行回答或生成答案，提高回答的质量。

2、现有的rag技术主要是基于文本信息的检索，对于非文本信息的检索效果较差，导致生成的答案的准确性低。

技术实现思路

1、本发明提供一种答案生成方法、装置、电子设备及存储介质，用以解决现有技术中生成的答案的准确性低的问题。

2、本发明提供一种答案生成方法，包括：

3、获取用户输入的用户问题；

4、对所述用户问题进行转化，得到所述用户问题的向量；

5、基于所述用户问题的向量和预先构建的知识库，生成所述用户问题的答案；所述知识库包括至少一个文档的目标向量，所述文档包括文本、图片和表格中的至少一项，所述目标向量包括文本块向量、文本摘要向量、图片摘要向量、表格摘要向量、表格向量和图片向量中的至少一项。

6、根据本发明提供的一种答案生成方法，所述知识库是基于以下步骤构建得到的：分别对各所述文档进行解析，得到解析结果；所述解析结果包括所述文档中的每个文字的坐标信息或者所述文档中每个要素的坐标信息；所述要素为标题、所述标题对应的原文文本、所述标题对应的图片、所述标题对应的表格；

7、基于各所述文档中的每个文字的坐标信息和各所述文档中每个要素的坐标信息，对各所述文档进行还原，得到各所述文档对应的还原文档；所述还原文档具有各所述文档的层级结构；基于各所述还原文档，构建所述知识库。

8、根据本发明提供的一种答案生成方法，所述基于各所述还原文档，构建所述知识库，包括：

9、针对每个所述还原文档，按照所述还原文档对应的所述文档的层级结构，将所述还原文档中的文本划分为多个所述文本块；

10、基于各所述文本块、所述图片和所述表格中的至少一项，构建所述知识库。

11、根据本发明提供的一种答案生成方法，所述基于各所述文本块、所述图片和所述表格中的至少一项，构建所述知识库，包括：

12、针对每个所述文本块，将所述文本块中的文本输入至大语言模型，得到所述大语言模型输出的摘要描述文本；所述大语言模型是基于样本文档对应的样本文本块训练得到的；

13、将所述图片输入至多模态大语言模型，得到所述多模态大语言模型输出的图片摘要描述文本；所述多模态大语言模型是基于所述样本文档对应的样本图片训练得到的；

14、将所述表格输入至所述多模态大语言模型，得到所述多模态大语言模型输出的表格摘要描述文本；

15、分别确定所述文本块对应的所述文本块向量、所述摘要描述文本对应的所述文本摘要向量、所述还原文档中的所述图片对应的所述图片向量、所述图片摘要描述文本对应的所述图片摘要向量、所述表格摘要描述文本对应的所述表格摘要向量和所述还原文档中的所述表格对应的所述表格向量中的至少一项；

16、基于各所述文本块向量、各所述文本摘要向量、各所述图片向量、各所述图片摘要向量、各所述表格摘要向量和各所述表格向量中的至少一项，构建所述知识库。

17、根据本发明提供的一种答案生成方法，所述分别对各所述文档进行解析，得到解析结果，包括：

18、使用版面分析模型对各所述文档进行解析，得到各所述文档中每个要素的坐标信息；

19、使用文档解析工具对各所述文档进行解析，得到各所述文档中的每个文字的坐标信息。

20、根据本发明提供的一种答案生成方法，所述基于所述用户问题的向量和预先构建的知识库，生成所述用户问题的答案，包括：

21、基于所述用户问题的向量，从所述知识库中的所述文本块向量、所述文本摘要向量、所述图片摘要向量和所述表格摘要向量中的至少一项进行召回，得到第一召回结果；所述第一召回结果包括所述用户问题的向量与所述知识库中的所述文本块向量、所述文本摘要向量、所述图片摘要向量和所述表格摘要向量中的至少一项之间的第一关联值；

22、基于前n个第一关联值，分别确定所述前n个第一关联值对应的所述文本块向量、所述文本摘要向量、所述图片摘要向量和所述表格摘要向量中的至少一项与所述用户问题的向量之间的第一分数值；所述n为正整数；

23、基于前m个第一分数值和所述用户问题的向量，生成所述用户问题的答案，所述m为正整数。

24、根据本发明提供的一种答案生成方法，所述方法还包括：

25、在从所述知识库中的所述文本块向量、所述文本摘要向量、所述图片摘要向量和所述表格摘要向量中的至少一项召回失败的情况下，从所述知识库中的所述表格向量和/或所述图片向量进行召回，得到第二召回结果；所述第二召回结果包括所述用户问题的向量与所述知识库中的所述表格向量和/或所述图片向量之间的第二关联值；

26、基于前n个第二关联值，分别确定所述前n个第二关联值对应的所述表格向量和/或所述图片向量与所述用户问题的向量之间的第二分数值；

27、基于前m个第二分数值和所述用户问题的向量，生成所述用户问题的答案。

28、本发明还提供一种答案生成装置，包括：

29、获取模块，用于获取用户输入的用户问题；

30、转化模块，用于对所述用户问题进行转化，得到所述用户问题的向量；

31、第一生成模块，用于基于所述用户问题的向量和预先构建的知识库，生成所述用户问题的答案；所述知识库包括至少一个文档的目标向量，所述文档包括文本、图片和表格中的至少一项，所述目标向量包括文本块向量、文本摘要向量、图片摘要向量、表格摘要向量、表格向量和图片向量中的至少一项。

32、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述答案生成方法。

33、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述答案生成方法。

34、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述答案生成方法。

35、本发明提供的答案生成方法、装置、电子设备及存储介质，通过获取用户输入的用户问题；所述用户问题进行转化，得到所述用户问题的向量；基于所述用户问题的向量和预先构建的知识库，生成所述用户问题的答案；所述知识库包括至少一个文档的目标向量，所述文档包括文本、图片和表格中的至少一项，所述目标向量包括文本块向量、文本摘要向量、图片摘要向量、表格摘要向量、表格向量和图片向量中的至少一项。通过预先构建的知识库，能够准确生成用户问题的答案，提升答案的准确性，进而提升用户问题的回答质量。

技术特征：

1.一种答案生成方法，其特征在于，包括：

2.根据权利要求1所述的答案生成方法，其特征在于，所述知识库是基于以下步骤构建得到的：

3.根据权利要求2所述的答案生成方法，其特征在于，所述基于各所述还原文档，构建所述知识库，包括：

4.根据权利要求3所述的答案生成方法，其特征在于，所述基于各所述文本块、所述图片和所述表格中的至少一项，构建所述知识库，包括：

5.根据权利要求2所述的答案生成方法，其特征在于，所述分别对各所述文档进行解析，得到解析结果，包括：

6.根据权利要求1至5任一项所述的答案生成方法，其特征在于，所述基于所述用户问题的向量和预先构建的知识库，生成所述用户问题的答案，包括：

7.根据权利要求6所述的答案生成方法，其特征在于，所述方法还包括：

8.一种答案生成装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述答案生成方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述答案生成方法。

技术总结
本发明提供一种答案生成方法、装置、电子设备及存储介质，涉及自然语言处理技术领域，该方法包括：获取用户输入的用户问题；对所述用户问题进行转化，得到所述用户问题的向量；基于所述用户问题的向量和预先构建的知识库，生成所述用户问题的答案；所述知识库包括至少一个文档的目标向量，所述文档包括文本、图片和表格中的至少一项，所述目标向量包括文本块向量、文本摘要向量、图片摘要向量、表格摘要向量、表格向量和图片向量中的至少一项。通过预先构建的知识库，能够准确生成用户问题的答案，提升答案的准确性，进而提升用户问题的回答质量。

技术研发人员：陈维尧,刘振宇,金雯,王波,方锐
受保护的技术使用者：元保科创（北京）科技有限公司
技术研发日：
技术公布日：2024/9/23