一种深层神经网络和水声目标声纹特征提取方法
一种深层神经网络和水声目标声纹特征提取方法
【技术领域】
[0001] 本发明设及一种神经网络和特征提取方法，特别是一种深层神经网络和水声目标 声纹特征提取方法，属于目标识别领域。
【背景技术】
[0002] 水声信号中存在着如同指纹一样可区分个体的声纹特征。船舶福射噪声主要由发 电机、推进系统和船上辅助设备等声源产生，可W被探测设备所侦测获取。侦测到的水声信 号中存在着与其多声源相应的区别与其他型号船舶的声纹特征，声纹特征包含简单特征和 复杂特征，声纹特征中的线谱就是简单特征，运些特征线谱可W用频率、幅值和宽度描述， 而特征线谱间存在的关联关系则为复杂特征，可W更精细地用重构信号的谱图表示。目前 用于目标识别的水声信号特征提取方法均为浅层神经网络，尚无利用深层神经网络进行特 征提取，更无利用深层神经网络进行可用于识别目标个体的声纹特征提取。
[0003] 近些年来，深度学习（De邱Learning)作为机器学习 （Machine Leaning)研究中的 一个新的领域，W其在各个机器学习任务中所展现出来的优良的性能，得到了广泛的关注。 深度学习的引入也在一定程度上使得机器学习更加接近其原始的目标：人工智能 (Artificial Intelligent)。在经典机器学习方法中，人工智能系统基于系统输入特征学 习得到模型，从而实现分类和识别。在表示学习 （Representation Learning)方法中，人工 智能系统不仅学习如何从给定特征映射到系统输出，而且学习如何选择输入特征。然而在 实际应用中，影响输入观察的因素非常多，如何从中抽取出更具代表性的高层特征，是表示 学习所面临的困难。而基于深度学习的人工智能系统则实现了从底层的简单概念中构建得 到高层复杂概念的能力。深度学习之所W被称为"深度"，是相对支撑向量机（Support Vector Machine)、提升方法(Boosting)、最大赌方法等"浅层学习"方法而言的。深度学习 的概念源于人工神经网络(Adificial化ural Network)的研究，最早由多伦多大学的 化nton等提出，其中在输入层和输出层之间包含超过一个隐层的神经网络，即深层神经网 络(De邱Neural Network),就是一种深度学习结构。在神经网络研究领域，随机梯度下降 和误差反传算法作为传统训练多层网络的典型算法，在训练包含多个隐层的神经网络时， 难W达到理想的效果。其中，一个主要困难源于深层网络的非凸目标函数的局部最优点普 遍存在，从而使得随机初始化的网络在训练中容易陷入一个较差的局部最优点。2006年，预 训练(Pretraining)的概念被引入到了神经网络研究领域，很好地解决了 D順的模型优化所 面临的问题。随着深层神经网络在许多机器学习任务中取得了良好的性能，神经网络又迎 来新一轮的研究热潮。在机器视觉领域，深层神经网络在ImageNet竞赛中带来的显著性能 提升。在自然语言处理领域，循环神经网络语言模型被广泛地应用到各个领域，取得了显著 优于N元文法的性能。基于神经网络的方法也被应用到了许多自然语言处理任务中，例如机 器翻译，命名体识别，词性标注，语义分析等。基于深层神经网络的语音识别声学模型成为 了主流的建模方法，并在信息产业上取得了成功。
【发明内容】
[0004] 本发明的技术解决问题是：克服现有技术的不足，提供了一种深层神经网络和水 声目标声纹特征提取方法，该深层神经网络根据水声目标信号特点进行了适应性的设计， 利用该深层神经网络可W实现水声目标信号基频、谐波的准确提取W及原始信号谱的重 构，削弱原始信号谱中包含的噪声线谱，对原始信号谱产生净化的作用，减小干扰线谱对最 终船舶目标个体识别的影响，并适应频率漂移。
[0005] 本发明的技术解决方案是:一种深层神经网络，包括输入层、隐层和输出层，用于 水声目标声纹特征的提取，所述输入层中的节点数为水声目标信号原始信号谱的频点数、 基频取值范围内的所有频率的频点数W及谐波阶次之和，输出层的节点数为原始信号谱的 频点数，所述隐层的层数大于等于2,隐层的节点数小于输入层的节点数。
[0006] 所述深层神经网络由多个浅层神经网络顺序堆叠形成，所述浅层神经网络包括输 入层、隐层和输出层，浅层神经网络的隐层层数为1。
[0007] 按浅层网络堆叠顺序依次对浅层神经网络进行训练，并将在先神经浅层网络的隐 层输出作为相邻在后浅层神经网络的训练数据。
[0008] 对所有浅层网络进行预训练，将浅层神经网络学习得到的权重作为所述深度神经 网络对应层的初始化权重。
[0009] 在深度神经网络对应层的初始化权重基础上，对深层神经网络的权重进行微调， 使其性能达到最优。
[0010]所述深层神经网络和浅层神经网络的激活函数为si卵oid函数。
[0011] 采用批量梯度下降算法对所述深层神经网络和浅层神经网络进行训练。
[0012] 所述深层神经网络和浅层神经网络进行网络学习的代价函数为信号重构的均方 误差。
[0013] 所述深层神经网络和浅层神经网络采用批量梯度下降算法进行网络权重更新，具 体由公式：
[0014]
[001引给出，其中，Wi功网络j层到i层的权重系数，α为学习率。
[0016] -种基于深层神经网络的水声目标声纹特征提取方法，主要包括：
[0017] 获取水声目标原始信号谱的步骤；
[0018] 从水声目标原始信号谱中提取基频和谐波的步骤；
[0019] 将提取基频、谐波W及水声目标原始信号谱输入权利要求1中深层神经网络对原 始信号谱进行重构的步骤。
[0020] 本发明与现有技术相比的有益效果是：
[0021] 该深层神经网络根据水声目标信号特点进行了适应性的设计，可W实现水声目标 信号基频、谐波的准确提取W及原始信号谱的重构，削弱原始信号谱中包含的噪声线谱，对 原始信号谱产生净化的作用，减小干扰线谱对最终船舶目标个体识别的影响，与现有方法 相比，本发明具有一定的抗噪声干扰和频率漂移能力。
【附图说明】
[0022] 图1为本发明中深层神经网络的第一种示意图；
[0023] 图2为本发明中深层神经网络的第二种示意图；
[0024] 图3为本发明的方法流程图；
[0025] 图4为5层自编码网络堆叠形成示意图；
[0026] 图5为本发明实施例中重构误差随迭代次数变化的关系示意图；
[0027] 图6为本发明实施例中网络的收敛曲线示意图；
[0028] 图7为本发明实施例中微调后网络的收敛曲线示意图；
[0029] 图8为信噪比为-20地时深层神经网络的重构结果示意图；
[0030] 图9为信噪比为-28地时深层神经网络的重构结果示意图；
[0031] 图10为原始信号谱基频提取误差统计图。
【具体实施方式】
[0032] 下面结合附图对本发明的【具体实施方式】进行进一步的详细描述。
[0033] 图1和图2为本发明中深层神经网络示意图，从图1和图2可知，本发明提出的一种 深层神经网络，包括输入层、隐层和输出层，所述深层神经网络主要用于水声目标声纹特征 的提取，所述输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的 所有频率的频点数W及谐波阶次之和，输出层的节点数为原始信号谱的频点数，所述隐层 的层数大于等于2。
[0034] 深层神经网络使用原始信号谱作为监督信息，对其进行重构，网络隐层输出则可 W看成是对输入信号的编码表示。根据隐层节点数的不同，自编码网络可分成两种：
[0035] (i)隐层节点数小于输入节点数，网络隐层可看成是对信号的压缩编码；
[0036] (ii)隐层节点数大于输入节点数，网络隐层可更加充分的刻画输入信号的分布。
[0037] 本发明关注的问题是从受噪声污染的目标信号中重构原始信号谱，而原始信号谱 为稀疏分布的谐波信号，因此本发明采用第一种结构。
[0038] 所述深层神经网络可直接根据需要对输入层、隐层和输出层分别进行设定，也可 由多个浅层神经网络顺序堆叠形成，所述浅层神经网络包括输入层、隐层和输出层，其中隐 层的层数为1。
[0039] 当采用多个浅层神经网络顺序堆叠形成时，为了取得更好的效果，需要预先对每 一个浅层神经网络进行训练和学习，进行训练时，需要按浅层网络堆叠顺序依次对浅层神 经网络进行训练，并将在先神经浅层网络的隐层输出作为相邻在后浅层神经网络的训练数 据。在进行学习时，需要将所有浅层神经网络学习得到的权重作为所述深 度神经网络对应 层的初始化权重。
[0040] W图4中的5层自编码网络化口为例，该网络可W看成由化tl、Net2两个网络堆叠 而成。首先训练化tl网络并将其隐层输出作为化t2网络的训练数据。将化tl、Net2网络学习 得到的权重作为化t3网络对应层权重的初始化值，在此基础上，对化t3进行微调，使其性能 达到最优。
[0041] 为了使得W上的深层神经网络和浅层神经网络获取更好的效果，本发明在对深层 神经网络和浅层神经网络进行训练和学习时优选了w下方法：
[0042] (i)为了使网络具有非线性映射的能力，提高网络的学习性能，选择sigmoid函数 作为网络的激活函数。sigmoid函数是非线性函数，具有刻画非线性能力，并适用于归一化 信号。sigmoid函数基本形式如下：
[0043]
[0044] (ii)本发明使用批量梯度下降算法训练该网络。采用批量梯度下降算法具有快速 收敛的优点。
[0045] 网络学习的代价函数为信号重构的均方误差，对于样本数为N的数据集，重构误差 表达式如下：
[0046]
[0047] 其中，Xn为自编码网络的重构输出，Υη为干净目标信号。
[0048] (iii)采用批量梯度下降算法进行网络权重更新，具体由公式给出：
[0049]
[0050] 其中，Wij为网络j层到i层的权重系数，α为学习率。
[0051] (iv)使用批量梯度下降算法对网络进行微调。
[0052] 当然，对本领域的技术人员来讲，也可W采用其他的训练和学习方法对本发明中 的深层神经网络和浅层神经网络进行训练和学习，W达到本发明中深层神经网络的功能。
[0053] 如图3所示为本发明的方法流程图，从图3可知，本发明提出的一种水声目标声纹 特征提取方法，基于本发明提出的深层神经网络实现，具体包括：
[0054] 提取水声目标原始信号谱的步骤201;所述获取方式为采用目前常用的任何信号 采集装置或者传感器获得的真实原始信号谱数据，或者为试验状态下通过缩比模型等获取 的仿真原始信号谱，或者为计算机通过无噪声的水声目标信号与各种噪声叠加获得的模拟 原始信号谱。
[0055] 从水声目标原始信号谱中提取基频和谐波的步骤202;从原始信号谱中提取出目 标的基频和谐波;本发明采用神经网络结构从原始信号谱中提取出目标的基频和谐波，进 一步地，为了获得更好的声纹特征，采用深层神经网络结构从原始信号谱中提取出目标的 基频和谐波。
[0056] 将提取基频、谐波W及水声目标原始信号输入本发明中的深层神经网络对原始信 号进行重构的步骤203。
[0057] 需要注意的是，对装置的具体说明可W用来帮助方法的理解，对方法的说明也可 W用于帮助装置的理解。
[005引具体实施例
[0059] 本文所用自编码网络共有Ξ个隐藏层，各层的节点数如表1所示。其中输入层中 500个节点为原始信号谱的频点数，51个节点对应于在基频取值范围内的所有频率，5个节 点为3~7共5阶谐波阶次。
[0060] 表 1
[0061]
[0062] ~利用ijll练数据，训练单i层神经网络。I网络输入节点数为556、输出节点数为500,1 隐层节点数为100。图5给出了重构误差随迭代次数变化的关系。从图5中可知，当节点数小 于100时，重构误差随节点个数的增加呈指数减小，当节点数大于100时，重构误差随节点个 数的增加变化很小。
[0063] 待网络收敛之后，使用训练数据作为网络输入，得到该网络的隐层输出化，作为下 一网络的训练数据。训练新的单隐层自编码网络，网络输入、输出节点数为100,隐层节点数 为50。网络的收敛曲线如图6所示。从图6可知，当节点数小于100时，重构误差随节点个数的 增加呈指数减小，当节点数大于200时，重构误差随节点个数的增加变化很小。
[0064] 将运两个浅层网络按照图4所示的方法进行堆叠，得到深层的自编码网络。预训练 过程对网络参数进行了初始化，在此基础上，使用批量梯度下降算法对网络进行微调，网络 的收敛曲线如图7所示。从图7中可知，当节点数小于100时，重构误差随节点个数的增加呈 指数减小，当节点数大于100时，重构误差随节点个数的增加变化很小。
[0065] 利用W上的自编码深度神经网络进行水声目标信号声纹特征提取，获得的结果如 图8~图10所示，其中图8和图9所示为通过深度神经网络提取出目标信号的基频及其谐波， 并据此对仿真产生的含噪声原始信号谱进行重构得到的重构信号谱。图8为采用深度神经 网络从信噪比为-20地、最大频率漂移为0.2化的含噪信号中重构出原始信号谱的结果，其 中含噪谱中添加的噪声为高斯白噪声。从原始谱与重构谱的对比中可看出，重构信号的谐 波信息比含噪谱更加清晰干净；当信噪比降低至-28地时，深度神经网络仍可准确提取出基 频及其谐波信息，如图9所示。与原始信号谱对比发现，神经网络对目标的基频及其谐波在 频率和能量上的重构均较为准确，具备较强的抗噪声和抗频率漂移能力。如图10所示为其 中330个原始信号谱检测样本的基频提取结果，从图中的误差统计中可看出，深度神经网络 提取得到的目标的基频与真实的基频的误差非常小。
[0066] 本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。
【主权项】
1. 一种深层神经网络，包括输入层、隐层和输出层，用于水声目标声纹特征的提取，其 特征在于:所述输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内 的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，所述隐 层的层数大于等于2,隐层的节点数小于输入层的节点数。2. 根据权利要求1所述的一种深层神经网络，其特征在于，所述深层神经网络由多个浅 层神经网络顺序堆叠形成，所述浅层神经网络包括输入层、隐层和输出层，浅层神经网络的 隐层层数为1。3. 根据权利要求2所述的一种深层神经网络，其特征在于，按浅层网络堆叠顺序依次对 浅层神经网络进行训练，并将在先神经浅层网络的隐层输出作为相邻在后浅层神经网络的 训练数据。4. 根据权利要求2所述的一种深层神经网络，其特征在于，对所有浅层网络进行预训 练，将浅层神经网络学习得到的权重作为所述深度神经网络对应层的初始化权重。5. 根据权利要求4所述的一种深层神经网络，其特征在于，在深度神经网络对应层的初 始化权重基础上，对深层神经网络的权重进行微调，使其性能达到最优。6. 根据权利要求1~5中任一所述的一种深层神经网络，其特征在于，所述深层神经网 络和浅层神经网络的激活函数为sigmoid函数。7. 根据权利要求1~5中任一所述的一种深层神经网络，其特征在于，采用批量梯度下 降算法对所述深层神经网络和浅层神经网络进行训练。8. 根据权利要求1~5中任一所述的一种深层神经网络，其特征在于，所述深层神经网 络和浅层神经网络进行网络学习的代价函数为信号重构的均方误差。9. 根据权利要求1~4任一所述的一种深层神经网络，其特征在于，所述深层神经网络 和浅层神经网络采用批量梯度下降算法进行网络权重更新，具体由公式：给出，其中,W1沩网络j层到i层的权重系数，α为学习率。10. -种基于权利要求1中深层神经网络的水声目标声纹特征提取方法，其特征在于， 主要包括： 获取水声目标原始信号谱的步骤； 从水声目标原始信号谱中提取基频和谐波的步骤； 将提取基频、谐波以及水声目标原始信号谱输入权利要求1中深层神经网络对原始信 号谱进行重构的步骤。
【专利摘要】一种深层神经网络和水声目标声纹特征提取方法，深层神经网络包括输入层、隐层和输出层，用于水声目标声纹特征的提取，输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，隐层的节点数小于输入层的节点数；水声目标声纹特征提取方法包括信号获取步骤、基频与谐波获取步骤和重构步骤，该深层神经网络根据水声目标信号特点进行了适应性的修改，可以实现水声目标信号基频、谐波的准确提取以及原始信号谱的重构，削弱原始信号谱中包含的噪声线谱，对原始信号谱产生净化的作用，减小干扰线谱对最终船舶目标个体识别的影响，并能适应频率漂移。
【IPC分类】G06N3/08, G06K9/00
【公开号】CN105488466
【申请号】CN201510844034
【发明人】潘悦, 吴玺宏, 李江乔, 皇甫立
【申请人】中国船舶工业系统工程研究院
【公开日】2016年4月13日
【申请日】2015年11月26日
【技术领域】
[0001] 本发明设及一种神经网络和特征提取方法，特别是一种深层神经网络和水声目标 声纹特征提取方法，属于目标识别领域。
【背景技术】
[0002] 水声信号中存在着如同指纹一样可区分个体的声纹特征。船舶福射噪声主要由发 电机、推进系统和船上辅助设备等声源产生，可W被探测设备所侦测获取。侦测到的水声信 号中存在着与其多声源相应的区别与其他型号船舶的声纹特征，声纹特征包含简单特征和 复杂特征，声纹特征中的线谱就是简单特征，运些特征线谱可W用频率、幅值和宽度描述， 而特征线谱间存在的关联关系则为复杂特征，可W更精细地用重构信号的谱图表示。目前 用于目标识别的水声信号特征提取方法均为浅层神经网络，尚无利用深层神经网络进行特 征提取，更无利用深层神经网络进行可用于识别目标个体的声纹特征提取。
[0003] 近些年来，深度学习（De邱Learning)作为机器学习 （Machine Leaning)研究中的 一个新的领域，W其在各个机器学习任务中所展现出来的优良的性能，得到了广泛的关注。 深度学习的引入也在一定程度上使得机器学习更加接近其原始的目标：人工智能 (Artificial Intelligent)。在经典机器学习方法中，人工智能系统基于系统输入特征学 习得到模型，从而实现分类和识别。在表示学习 （Representation Learning)方法中，人工 智能系统不仅学习如何从给定特征映射到系统输出，而且学习如何选择输入特征。然而在 实际应用中，影响输入观察的因素非常多，如何从中抽取出更具代表性的高层特征，是表示 学习所面临的困难。而基于深度学习的人工智能系统则实现了从底层的简单概念中构建得 到高层复杂概念的能力。深度学习之所W被称为"深度"，是相对支撑向量机（Support Vector Machine)、提升方法(Boosting)、最大赌方法等"浅层学习"方法而言的。深度学习 的概念源于人工神经网络(Adificial化ural Network)的研究，最早由多伦多大学的 化nton等提出，其中在输入层和输出层之间包含超过一个隐层的神经网络，即深层神经网 络(De邱Neural Network),就是一种深度学习结构。在神经网络研究领域，随机梯度下降 和误差反传算法作为传统训练多层网络的典型算法，在训练包含多个隐层的神经网络时， 难W达到理想的效果。其中，一个主要困难源于深层网络的非凸目标函数的局部最优点普 遍存在，从而使得随机初始化的网络在训练中容易陷入一个较差的局部最优点。2006年，预 训练(Pretraining)的概念被引入到了神经网络研究领域，很好地解决了 D順的模型优化所 面临的问题。随着深层神经网络在许多机器学习任务中取得了良好的性能，神经网络又迎 来新一轮的研究热潮。在机器视觉领域，深层神经网络在ImageNet竞赛中带来的显著性能 提升。在自然语言处理领域，循环神经网络语言模型被广泛地应用到各个领域，取得了显著 优于N元文法的性能。基于神经网络的方法也被应用到了许多自然语言处理任务中，例如机 器翻译，命名体识别，词性标注，语义分析等。基于深层神经网络的语音识别声学模型成为 了主流的建模方法，并在信息产业上取得了成功。
【发明内容】
[0004] 本发明的技术解决问题是：克服现有技术的不足，提供了一种深层神经网络和水 声目标声纹特征提取方法，该深层神经网络根据水声目标信号特点进行了适应性的设计， 利用该深层神经网络可W实现水声目标信号基频、谐波的准确提取W及原始信号谱的重 构，削弱原始信号谱中包含的噪声线谱，对原始信号谱产生净化的作用，减小干扰线谱对最 终船舶目标个体识别的影响，并适应频率漂移。
[0005] 本发明的技术解决方案是:一种深层神经网络，包括输入层、隐层和输出层，用于 水声目标声纹特征的提取，所述输入层中的节点数为水声目标信号原始信号谱的频点数、 基频取值范围内的所有频率的频点数W及谐波阶次之和，输出层的节点数为原始信号谱的 频点数，所述隐层的层数大于等于2,隐层的节点数小于输入层的节点数。
[0006] 所述深层神经网络由多个浅层神经网络顺序堆叠形成，所述浅层神经网络包括输 入层、隐层和输出层，浅层神经网络的隐层层数为1。
[0007] 按浅层网络堆叠顺序依次对浅层神经网络进行训练，并将在先神经浅层网络的隐 层输出作为相邻在后浅层神经网络的训练数据。
[0008] 对所有浅层网络进行预训练，将浅层神经网络学习得到的权重作为所述深度神经 网络对应层的初始化权重。
[0009] 在深度神经网络对应层的初始化权重基础上，对深层神经网络的权重进行微调， 使其性能达到最优。
[0010]所述深层神经网络和浅层神经网络的激活函数为si卵oid函数。
[0011] 采用批量梯度下降算法对所述深层神经网络和浅层神经网络进行训练。
[0012] 所述深层神经网络和浅层神经网络进行网络学习的代价函数为信号重构的均方 误差。
[0013] 所述深层神经网络和浅层神经网络采用批量梯度下降算法进行网络权重更新，具 体由公式：
[0014]
[001引给出，其中，Wi功网络j层到i层的权重系数，α为学习率。
[0016] -种基于深层神经网络的水声目标声纹特征提取方法，主要包括：
[0017] 获取水声目标原始信号谱的步骤；
[0018] 从水声目标原始信号谱中提取基频和谐波的步骤；
[0019] 将提取基频、谐波W及水声目标原始信号谱输入权利要求1中深层神经网络对原 始信号谱进行重构的步骤。
[0020] 本发明与现有技术相比的有益效果是：
[0021] 该深层神经网络根据水声目标信号特点进行了适应性的设计，可W实现水声目标 信号基频、谐波的准确提取W及原始信号谱的重构，削弱原始信号谱中包含的噪声线谱，对 原始信号谱产生净化的作用，减小干扰线谱对最终船舶目标个体识别的影响，与现有方法 相比，本发明具有一定的抗噪声干扰和频率漂移能力。
【附图说明】
[0022] 图1为本发明中深层神经网络的第一种示意图；
[0023] 图2为本发明中深层神经网络的第二种示意图；
[0024] 图3为本发明的方法流程图；
[0025] 图4为5层自编码网络堆叠形成示意图；
[0026] 图5为本发明实施例中重构误差随迭代次数变化的关系示意图；
[0027] 图6为本发明实施例中网络的收敛曲线示意图；
[0028] 图7为本发明实施例中微调后网络的收敛曲线示意图；
[0029] 图8为信噪比为-20地时深层神经网络的重构结果示意图；
[0030] 图9为信噪比为-28地时深层神经网络的重构结果示意图；
[0031] 图10为原始信号谱基频提取误差统计图。
【具体实施方式】
[0032] 下面结合附图对本发明的【具体实施方式】进行进一步的详细描述。
[0033] 图1和图2为本发明中深层神经网络示意图，从图1和图2可知，本发明提出的一种 深层神经网络，包括输入层、隐层和输出层，所述深层神经网络主要用于水声目标声纹特征 的提取，所述输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的 所有频率的频点数W及谐波阶次之和，输出层的节点数为原始信号谱的频点数，所述隐层 的层数大于等于2。
[0034] 深层神经网络使用原始信号谱作为监督信息，对其进行重构，网络隐层输出则可 W看成是对输入信号的编码表示。根据隐层节点数的不同，自编码网络可分成两种：
[0035] (i)隐层节点数小于输入节点数，网络隐层可看成是对信号的压缩编码；
[0036] (ii)隐层节点数大于输入节点数，网络隐层可更加充分的刻画输入信号的分布。
[0037] 本发明关注的问题是从受噪声污染的目标信号中重构原始信号谱，而原始信号谱 为稀疏分布的谐波信号，因此本发明采用第一种结构。
[0038] 所述深层神经网络可直接根据需要对输入层、隐层和输出层分别进行设定，也可 由多个浅层神经网络顺序堆叠形成，所述浅层神经网络包括输入层、隐层和输出层，其中隐 层的层数为1。
[0039] 当采用多个浅层神经网络顺序堆叠形成时，为了取得更好的效果，需要预先对每 一个浅层神经网络进行训练和学习，进行训练时，需要按浅层网络堆叠顺序依次对浅层神 经网络进行训练，并将在先神经浅层网络的隐层输出作为相邻在后浅层神经网络的训练数 据。在进行学习时，需要将所有浅层神经网络学习得到的权重作为所述深 度神经网络对应 层的初始化权重。
[0040] W图4中的5层自编码网络化口为例，该网络可W看成由化tl、Net2两个网络堆叠 而成。首先训练化tl网络并将其隐层输出作为化t2网络的训练数据。将化tl、Net2网络学习 得到的权重作为化t3网络对应层权重的初始化值，在此基础上，对化t3进行微调，使其性能 达到最优。
[0041] 为了使得W上的深层神经网络和浅层神经网络获取更好的效果，本发明在对深层 神经网络和浅层神经网络进行训练和学习时优选了w下方法：
[0042] (i)为了使网络具有非线性映射的能力，提高网络的学习性能，选择sigmoid函数 作为网络的激活函数。sigmoid函数是非线性函数，具有刻画非线性能力，并适用于归一化 信号。sigmoid函数基本形式如下：
[0043]
[0044] (ii)本发明使用批量梯度下降算法训练该网络。采用批量梯度下降算法具有快速 收敛的优点。
[0045] 网络学习的代价函数为信号重构的均方误差，对于样本数为N的数据集，重构误差 表达式如下：
[0046]
[0047] 其中，Xn为自编码网络的重构输出，Υη为干净目标信号。
[0048] (iii)采用批量梯度下降算法进行网络权重更新，具体由公式给出：
[0049]
[0050] 其中，Wij为网络j层到i层的权重系数，α为学习率。
[0051] (iv)使用批量梯度下降算法对网络进行微调。
[0052] 当然，对本领域的技术人员来讲，也可W采用其他的训练和学习方法对本发明中 的深层神经网络和浅层神经网络进行训练和学习，W达到本发明中深层神经网络的功能。
[0053] 如图3所示为本发明的方法流程图，从图3可知，本发明提出的一种水声目标声纹 特征提取方法，基于本发明提出的深层神经网络实现，具体包括：
[0054] 提取水声目标原始信号谱的步骤201;所述获取方式为采用目前常用的任何信号 采集装置或者传感器获得的真实原始信号谱数据，或者为试验状态下通过缩比模型等获取 的仿真原始信号谱，或者为计算机通过无噪声的水声目标信号与各种噪声叠加获得的模拟 原始信号谱。
[0055] 从水声目标原始信号谱中提取基频和谐波的步骤202;从原始信号谱中提取出目 标的基频和谐波;本发明采用神经网络结构从原始信号谱中提取出目标的基频和谐波，进 一步地，为了获得更好的声纹特征，采用深层神经网络结构从原始信号谱中提取出目标的 基频和谐波。
[0056] 将提取基频、谐波W及水声目标原始信号输入本发明中的深层神经网络对原始信 号进行重构的步骤203。
[0057] 需要注意的是，对装置的具体说明可W用来帮助方法的理解，对方法的说明也可 W用于帮助装置的理解。
[005引具体实施例
[0059] 本文所用自编码网络共有Ξ个隐藏层，各层的节点数如表1所示。其中输入层中 500个节点为原始信号谱的频点数，51个节点对应于在基频取值范围内的所有频率，5个节 点为3~7共5阶谐波阶次。
[0060] 表 1
[0061]
[0062] ~利用ijll练数据，训练单i层神经网络。I网络输入节点数为556、输出节点数为500,1 隐层节点数为100。图5给出了重构误差随迭代次数变化的关系。从图5中可知，当节点数小 于100时，重构误差随节点个数的增加呈指数减小，当节点数大于100时，重构误差随节点个 数的增加变化很小。
[0063] 待网络收敛之后，使用训练数据作为网络输入，得到该网络的隐层输出化，作为下 一网络的训练数据。训练新的单隐层自编码网络，网络输入、输出节点数为100,隐层节点数 为50。网络的收敛曲线如图6所示。从图6可知，当节点数小于100时，重构误差随节点个数的 增加呈指数减小，当节点数大于200时，重构误差随节点个数的增加变化很小。
[0064] 将运两个浅层网络按照图4所示的方法进行堆叠，得到深层的自编码网络。预训练 过程对网络参数进行了初始化，在此基础上，使用批量梯度下降算法对网络进行微调，网络 的收敛曲线如图7所示。从图7中可知，当节点数小于100时，重构误差随节点个数的增加呈 指数减小，当节点数大于100时，重构误差随节点个数的增加变化很小。
[0065] 利用W上的自编码深度神经网络进行水声目标信号声纹特征提取，获得的结果如 图8~图10所示，其中图8和图9所示为通过深度神经网络提取出目标信号的基频及其谐波， 并据此对仿真产生的含噪声原始信号谱进行重构得到的重构信号谱。图8为采用深度神经 网络从信噪比为-20地、最大频率漂移为0.2化的含噪信号中重构出原始信号谱的结果，其 中含噪谱中添加的噪声为高斯白噪声。从原始谱与重构谱的对比中可看出，重构信号的谐 波信息比含噪谱更加清晰干净；当信噪比降低至-28地时，深度神经网络仍可准确提取出基 频及其谐波信息，如图9所示。与原始信号谱对比发现，神经网络对目标的基频及其谐波在 频率和能量上的重构均较为准确，具备较强的抗噪声和抗频率漂移能力。如图10所示为其 中330个原始信号谱检测样本的基频提取结果，从图中的误差统计中可看出，深度神经网络 提取得到的目标的基频与真实的基频的误差非常小。
[0066] 本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。
【主权项】
1. 一种深层神经网络，包括输入层、隐层和输出层，用于水声目标声纹特征的提取，其 特征在于:所述输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内 的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，所述隐 层的层数大于等于2,隐层的节点数小于输入层的节点数。2. 根据权利要求1所述的一种深层神经网络，其特征在于，所述深层神经网络由多个浅 层神经网络顺序堆叠形成，所述浅层神经网络包括输入层、隐层和输出层，浅层神经网络的 隐层层数为1。3. 根据权利要求2所述的一种深层神经网络，其特征在于，按浅层网络堆叠顺序依次对 浅层神经网络进行训练，并将在先神经浅层网络的隐层输出作为相邻在后浅层神经网络的 训练数据。4. 根据权利要求2所述的一种深层神经网络，其特征在于，对所有浅层网络进行预训 练，将浅层神经网络学习得到的权重作为所述深度神经网络对应层的初始化权重。5. 根据权利要求4所述的一种深层神经网络，其特征在于，在深度神经网络对应层的初 始化权重基础上，对深层神经网络的权重进行微调，使其性能达到最优。6. 根据权利要求1~5中任一所述的一种深层神经网络，其特征在于，所述深层神经网 络和浅层神经网络的激活函数为sigmoid函数。7. 根据权利要求1~5中任一所述的一种深层神经网络，其特征在于，采用批量梯度下 降算法对所述深层神经网络和浅层神经网络进行训练。8. 根据权利要求1~5中任一所述的一种深层神经网络，其特征在于，所述深层神经网 络和浅层神经网络进行网络学习的代价函数为信号重构的均方误差。9. 根据权利要求1~4任一所述的一种深层神经网络，其特征在于，所述深层神经网络 和浅层神经网络采用批量梯度下降算法进行网络权重更新，具体由公式：给出，其中,W1沩网络j层到i层的权重系数，α为学习率。10. -种基于权利要求1中深层神经网络的水声目标声纹特征提取方法，其特征在于， 主要包括： 获取水声目标原始信号谱的步骤； 从水声目标原始信号谱中提取基频和谐波的步骤； 将提取基频、谐波以及水声目标原始信号谱输入权利要求1中深层神经网络对原始信 号谱进行重构的步骤。
【专利摘要】一种深层神经网络和水声目标声纹特征提取方法，深层神经网络包括输入层、隐层和输出层，用于水声目标声纹特征的提取，输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，隐层的节点数小于输入层的节点数；水声目标声纹特征提取方法包括信号获取步骤、基频与谐波获取步骤和重构步骤，该深层神经网络根据水声目标信号特点进行了适应性的修改，可以实现水声目标信号基频、谐波的准确提取以及原始信号谱的重构，削弱原始信号谱中包含的噪声线谱，对原始信号谱产生净化的作用，减小干扰线谱对最终船舶目标个体识别的影响，并能适应频率漂移。
【IPC分类】G06N3/08, G06K9/00
【公开号】CN105488466
【申请号】CN201510844034
【发明人】潘悦, 吴玺宏, 李江乔, 皇甫立
【申请人】中国船舶工业系统工程研究院
【公开日】2016年4月13日
【申请日】2015年11月26日
最新回复(0)