一、神经网络的学习误差函数及泛化能力（论文文献综述）
杨静[1]（2020）在《旋转机械早期故障诊断关键技术研究》文中提出旋转机械是航空航天、电力、交通、石油化工和国防工业等领域广泛使用的关键设备,其作业环境恶劣、作业条件复杂,在长期作业过程中,机械性能不断退化,故障频发。一旦出现故障,不仅严重制约企业的生产效率、降低产品质量、影响企业的市场竞争力,使企业蒙受巨大经济损失,甚至造成无法弥补的人员伤亡。通过振动监测可以获得大量含有设备运行信息的数据和参数图形,如频谱图、三维谱图、阶比图等。如何利用振动数据和参数图形及时准确地提取表征设备健康状态的信息,从而发现设备异常并确定故障的严重程度,对提高旋转机械运行的可靠性和稳定性具有重要意义。目前的研究主要针对特征明显、数据无关联关系、样本平衡且信息完整的故障诊断问题,这些研究成果能够提取故障特征并准确判定故障类型。但随着维修模式从被动向主动方向发展,故障诊断技术的智能化和实用化程度要求不断提高,诊断方法需要能够自适应地及时发现实际工业系统中设备的早期故障,为设备后期维护提供可靠依据,而现有研究成果难以满足要求。因此,为了解决以上问题,并考虑到早期故障具有特征微弱、特征信息耦合和不完备等特点,开展旋转机械早期故障诊断关键技术研究工作,具有重要的学术意义和工程应用价值。本论文开展的研究工作主要包括以下几个方面。（1）基于振动信号分析的旋转机械早期故障诊断方法研究旋转机械在运行过程中会产生含有多种频率成分的周期性振动信号,这些信号通常分为两类:1)仅与旋转部件本身弹性有关的振动;2)反映旋转部件损伤情况的振动。因此,基于振动信号分析可以有效地实现旋转机械故障诊断。然而,由于工业过程的复杂性和作业环境的恶劣性,旋转机械产生的振动信号通常是非平稳、非线性且含有强背景噪声。直接利用原始振动信号难以挖掘出隐含在其中的早期微弱故障特征。考虑到深度自编码器具备自动提取特征的优良性能,本论文提出了一种基于改进深度稀疏自编码器网络的故障诊断方法,以99%以上的平均识别准确度实现对旋转机械（无论加载与否）早期故障模式识别和严重程度确定。（2）数据相关条件下的旋转机械复合故障诊断方法研究现代旋转机械的组成单元之间相互关联且相互影响,整个设备系统具有强烈的不确定性和非线性特征;表征设备运行模态的参数种类繁多、高维稀疏、不易量化且难以区分。导致监测系统获取的反映系统运行机理和状态参数的数据具有海量性和相关性,使得早期复合故障普遍存在于各类旋转机械中。然而,现有的针对单一设备、子系统和子单元的故障诊断方法难以发现组成单元之间的关联关系,从而导致对复合故障的误诊率和漏诊率非常高。因此,本论文通过对关联数据进行分析与处理,并考虑到深度稀疏自编码器自适应提取特征和数据降维的性能,提出了一种基于相关分析和改进稀疏自编码器网络的故障诊断方法,以99.4%以上的平均诊断准确度实现加载旋转机械早期复合故障诊断。（3）数据非完备条件下的旋转机械故障诊断方法研究目前,旋转机械故障诊断方法的设计大都基于类分布大致平衡和获取的数据完整这一假设,通常假定用于训练的设备的各类健康状态样本数量大致相等,并且构成样本的数据没有缺失。事实上,由监测系统获取的大部分都是正常状态数据,只有极少量故障状态数据。此外,受传感器故障、通信线路以及人为因素等影响,实际采集的信号可能是不完整的,从而造成隐含在信号中的信息丢失。以上数据非完备普遍存在的现状极大地影响了故障诊断方法的有效性和准确性。因此,本论文在设计变尺度重采样策略和多水平去噪策略的基础上,提出了一种基于集成融合自编码器网络的故障诊断方法,以99.69%以上的平均诊断准确度实现数据不平衡和数据局部缺失条件下的旋转机械故障诊断。（4）基于振动双谱图识别的旋转机械早期故障诊断方法研究旋转机械早期故障的特征信号非常微弱且具有稀疏性,背景噪声的幅值远大于特征信号且几乎分布在整个频带范围内,信噪比很低。相比一维振动数据,具有强去噪能力的双谱图中包含设备运行状态的信息量更丰富。因此,考虑到双谱图和增强型超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks,ESRGAN）的优良性能,本论文首先基于双谱分析技术获取旋转机械的振动双谱图,并将其转换为存储需求更小的二维灰度图;然后,基于ESRGAN设计超分辨率重建策略,对灰度图进行清晰化处理,提高图像的分辨率。在此基础上,提出了适用于振动双谱图识别的改进卷积神经网络（Convolutional Neural Network,CNN）分类模型,以99.99%和100%的平均识别准确度分别检测出不同型号滚动轴承早期故障信号。以更加直观、更易被操作人员理解的可视化方式,实现旋转机械早期故障诊断。
李思宇[2]（2020）在《深度学习中正则化方法及其在眼科影像的应用》文中指出随着工业的进步和科技的高速发展,我们进入了智能化时代。人工智能已经在人们的日常生活中扮演着越来越重要的角色,深度学习在这一过程中发挥着重要的作用。然而随着数据的海量增加,所提出模型的学习会变得越来越困难与复杂,延长了工作的时间和增加了学习的成本,给日常的生活应用带来了诸多不便。与此同时,当所提出模型的学习过程变得非常复杂时,在这个过程中会出现真实的结果与学习的结果存在很大的误差,这使得所提出的方法在工业应用方面造成一定的损失并带来了不必要的风险。针对上述存在的问题,在这篇文章中以简化模型的学习和提高模型学习的效率与精度为目标,以深度神经网络与正则化为手段,以青光眼的眼科疾病检测为应用背景开展相应的研究,同时,文章的创新和主要贡献具体包括三个方面:（1）提出了一种新颖的1l/2组正则化深度神经网络方法,模型随着每个样本数据学习后立即更新,减轻了模型过拟合的情形和简化了网络的结构与参数,通过正则化方法的约束使得模型的真实输出和学习得到的输出之间的误差尽可能地小,加快了模型学习的效率和增加了模型的精度,同时在理论上证明所提出模型的收敛性并采用数值模拟实验进行相关的检验。（2）提出了基于随机森林的混合深度神经网络方法来对青光眼的眼科疾病进行检测和分类,针对眼科影像病变区域边界低对比度的影响,模型采用端到端和联合局部特征的自动学习方式,提高了模型的泛化能力,有效地改变网络的性能和减少影像特征信息丢失造成的损失,给模型的学习提供了很好的鲁棒性,改善了模型对人工标注特征的依赖,降低了学习的成本和提升了检测的效率以及增加了检测的准确度。（3）提出了基于Attention机制的组正则化深度神经网络方法来对视网膜的眼科疾病进行分割和检测,针对不同影像之间病变的形状和大小存在不一致,以及影像之间对比度和局部强度的变化,模型采用组正则化减少了与诊断无关的诸多干扰因素的影响,并且模型从每个网络层中提取相关的特征信息,在检测过程中增加了信息的多样性,使得该模型最终输出的结果获得了更高的精度,为了更能突出所提出方法的有效性,将所提出的方法与基于随机森林的神经网络方法进行相关的对比,结果表明所提出的方法具有最好的性能表现。
杨思博[3]（2020）在《基于二进制方法和光滑组L1/2方法的神经网络结构优化研究》文中提出人工神经网络是对生物神经元之间互相连接和大脑若干功能的模仿,经过适当的数学描述进而建立起来的简单数学模型,按不同的连接方式可以组成不同的网络。由于神经网络具备强大的学习能力,大数据处理能力,以及良好的泛化能力,如今已经成为许多领域的研究热点。为了提升网络的计算速度,降低网络占用的内存,使用更经济的稀疏网络,神经网络的结构优化已经成为了一个热门研究课题。对于输出层,我们对传统的一对一输出方法（即是one-hot方法）进行改进,提出了减少输出节点数量的二进制输出方法,与此同时隐层到输出层的权值数量也大大减少,因此计算速度得到提升。将这一思想分别应用在感知器网络、前馈神经网络和极限学习机中,取得了很好的实验效果。此外,对于隐层,我们对卷积神经网络的全连接层采用光滑组L1/2正则化方法,以此去掉全连接层的冗余节点,并避免了数值实验过程中可能出现的振荡现象,提高了网络的泛化能力。具体研究内容如下:1.当使用带有四个隐节点的多层线性感知器网络处理多分类问题时,传统的一对一方法需要的输出层节点过多。对此,在输出层采用二进制方法替代一对一方法。本文给出了若干条关于n维空间中超立方体顶点的可分定义和定理,并根据它们找出两类点的分隔超平面,进而利用这些超平面的组合来完成多分类任务。通过代数计算和数值实验两方面证明了二进制方法的可行性和优越性。2.当使用更为一般的前馈神经网络模型处理多分类问题时,对输出层应用二进制方法编码。由于Sigmoid函数的加入,本文只能给出类别数量小于等于4的算例的证明。接下来又给出了一些特殊情况来说明二进制方法的优势。数值实验部分使用八组不同的数据集对二进制方法和一对一方法进行了对比,二进制方法在其中的五组实验上有更好的实验结果,并且计算速度更快,从而验证了二进制方法的优越性。3.当使用极限学习机模型处理多分类问题时,对输出层采用二进制方法编码。文中对二进制方法和一对一方法在九组不同的数据集上作出测试,对比了这两种方法的分类准确率、预测率、召回率、F1值、标准差和均方根误差。与一对一方法相比,二进制方法在七组数据上拥有全方位更优的表现,并且二进制方法计算速度更快,隐单元个数的选取对实验结果的影响更小。此外,我们对正则化极限学习机也进行了对比实验,结果表明二进制方法比一对一方法有更好的分类精度。4.本文最后研究了卷积神经网络的全连接层稀疏化问题,在这里运用光滑函数替代组L1/2方法中的绝对值函数,进而得到光滑组L1/2方法,用于裁剪全连接层中的冗余节点。通过将光滑组L1/2正则项引入到网络的学习过程中,使连接全连接层冗余节点和输出层的权值趋近于零。原本的L1/2正则化方法具有很好的稀疏性,但由于在原点处,它是不光滑的,这导致了学习过程中出现振荡现象。并且,对于光滑组L1/2正则化方法,还能给出相应的收敛性证明。与组L1/2正则化方法相比,光滑组L1/2正则化方法不仅拥有更好的稀疏性和泛化能力,网络的性能也得到了一定意义上的提升。
王磊[4]（2020）在《深度学习框架下的极化SAR影像信息表达与分类研究》文中研究说明合成孔径雷达（Synthetic Aperture Radar,SAR）是一种主动微波雷达成像系统,具有全天时全天候成像、一定的穿透性、高精度和大幅面获取地表散射信息等特点,在军用及民用领域发挥着重要作用。极化SAR（Polarimetric SAR,PolSAR）可以发射和接收不同组合方式的极化波,为SAR影像解译提供更丰富的地物目标极化信息。极化SAR影像信息表达具有多样性、复杂性,极化散射机理、极化信息的有效提取和表达均有待进一步的研究,这为极化SAR影像的可视化、场景分类等解译工作提出了更高的挑战。深度学习在自然图像处理等领域发挥着革命性的作用,在极化SAR影像解译中也已逐步展现出优异的性能以及巨大的潜力,为极化SAR影像的精细解译提供新的解决方案。基于深度学习的极化SAR影像解译仍存在一些问题,首先,极化SAR影像具有特殊的微波成像机理,目视解译较为困难。极化SAR影像地物信息由极化相干矩阵等表达,具有多种散射信息表达形式。从目视效果和数据表达上,极化SAR影像均与光学影像存在明显差异。其次,在极化SAR影像分类的数据集上,获取大量准确的标注样本非常困难,深度学习模型难以学习极化SAR影像的信息表达,整景极化SAR影像的场景分类速度有待提高。因此,需要研究适用于极化SAR影像的具有较强泛化能力深度学习模型,学习极化SAR影像有效的信息表达,从而进一步提高极化SAR影像解译的性能。针对上述问题,在高分专项和信息融合项目的资助下,围绕极化SAR影像场景分类和可视化解译要求,在深度学习框架下,开展了面向极化SAR影像信息表达与精细分类的研究,以及极化SAR影像信息可视化表达的研究。目前基于深度学习的监督方式的PolSAR影像分类方法,通常将邻域窗数据分成一个类别,未考虑邻域窗中的像素可能由多种地物类型构成的情况。本文首次将卷积神经网络输出二维分类图的思想引入到PolSAR影像分类,提出了一种特征尺寸不变的卷积神经网络多像素同时分类方法,充分利用邻域像素间不同地物类型的相互关系信息表达,实现对邻域窗中的所有像素同时分类。在高分3号等多种常用PolSAR平台影像整景数据分类实验中,具有更快的速度、更强的泛化性能和更高的分类精度。在此基础上,本文进一步引入PolSAR影像旋转域的特征,使用卷积长短时记忆网络学习旋转域极化相干矩阵序列的隐藏信息表达,提升PolSAR影像监督分类性能。PolSAR影像难以获取大量准确有效的标注信息,无监督的PolSAR影像分类对于PolSAR影像解译非常重要,常规机器学习的无监督分类方法具有冗长的处理流程。本文提出了一种基于深度互信息表达的PolSAR影像无监督分类方法,以像素的邻域窗数据及其随机几何变换数据组成邻域窗样本对作为卷积神经网络的输入,学习邻域窗样本对的深度互信息表达,指导网络保持邻域窗数据的共有信息,去除特殊特性。本文方法在真实的PolSAR影像无监督分类中展示了优异的性能,超过了目前先进的无监督分类方法。本文方法无需繁琐的方法流程以及额外预处理和后处理,实现了端到端的操作。此外,基于深度互信息表达学习的网络模型,其深度特征表达可将半监督分类提升至优异水平。由于SAR特殊的侧视主动成像机制以及严重的相干斑,非专业人员很难通过极化SAR影像进行目视观察与解译。本文提出一种基于监督循环一致生成对抗网络的大尺寸极化SAR影像转换为类光学遥感影像的方法,为极化SAR影像信息可视化表达提供了新的方式。在光学遥感影像因天气影响而信息缺失时,转换的类光学遥感影像可以辅助非专业人员的目视观察。为促进深度学习在遥感影像解译的健康发展,本文公开了基于哨兵1号与哨兵2号影像的配对数据集。在此数据集上验证了本文的极化SAR到光学遥感影像转换模型,可以同时保持地物目标的类型以及结构信息,超过了一些着名的影像转换模型。转换的类光学遥感影像可以进一步用于光学遥感影像去云,补足光学遥感影像的信息缺失。本文在深度学习框架下,开展了极化SAR影像的特征学习与信息表达研究,发展了基于卷积神经网络的PolSAR影像全监督以及无监督分类方法,基于生成对抗网络的极化SAR影像到类光学遥感影像转换方法。所有方法均在我国高分3号极化SAR影像数据上取得了优异的结果。其中,极化SAR到类光学遥感影像转换方法已应用于“通导遥综合应用与多源数据融合系统”项目。
刘旺[5]（2020）在《基于深度学习的视觉里程计技术研究》文中研究表明视觉里程计（Visual Odometry,VO）是基于视觉的同时定位与地图构建（viusal Simultaneous Location and Mapping,vSLAM）系统中的一个极具挑战的开放性问题。其主要任务是依据视觉传感器（通常依附于某个运动载体,例如汽车、移动机器人等）所传回的图像数据来估计自身（传感器或者说运动载体）的位姿（位置和姿态）变化。近年来,视觉里程计被广泛应用于虚拟现实、无人驾驶、移动机器人等新兴技术领域,并伴随着这些新技术的大热而逐渐成为时下的研究热点。传统的视觉里程计通常涉及到一个经典的“四步走”思路:1.首先利用某种特定算法来计算得到一种人工设计的特征,这一过程通常被称为特征提取;2.然后利用算法来进行关键帧间的特征匹配;3.对所匹配到的特征进行追踪,从而计算得出位姿变化;4.最后使用一些优化策略来降低误差。基于这种思路的传统方法存在着过度依赖相机参数、多场景适应能力差等问题。而近年来蓬勃发展的深度学习则为VO技术的发展带来了全新的思路。相比传统方法中的人工特征,使用卷积神经网络所提取得到的特征往往更具有合理性。此外,基于深度学习方法的视觉里程计完全不依赖于相机参数,也不存在传统方法中的尺度问题。基于上述优势,基于深度学习的方法正在渐渐成为当前视觉里程计的主要研究方向。针对以上传统方法中存在的问题,本文在对一些基于深度学习的先进方法进行了深入的研究后,完成了以下工作:1.沿袭深度学习与光流法结合的思路,构思了整体的算法框架。2.将富含帧间运动信息的稠密光流直接输入到卷积神经网络中实现特征提取,利用全连接层进行位姿预测,最后通过降低误差函数的函数值来训练得到一个基于光流法和深度学习的视觉里程计模型。3.分析了算法总体框架中的两个重要环节:光流提取和特征提取,对算法性能的影响。4.将注意力机制引入到VO问题解决思路中,并取得了非常好的效果。此外,使用多尺度池化技术大大减小了特征的维度,从而有效降低了系统的参数量。综上,本文结合光流法和深度学习理论,逐步设计实现了一个兼顾精度与速度的视觉里程计,并在公开数据集上进行了仿真。模型的旋转误差为0.015弧度每米,平移误差百分比为4.75%,算法平均时耗约为13毫秒每帧。
张晓东[6]（2020）在《基于LSTM深度神经网络的金融风险控制模型设计与实现》文中进行了进一步梳理在2019年我国推行了进一步落实全面取消二手车限迁的政策,这无疑给迅速发展的二手车行业又带来了新的增长点。随着二手车市场规模的扩大,对汽车金融贷款的风险控制能力又提出了新的要求。而互联网汽车厂商的金融服务本身就有着低于传统金融的准入门槛以及较快的贷款审批效率,采用传统的评分卡模式的审批模型已经不能满足新场景下的风险控制要求。因此建立一个能够快速迭代的贷前审批风险控制模型,对互联网汽车金融行业有着很重要的现实意义。为了解决现有的评分卡模型迭代成本过高的问题,本文与A互联网汽车销售公司合作,基于长短期记忆神经网络设计并实现了可以应用于二手车行业的贷前审批风险控制模型。本文的主要研究内容包括金融内外部数据的预处理及循环神经网络的结构设计两部分。金融数据预处理主要为了解决数据的缺失问题及数据的非平衡性问题。针对数据缺失问题,采用线性函数归一化的方法来对数据进行删除或增补。针对数据非平衡性问题,利用Border-line SMOTE算法来生成采样器,对修复缺失值后的数据重新采样,在数据层面修复非平衡问题。在深入了解各种机器学习及深度神经网络的特点后,本文基于长短期记忆神经网络搭建了一个综合性能较好的深度神经网络模型。该模型不同于现有的依赖统计学习的评分卡模型,不仅进一步的降低了对金融专家的依赖,而且具备快速迭代的能力。基于A公司金融订单相关数据集,将本文提出的模型同传统的机器学习模型（XGBoost模型等）进行对比。结果表明,本文的金融数据处理方法在XGBoost等机器学习模型的评价指标上都有了3%左右的提升;本文提出的基于长短期记忆深度网络模型的AUC值和KS值均稍高于XGBoost模型,而且和XGBoost模型相比,具有调参成本低,迭代方便等优点,综合来看,本文提出的模型在经过一段时间的线上并行校验后可以替代XGBoost作为新一代的金融风险控制模型方案。
宋旭冉[7]（2020）在《基于学习的极化码译码算法研究与应用》文中认为极化码是已知的唯一一种可以被证明是信道容量可达的新型信道编码方案,深受学界关注和研究,仅“诞生”十余年就成为了第五代移动通信（5G）中e MBB场景下控制信道的编码标准,尽管如此,极化码的译码算法仍需进一步改进。近几年来,深度学习技术日益成熟,深度神经网络技术对于分类问题有着非常优异的性能,而极化码的信道译码问题本质上也是高维空间的分类问题,因此利用神经网络技术解决信道译码问题成为当前的热点,随之提出的神经网络译码器可以实现低时延译码并且性能接近MAP译码性能,但是只能对超短码进行译码学习。本文以此为背景,分析了当前神经网络译码器普遍存在的维度诅咒问题的产生原因,并从网络结构和译码系统框架两方面分别对当前的神经网络译码器进行了优化。针对网络结构,本文提出了一种基于极化码处理单元的图神经网络译码器（PC-GNND）。传统的神经网络译码器在学习译码时通常因为运算的不匹配性和缺乏码字结构等先验知识,导致其缺乏泛化能力。因此,本文设计一种基于多层感知器的极化码处理单元以解决运算不匹配问题,并将处理单元结合极化码的译码图形成网络结构,从而使PC-GNND具有在译码图上推理的能力并提高其泛化能力。仿真结果表明,PC-GNND能够仅使用整个码本的极小一部分就能非常有效地学习正确的码字结构和信道噪声特征,并且所需参数和训练时间远少于传统神经网络译码器但是译码性能却更好。此外,特定码长的PC-GNND经过充分训练后得到的处理单元可以直接用于初始化其他码长下PC-GNND的参数,经过微调后即可工作,大大降低了训练的计算成本。针对译码系统框架,本文提出了基于码字端学习的LSTM神经网络译码器。传统的神经网络译码器系统框架是基于信息端学习的,这要求神经网络既要学习噪声特征,又要学习码字端到信息端的码字结构映射。经分析,码字结构本质上是N-bit校验问题的集合,这是神经网络难以有效学习的。通过改变神经网络译码器的学习目标,提出了基于码字端学习的神经网络译码器系统框架,避免神经网络被动学习码字结构映射,并采用泛化能力较强的LSTM神经网络进行极化码的译码学习。仿真实验的结果显示,基于码字端学习的LSTM神经网络泛化能力得到了极大的提升,只需要学习码本空间的小部分码字就可以主动学习到码字的空间分布特征,并能实现接近于MAP译码算法的译码性能。此外,我们还找到了训练集码本比例界,发现了“混沌区”的存在,用以指导训练集的产生。
朱晓宁[8]（2019）在《深度神经网络在图像识别中的研究与应用》文中进行了进一步梳理计算机视觉是当前人工智能领域最热门的研究方向之一,它的研究目标是让计算机具有从一幅幅图像中感知和认知周围环境的能力。图像识别是计算机视觉领域一个重要的研究方向,它在视频监控、生物识别、无人驾驶、人机交互、医学影像识别等行业应用中,具有重要的研究意义和应用价值。近年来,虽然基于深度学习算法的图像识别模型取得了突破性的成果,各种图像识别任务的准确率记录不断地被刷新。然而,模型在样本采集条件、语义理解、计算复杂度、模型鲁棒性和训练样本不足等方面仍然面临诸多问题和挑战。为了克服上述挑战,本文通过对深度神经网络相关技术进行改进,取得了如下创新性成果:1.针对现有特征池化（聚合）方法容易出现过拟合,导致图像识别模型鲁棒性差的问题,本文提出加权池化特征池化法方法,其首次基于信息熵量化出特征图的各个局部区域的信息量,并使用互信息衡量出每个局部区域中各个特征的重要程度（权重）。实验结果表明,本文提出的池化算法不但可以准确地选取出局部区域的激活代表,而且有效地提高了图像识别模型的准确率和泛化能力,其中模型在CIFAR-10测试集上的准确率比当前经典的特征池化方法提高了约1.81至2.77个百分点。2.当前深度学习模型收敛速度慢、梯度容易消失和陷入局部最优的问题,仍然是基于深度学习技术的图像识别模型训练时要解决的难点之一。本文首次使用多点矩估计法和权值衰减法提出自适应多点矩估计随机优化算法。算法的特点包括:每个矩估计点将模型误差梯度的偏度和峰度进行考查,提高了模型训练时参数更新的效率;权值衰减法的引入,进一步地增强了模型的鲁棒性。MNIST、CIFAR-10等数据集上的实验结果表明,使用本文提出的优化方法训练的图像识别模型无论是收敛速度,还是准确率都有很大提高。其中,在收敛速度方面本文提出的优化方法比基线算法快约3%,测试集上的准确率提高约1.1个百分点。3.针对深度学习模型,一方面需要大量样本进行训练,另一方面存在目标检测模型样本制作代价高昂的问题。本文通过改进像素权重计算的方法,提出一种以无监督的方式将图像分类数据集制作成目标检测数据集的方法,有效地解决了目标检测数据集制作代价高、样本数量和种类不足的问题。此外,当前目标检测模型主要依赖研究人员经验,手工设置检测模型初始边界框的形状和数量,然而,这种方法存在缺少客观依据、适应性差的问题。本文结合给定数据集的特点,首先改进k-means++聚类算法的距离计算方式,然后对训练样本中对象的形状进行聚类分析,得到模型边界框的先验知识,从而有效地提高了模型的检出率和收敛速率,最后,基于这些对象形状的先验分布和前面章节对神经网络所作的改进,提出自适应单网络目标检测模型。实验结果表明本文所提出的实时目标检测模型与其他模型相比,在PASCLE VOC和MS COCO目标检测基准数据集上,模型的准确率分别提高了约0.6和1.5个百分点。综上,本文针对图像识别技术存在的三个关键问题展开研究。在模型组件方面,提出了加权特征池化方法和自适应多点矩估计随机优化算法;在模型方面,提出了自适应单网络目标检测模型。基于公开数据集的实验结果表明,本文所提出的方法在图像识别任务中取得了良好效果,相关理论成果已经在人工智能领域的期刊发表。
阙伟波[9]（2019）在《基于CNN集成模型的工业字符识别方法研究》文中提出字符识别作为机器视觉领域的一项前沿研究方向,经过近些年的发展与研究,已经广泛应用于现实生活中的多个方面,尤其是在工业生产方面,字符识别技术在推动工业生产智能化方面正扮演着越来越重要的角色。由于工业生产环境复杂,比如产生运动模糊、位置变化,甚至出现遮挡物、光照条件变化、物理损伤、裂纹等一系列不确定性干扰因素,传统字符识别方法很难保证识别的准确性与高效性,严重制约了我国工业智能生产的发展进程。随着深度学习算法的不断发展,基于卷积神经网络的字符识别在机器视觉方面的收到了越来越多的关注。本文以卷积神经网络为基础构建了用于工业字符识别的集成网络模型结构,在字符识别尤其是工业环境下的字符识别下取得了良好的识别效果。本文的主要内容如下:（1）构建了用于模型训练的字符数据集。针对收集到的工业环境下的字符图像样本数量不足的情况,对数据集进行了适当的数据增强处理,建立的数据集包括ICDAR2003自然场景下的部分数据样本和经过数据增强处理后的工业字符图像。（2）针对卷积神经网络中网络参数对识别效果的影响设计了具体对比实验,探讨了卷积神经网络的网络参数对识别率的影响,如:神经网络的深度,卷积核尺寸的大小及其数量等等,为构建合适的卷积神经网络模型提供相对具体的参考信息。（3）分析了卷积神经网络模型卷积层与池化层对特征提取的影响,对卷积层与池化层所提取的部分特征图进行了可视化展示,针对传统模型进行单一特征提取的不足之处,提出了一种多级特征提取结构,并利用所建立的数据集对该方法的有效性进行了验证,相比传统的单级特征提取模型,识别率有明显改善。（4）结合集成学习Bagging算法与提出的多级特征提取结构,设计了三个进行模型集成的基本分类器结构,给出了一种基于卷积神经网络集成模型的字符识别算法,在建立的字符数据集上进行对比实验,验证了本文提出的集成模型算法的有效性,与传统卷积神经网络模型相比鲁棒性和泛化能力得到一定提高。
王敬[10]（2019）在《复值神经网络的Lp正则化梯度学习算法研究》文中研究表明近年来,学者们对神经网络做了大量的研究工作,并将其应用在模式识别、信号处理、光电子学等领域。复值信号广泛出现在图像处理、通信工程、语音识别等领域,为了有效处理复值信号,人们在传统实值神经网络的基础上提出了具有复值权值、阂值、输入输出信号的复值神经网络,复值神经网络的相关研究也逐渐成为一个研究热点。根据激活函数的不同,复值神经网络可分为分离复值神经网络和全复神经网络。分离复值神经网络利用一对实值有界函数处理复值输入信号的实部和虚部,这种方法保证了激活函数的有界性,避免了复数域求导问题和奇异点的出现。全复神经网络则利用全复激活函数处理复值信号,可更好的捕捉信号的实、虚部之间的耦合关系,因此具有更好的性能。本文在全复神经网络的框架下开展研究,针对复梯度学习算法所存在的收敛速度慢、易陷入局部极小值以及出现过拟合等问题,将复值梯度学习算法与Lp正则化方法相结合,提出带Lp正则项的复值梯度学习算法,并对算法的收敛性、稀疏性进行分析。本文第一章介绍神经网络的发展历程,结合当今学者的研究成果分析了复值神经网络的研究现状,阐述了神经计算领域未解决的问题。第二章介绍了几类常见的正则子和Wirtinger算子理论,提出了关于复变函数的中值定理。第三章研究带L2正则项的复值梯度学习算法,建立了算法的收敛性定理,同时给出理论证明,通过数值实验验证了理论分析的合理性。第四章研究带光滑L0正则项的复值梯度学习算法,证明了误差函数单调下降、其梯度范数收敛及权值一致有界,同时给出了理论推导。通过数值实验与带L2正则项的复值梯度学习算法和标准的复值梯度学习算法进行比较,验证了理论分析的有效性。最后对本论文的主要研究工作进行了整理,并指出一些需要改进的问题以及进一步展望。
二、神经网络的学习误差函数及泛化能力（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、神经网络的学习误差函数及泛化能力（论文提纲范文）
（1）旋转机械早期故障诊断关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 引言 |
| 1.2 旋转机械故障诊断概述 |
| 1.2.1 旋转机械故障诊断基本方法 |
| 1.2.2 旋转机械故障诊断技术研究现状 |
| 1.2.3 旋转机械振动故障诊断 |
| 1.3 旋转机械早期故障诊断的关键问题 |
| 1.3.1 旋转机械早期故障诊断概述 |
| 1.3.2 早期故障诊断的关键问题 |
| 1.4 本文研究工作 |
| 1.4.1 论文研究内容与创新点 |
| 1.4.2 论文总体框架 |
| 2 旋转机械故障诊断基本理论 |
| 2.1 引言 |
| 2.2 滚动轴承振动故障机理 |
| 2.3 滚动轴承故障特征 |
| 2.4 本章小结 |
| 3 基于振动信号分析的旋转机械早期故障诊断方法 |
| 3.1 引言 |
| 3.2 基于振动信号分析的旋转机械早期故障诊断算法原理 |
| 3.2.1 稀疏自编码器的基本原理 |
| 3.2.2 L-BFGS优化算法的基本原理 |
| 3.2.3 基于改进稀疏自编码器的早期故障诊断算法 |
| 3.3 诊断算法的流程 |
| 3.4 实验验证与分析 |
| 3.4.1 滚动轴承试验台简介 |
| 3.4.2 故障诊断与结果分析 |
| 3.4.3 对比实验及分析 |
| 3.5 本章小结 |
| 4 数据相关条件下的旋转机械复合故障诊断方法 |
| 4.1 引言 |
| 4.2 数据相关条件下的旋转机械复合故障诊断算法原理 |
| 4.2.1 复合故障及其特征分析 |
| 4.2.2 复合故障诊断模型 |
| 4.2.3 数据相关度评估准则 |
| 4.3 诊断算法的流程 |
| 4.4 实验验证与分析 |
| 4.4.1 滚动轴承试验台简介 |
| 4.4.2 故障诊断与结果分析 |
| 4.4.3 对比实验及分析 |
| 4.5 本章小结 |
| 5 数据非完备条件下的旋转机械故障诊断方法 |
| 5.1 引言 |
| 5.2 数据非完备条件下的旋转机械故障诊断算法原理 |
| 5.2.1 理论基础 |
| 5.2.2 数据非完备特征分析 |
| 5.2.3 基于EFAE模型的故障诊断算法 |
| 5.3 诊断算法的流程 |
| 5.4 实验验证与分析 |
| 5.4.1 故障诊断与结果分析 |
| 5.4.2 对比实验及分析 |
| 5.5 本章小结 |
| 6 基于振动双谱图识别的旋转机械早期故障诊断方法 |
| 6.1 引言 |
| 6.2 基于振动双谱图识别的旋转机械早期故障诊断算法原理 |
| 6.2.1 双谱分析的基本原理 |
| 6.2.2 ESRGAN的基本原理 |
| 6.2.3 图像转换与清晰化技术 |
| 6.2.4 卷积神经网络基本理论 |
| 6.2.5 故障诊断模型设计 |
| 6.3 诊断算法的流程 |
| 6.4 实验验证与分析 |
| 6.4.1 6203 型滚动轴承简介 |
| 6.4.2 6203 型滚动轴承诊断样本集描述及网络配置 |
| 6.4.3 6203 型滚动轴承故障诊断与结果分析 |
| 6.4.4 LDK UER204 滚动轴承简介 |
| 6.4.5 LDK UER204 滚动轴承诊断样本集描述及网络配置 |
| 6.4.6 LDK UER204 滚动轴承故障诊断与结果分析 |
| 6.5 本章小结 |
| 7 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 致谢 |
| 参考文献 |
| 攻读博士学位期间发表的学术论文和发明专利 |
| 攻读博士学位期间获得资助和参加的主要科研项目 |
（2）深度学习中正则化方法及其在眼科影像的应用（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景 |
| 1.2 研究意义与挑战 |
| 1.3 国内外研究现状 |
| 1.3.1 深度学习与正则化 |
| 1.3.2 正则化深度学习的收敛性 |
| 1.3.3 深度学习在青光眼及其医学影像的应用 |
| 1.4 论文的主要工作和结构安排 |
| 1.4.1 本文的主要工作 |
| 1.4.2 本文的结构安排 |
| 第2章 相关技术 |
| 2.1 正则化 |
| 2.1.1 正则化的意义 |
| 2.1.2 正则化的类型 |
| 2.1.3 正则化的应用 |
| 2.2 卷积神经网络 |
| 2.2.1 卷积神经网络的发展 |
| 2.2.2 卷积神经网络的分类 |
| 2.2.3 相关的评价指标 |
| 第3章 光滑l_(2/1)组正则化在神经网络中的收敛性分析 |
| 3.1 研究的背景 |
| 3.2 研究的内容和方法 |
| 3.3 研究的结果 |
| 3.4 本章小结 |
| 第4章 集成神经网络在青光眼检测中的方法 |
| 4.1 研究的背景 |
| 4.2 研究的内容和方法 |
| 4.3 研究的结果 |
| 4.4 本章小结 |
| 第5章 正则化Attention神经网络在视网膜检测的方法 |
| 5.1 研究的背景 |
| 5.2 研究的内容和方法 |
| 5.3 研究的结果 |
| 5.4 本章小结 |
| 结论 |
| 参考文献 |
| 致谢 |
（3）基于二进制方法和光滑组L1/2方法的神经网络结构优化研究（论文提纲范文）
| 摘要 |
| Abstract |
| 主要符号和缩写 |
| 1 绪论 |
| 1.1 人工神经网络简介 |
| 1.1.1 神经网络的发展史 |
| 1.1.2 人工神经元的结构模型 |
| 1.1.3 神经网络结构 |
| 1.1.4 神经网络的学习规则 |
| 1.2 前馈神经网络 |
| 1.2.1 感知器网络 |
| 1.2.2 BP神经网络 |
| 1.3 梯度学习算法 |
| 1.3.1 批量学习 |
| 1.3.2 在线学习 |
| 1.3.3 带动量项的梯度学习 |
| 1.3.4 带惩罚项的梯度学习 |
| 1.4 本论文的主要工作和结构 |
| 2 带有四个隐节点的多层线性感知器网络处理多分类问题时输出层的二进制设计 |
| 2.1 背景介绍 |
| 2.2 带有四个隐节点的感知器网络 |
| 2.3 数值实验和几何证明 |
| 2.3.1 数值实验 |
| 2.3.2 几何证明 |
| 2.4 小结 |
| 3 前馈神经网络处理多分类问题时输出层的二进制设计 |
| 3.1 背景介绍 |
| 3.2 二进制输出方法 |
| 3.3 数值实验 |
| 3.3.1 六个中小型数据集分类对比 |
| 3.3.1.1 四分类问题 |
| 3.3.1.2 八分类问题 |
| 3.3.1.3 十分类问题 |
| 3.3.1.4 三分类问题 |
| 3.3.1.5 十一分类问题 |
| 3.3.1.6 二十六分类问题 |
| 3.3.1.7 计算时间和分类准确率方差的比较 |
| 3.3.2 两个大型数据 |
| 3.4 小结 |
| 4 极限学习机处理多分类问题时输出层的二进制设计 |
| 4.1 背景介绍 |
| 4.2 二进制输出方法 |
| 4.3 数值实验 |
| 4.3.1 实验设置 |
| 4.3.2 极限学习机中实验结果对比 |
| 4.3.3 正则化极限学习机中实验结果对比 |
| 4.4 小结 |
| 5 利用光滑组L_(1/2)方法对卷积神经网络的全连接层裁剪 |
| 5.1 背景介绍 |
| 5.2 批量梯度法和光滑组L_(1/2)方法 |
| 5.2.1 卷积神经网络 |
| 5.2.2 全连接层的光滑组L_(1/2)法 |
| 5.3 收敛性 |
| 5.3.1 将卷积和均值池化转换为数学方程式 |
| 5.3.2 收敛性证明 |
| 5.4 数值实验 |
| 5.5 小结 |
| 6 结论与展望 |
| 6.1 结论 |
| 6.2 创新点 |
| 6.3 展望 |
| 参考文献 |
| 攻读博士学位期间发表及完成的学术论文情况 |
| 致谢 |
| 作者简介 |
（4）深度学习框架下的极化SAR影像信息表达与分类研究（论文提纲范文）
| 论文创新点 |
| 摘要 |
| ABSTRACT |
| 1 绪论 |
| 1.1 研究背景和意义 |
| 1.1.1 SAR系统发展 |
| 1.1.2 SAR影像解译 |
| 1.2 国内外研究现状 |
| 1.2.1 深度学习发展 |
| 1.2.2 传统机器学习与极化SAR影分类 |
| 1.2.3 深度学习与极化SAR影像解译 |
| 1.2.3.1 基于深度学习的极化SAR影像解译 |
| 1.2.3.2 基于生成对抗网络的极化SAR影像解译 |
| 1.3 研究内容与章节安排 |
| 2 SAR影像与深度学习基础 |
| 2.1 深度学习基础 |
| 2.1.1 神经网络 |
| 2.1.1.1 神经网络基本结构 |
| 2.1.1.2 网络训练及权值调整 |
| 2.1.1.3 误差反向传播 |
| 2.1.1.4 神经网络训练流程 |
| 2.1.2 卷积神经网络 |
| 2.1.3 循环神经网络 |
| 2.2 典型深度学习模型 |
| 2.2.1 深度置信网络模型 |
| 2.2.2 自编码器模型 |
| 2.2.3 卷积神经网络模型 |
| 2.2.4 循环神经网络模型 |
| 2.2.5 生成对抗网络模型 |
| 2.3 SAR解译基础 |
| 2.3.1 后向散射矩阵 |
| 2.3.2 极化相干矩阵与极化协方差矩阵 |
| 2.4 深度学习在极化SAR影像的应用 |
| 2.4.1 卷积神经网络与分类 |
| 2.4.2 生成对抗网络与影像转换 |
| 2.5 本章小结 |
| 3 面向地物相互关系信息表达的卷积神经网络PolSAR影像多像素同时分类 |
| 3.1 特征尺寸不变的卷积神经网络 |
| 3.2 整景影像分类策略 |
| 3.3 极化SAR影像分类数据集 |
| 3.3.1 Radar SAT-2 Flevoland数据集 |
| 3.3.2 AIRSAR Flevoland数据集 |
| 3.3.3 GF-3 武汉数据集 |
| 3.4 实验结果与分析 |
| 3.4.1 RS-2 Flevoland结果 |
| 3.4.2 AIRSAR Flevoland结果 |
| 3.4.3 GF-3 武汉结果 |
| 3.5 特征尺寸不变的卷积神经网络分类性能分析 |
| 3.5.1 不同深度学习模型的泛化能力对比 |
| 3.5.2 地物相互信息关系表达讨论 |
| 3.5.3 特征尺寸讨论 |
| 3.5.4 重叠比例讨论 |
| 3.5.5 卷积层输出特征图可视化 |
| 3.6 本章小结 |
| 4 面向旋转域隐藏信息表达的卷积LSTM PolSAR影像分类 |
| 4.1 基于卷积LSTM的PolSAR影像分类框架 |
| 4.2 卷积LSTM的基本原理 |
| 4.3 卷积LSTM的网络结构 |
| 4.4 卷积LSTM分类结果与分析 |
| 4.4.1 RS-2 Flevoland结果 |
| 4.4.2 AIRSAR Flevoland结果 |
| 4.4.3 GF-3 武汉结果 |
| 4.4.4 与FFS-CNN的性能对比 |
| 4.5 本章小结 |
| 5 基于深度互信息表达的PolSAR影像无监督分类 |
| 5.1 基于互信息表达PolSAR影像无监督分类整体框架 |
| 5.2 实例级互信息损失 |
| 5.3 伪图与伪标签监督损失 |
| 5.4 集合级三重互信息损失 |
| 5.5 模型优化 |
| 5.6 基于深度互信息的无监督分类实验结果与分析 |
| 5.6.1 极化SAR影像无监督分类实验数据 |
| 5.6.2 GF-3 武汉汉南实验结果 |
| 5.6.3 RS-2 Flevoland实验结果 |
| 5.6.4 AIRSAR Flevoland实验结果 |
| 5.7 半监督分类性能分析 |
| 5.8 分类精度与迭代次数的关系 |
| 5.9 本章小结 |
| 6 面向极化SAR影像信息可视化表达的极化SAR到光学遥感影像转换方法 |
| 6.1 监督循环一致的生成对抗网络 |
| 6.2 整景极化SAR到光学遥感影像转换 |
| 6.3 极化SAR与光学遥感影像配对数据集 |
| 6.3.1 哨兵1与哨兵2数据集 |
| 6.3.2 高分2与高分3数据集 |
| 6.4 影像转换与去云实验结果 |
| 6.4.1 网络模型训练方法 |
| 6.4.2 极化SAR到光学遥感影像转换实验 |
| 6.4.2.1 哨兵数据集影像转换 |
| 6.4.2.2 高分数据集影像转换 |
| 6.4.3 去云实验 |
| 6.4.3.1 实验步骤 |
| 6.4.3.2 去云结果 |
| 6.4.4 影像去缝效果讨论 |
| 6.5 基于融合信息表达的极化SAR影像分类实验 |
| 6.5.1 融合信息特征表达实验方法 |
| 6.5.2 基于融合信息表达分类实验结果 |
| 6.6 极化SAR影像信息可视化表达分析 |
| 6.6.1 目视观测辅助 |
| 6.6.2 潜在应用 |
| 6.7 本章小结 |
| 7 总结与展望 |
| 7.1 论文工作总结 |
| 7.2 未来展望 |
| 参考文献 |
| 攻读博士期间取得的科研成果目录 |
| 致谢 |
（5）基于深度学习的视觉里程计技术研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 课题的研究背景 |
| 1.2 课题的研究意义 |
| 1.3 深度学习的研究现状 |
| 1.4 视觉里程计的研究现状 |
| 1.4.1 传统方法研究进展 |
| 1.4.2 基于机器学习的方法 |
| 1.4.3 基于深度学习的方法 |
| 1.5 本文的主要工作 |
| 1.6 本论文的结构安排 |
| 第二章 基本原理介绍 |
| 2.1 神经网络简介 |
| 2.1.1 神经元 |
| 2.1.2 神经网络 |
| 2.1.3 反向传播 |
| 2.2 卷积神经网络简介 |
| 2.3 深度学习简介 |
| 2.4 本章小结 |
| 第三章 基于CNN和光流的视觉里程计 |
| 3.1 数据集简介 |
| 3.1.1 KITTI数据集 |
| 3.1.2 Malaga数据集 |
| 3.1.3 真值标定 |
| 3.1.4 数据集预处理 |
| 3.2 光流提取网络 |
| 3.2.1 光流提取方法 |
| 3.3 基于CNN的特征提取网络 |
| 3.3.1 基于Flowdometry的 F-VO |
| 3.3.2 基于P-CNN的 P-VO |
| 3.4 全连接层 |
| 3.5 误差函数 |
| 3.6 算法验证与性能分析 |
| 3.6.1 训练过程 |
| 3.6.2 光流对比实验 |
| 3.6.3 结构对比实验 |
| 3.7 本章小结 |
| 第四章 基于注意力机制的视觉里程计 |
| 4.1 引言 |
| 4.2 注意力机制的实现 |
| 4.3 算法验证与性能分析 |
| 4.3.1 轨迹效果对比 |
| 4.3.2 量化误差对比 |
| 4.3.3 误差变化趋势 |
| 4.3.4 运行速度对比 |
| 4.3.5 泛化能力测试 |
| 4.4 轻量级的ATTENTION-VO |
| 4.4.1 设计思路及实现 |
| 4.4.2 算法验证及性能分析 |
| 4.5 本章小节 |
| 第五章 全文总结与展望 |
| 5.1 全文总结 |
| 5.2 后续工作展望 |
| 致谢 |
| 参考文献 |
（6）基于LSTM深度神经网络的金融风险控制模型设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 研究背景及意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 国外研究现状 |
| 1.2.2 国内研究现状 |
| 1.3 本文主要内容及章节安排 |
| 2 相关技术介绍 |
| 2.1 引言 |
| 2.2 神经网络基础 |
| 2.2.1 神经网络概述 |
| 2.2.2 BP神经网络算法流程 |
| 2.2.3 BP神经网络的缺点及不足 |
| 2.2.4 常用的激活函数 |
| 2.2.5 正则化方法 |
| 2.3 循环神经网络 |
| 2.3.1 循环神经网络概述 |
| 2.3.2 RNN训练过程 |
| 2.3.3 长短期记忆神经网络 |
| 2.4 本章小结 |
| 3 特征变量的描述及预处理 |
| 3.1 引言 |
| 3.2 征信数据描述及预处理 |
| 3.2.1 本文使用的征信数据描述 |
| 3.2.2 征信变量类型描述 |
| 3.2.3 征信变量缺失值处理方法 |
| 3.2.4 征信单变量指标筛选 |
| 3.3 非平衡数据分析 |
| 3.3.1 金融数据非平衡性介绍 |
| 3.3.2 非平衡数据的预处理 |
| 3.4 非平衡数据环境下风控模型构建 |
| 3.4.1 逻辑回归 |
| 3.4.2 随机森林 |
| 3.4.3 BP神经网络 |
| 3.4.4 XGBoost |
| 3.5 实验与实验结果分析 |
| 3.5.1 实验结果评价准则 |
| 3.5.2 实验结果与分析 |
| 3.6 本章小结 |
| 4 基于LSTM风险控制模型的设计与验证 |
| 4.1 引言 |
| 4.2 LSTM模型构建 |
| 4.2.1 LSTM模型结构 |
| 4.2.2 LSTM算法流程 |
| 4.2.3 LSTM模型训练过程 |
| 4.2.4 LSTM模型参数说明 |
| 4.3 参数调整及优化 |
| 4.3.1 网络层层数及每层节点数调整 |
| 4.3.2 激活函数调整 |
| 4.3.3 损失函数及优化函数调整 |
| 4.3.4 批处理数量(Batch Size)调整 |
| 4.4 实验及实验结果分析 |
| 4.5 本章小结 |
| 5 总结与展望 |
| 5.1 总结 |
| 5.2 展望 |
| 致谢 |
| 参考文献 |
| 附录 |
（7）基于学习的极化码译码算法研究与应用（论文提纲范文）
| 致谢 |
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景 |
| 1.2 国内外研究现状 |
| 1.2.1 极化码 |
| 1.2.2 深度神经网络 |
| 1.2.3 基于传统译码算法的神经网络译码算法 |
| 1.2.4 基于分类的神经网络译码器 |
| 1.3 论文主要内容与结构安排 |
| 第2章 基于极化码处理单元的图神经网络译码器 |
| 2.1 引言 |
| 2.2 神经网络译码器的维度诅咒问题 |
| 2.3 N-bit校验问题 |
| 2.4 传统神经网络译码器的分析 |
| 2.5 基于极化码处理单元的图神经网络译码器 |
| 2.5.1 PC-GNND的网络结构 |
| 2.5.2 PC-GNND的训练设置 |
| 2.6 仿真结果和分析 |
| 2.6.1 无噪情况下学习码字结构 |
| 2.6.2 有噪情况下的译码学习 |
| 2.6.3 处理单元的可扩展性 |
| 2.7 本章小结 |
| 第3章 基于码字端学习的LSTM神经网络译码器 |
| 3.1 引言 |
| 3.2 循环神经网络 |
| 3.2.1 循环神经网络模型结构 |
| 3.2.2 长短期记忆神经网络 |
| 3.3 基于信息端学习的LSTM神经网络译码器 |
| 3.3.1 网络结构和训练设置 |
| 3.3.2 译码性能仿真和分析 |
| 3.4 基于码字端学习的LSTM神经网络译码器 |
| 3.4.1 译码系统框架和网络结构 |
| 3.4.2 网络结构和训练设置 |
| 3.5 性能仿真和分析 |
| 3.5.1 极化码P(32,16)下仿真和分析 |
| 3.5.2 极化码P(64,32)下仿真和分析 |
| 3.5.3 不同网络规模下的仿真和分析 |
| 3.6 本章小结 |
| 第4章 总结与展望 |
| 4.1 工作总结 |
| 4.2 研究展望 |
| 参考文献 |
| 个人简历、攻读硕士学位期间主要的研究成果 |
（8）深度神经网络在图像识别中的研究与应用（论文提纲范文）
| 摘要 |
| abstract |
| 中英文缩写对照表 |
| 第一章 绪论 |
| 1.1 背景与研究意义 |
| 1.2 基于深度神经网络图像识别技术的研究现状 |
| 1.3 图像识别面临的主要问题 |
| 1.3.1 目标可观性问题 |
| 1.3.2 模型难以训练问题 |
| 1.3.3 样本数量不足问题 |
| 1.4 本文研究内容 |
| 1.5 文章组织 |
| 第二章 图像识别相关技术 |
| 2.1 图像识别框架分析 |
| 2.2 经典神经网络技术 |
| 2.3 基于卷积神经网络的图像识别技术 |
| 2.3.1 图像分类算法 |
| 2.3.2 目标检测算法 |
| 2.4 模型选择与泛化 |
| 2.5 本章小结 |
| 第三章 基于信息熵的图像特征池化方法的研究 |
| 3.1 引言 |
| 3.2 基于激活值的图像特征池化方法 |
| 3.3 基于信息熵的图像特征池化方法 |
| 3.3.1 设计思路 |
| 3.3.2 算法实现细节 |
| 3.4 实验与分析 |
| 3.4.1 模型训练误差、准确率和不同大小池化区域的实验与分析 |
| 3.4.2 MNIST数据集上准确率实验与分析 |
| 3.4.3 NDRSI数据集上不同大小样本的实验与分析 |
| 3.4.4 算法在小训练集上学习能力实验与分析 |
| 3.5 本章小结 |
| 第四章 多点矩估计随机优化方法在图像识别中的研究 |
| 4.1 引言 |
| 4.2 基于梯度的随机优化技术 |
| 4.3 自适应多点矩估计随机优化算法 |
| 4.3.1 设计思路 |
| 4.3.2 算法实现细节 |
| 4.4 实验与分析 |
| 4.4.1 多点矩估计对于模型收敛速度的改进 |
| 4.4.2 权值衰减项对泛化能力的改进 |
| 4.4.3 AMME算法收敛性实验与分析 |
| 4.4.4 AMME算法准确率实验与分析 |
| 4.5 本章小结 |
| 第五章 经验自适应单网络目标检测模型 |
| 5.1 引言 |
| 5.2 像素关系描述与单网络目标检测法 |
| 5.2.1 基于图的像素关系描述法 |
| 5.2.2 单网络目标检测法 |
| 5.3 EAO检测模型 |
| 5.3.1 分类数据集到检测数据集 |
| 5.3.2 基于经验的边界框设计 |
| 5.3.3 多分辨率目标检测 |
| 5.3.4 模型的训练 |
| 5.4 实验与分析 |
| 5.4.1 ImageNet iLoc数据集有效性验证与分析 |
| 5.4.2 先验框与多分辨率检测层有效性验证与分析 |
| 5.4.3 EAO模型在MS COCO数据集上的实验与分析 |
| 5.4.4 EAO模型检测速度的实验与分析 |
| 5.4.5 EAO模型的实际应用效果举例 |
| 5.5 本章小结 |
| 第六章 总结与展望 |
| 6.1 研究工作总结 |
| 6.2 未来展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文 |
| 攻读学位期间参与的项目 |
（9）基于CNN集成模型的工业字符识别方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题背景及研究目的和意义 |
| 1.2 国内外研究现状 |
| 1.3 卷积神经网络的发展 |
| 1.4 本文主要研究内容 |
| 第2章 卷积神经网络理论 |
| 2.1 人工神经网络 |
| 2.1.1 人工神经网络基本结构 |
| 2.1.2 神经网络权值学习规则 |
| 2.1.3 BP算法 |
| 2.2 卷积神经网络基本理论 |
| 2.2.1 卷积神经网络的训练流程 |
| 2.3 本章小结 |
| 第3章 面向字符识别的卷积神经网络结构设计 |
| 3.1 数据集的建立与预处理 |
| 3.1.1 数据集的建立 |
| 3.1.2 数据集扩展方法 |
| 3.2 CNN字符识别结构的建立 |
| 3.2.1 CNN对比结构实验 |
| 3.2.2 单一网络模型的缺点 |
| 3.3 本章小结 |
| 第4章 CNN字符识别算法的优化 |
| 4.1 多级特征的提取 |
| 4.1.1 不同尺度的特征提取 |
| 4.1.2 多级特征提取器 |
| 4.2 CNN与集成学习方法的结合 |
| 4.2.1 集成学习方法 |
| 4.2.2 CNN集成模型 |
| 4.3 本章小结 |
| 第5章 实验结果与分析 |
| 5.1字符识别准确率对比实验 |
| 5.2 集成模型与其他方法的对比 |
| 5.3 字符识别实验结果 |
| 5.4 本章小结 |
| 第6章 总结与展望 |
| 参考文献 |
| 致谢 |
| 攻读硕士学位期间的研究成果 |
（10）复值神经网络的Lp正则化梯度学习算法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 人工神经网络发展历程 |
| 1.2 复值神经网络国内外研究现状 |
| 1.3 复值神经网络概述 |
| 1.3.1 复值神经元模型 |
| 1.3.2 复值神经网络的激活函数 |
| 1.4 论文组织结构 |
| 2 相关理论知识 |
| 2.1 正则化方法简介 |
| 2.1.1 L_0正则化方法 |
| 2.1.2 L_(1/2)正则化方法 |
| 2.1.3 L_1正则化方法 |
| 2.1.4 L_2正则化方法 |
| 2.2 Wirtinger算子 |
| 2.3 本章小结 |
| 3 带L_2正则项的复值梯度学习算法 |
| 3.1 背景介绍 |
| 3.2 算法描述 |
| 3.3 算法收敛性分析与证明 |
| 3.4 数值实验 |
| 3.4.1 XOR问题 |
| 3.4.2 复值信道问题 |
| 3.4.3 风的预测问题 |
| 3.4.4 逼近问题 |
| 3.5 本章小结 |
| 4 带光滑L_0正则项的复值梯度学习算法 |
| 4.1 背景介绍 |
| 4.2 算法描述 |
| 4.3 算法收敛性分析与证明 |
| 4.4 数值实验 |
| 4.4.1 XOR问题 |
| 4.4.2 复值信道问题 |
| 4.4.3 风的预测问题 |
| 4.4.4 逼近问题 |
| 4.5 本章小结 |
| 结论 |
| 参考文献 |
| 致谢 |
| 作者简历及攻读硕士学位期间的科研成果 |
四、神经网络的学习误差函数及泛化能力（论文参考文献）
- [1]旋转机械早期故障诊断关键技术研究[D]. 杨静. 西安理工大学, 2020
- [2]深度学习中正则化方法及其在眼科影像的应用[D]. 李思宇. 北京工业大学, 2020(06)
- [3]基于二进制方法和光滑组L1/2方法的神经网络结构优化研究[D]. 杨思博. 大连理工大学, 2020(01)
- [4]深度学习框架下的极化SAR影像信息表达与分类研究[D]. 王磊. 武汉大学, 2020(03)
- [5]基于深度学习的视觉里程计技术研究[D]. 刘旺. 电子科技大学, 2020(07)
- [6]基于LSTM深度神经网络的金融风险控制模型设计与实现[D]. 张晓东. 中国地质大学(北京), 2020(12)
- [7]基于学习的极化码译码算法研究与应用[D]. 宋旭冉. 浙江大学, 2020(02)
- [8]深度神经网络在图像识别中的研究与应用[D]. 朱晓宁. 北京邮电大学, 2019(01)
- [9]基于CNN集成模型的工业字符识别方法研究[D]. 阙伟波. 深圳大学, 2019(09)
- [10]复值神经网络的Lp正则化梯度学习算法研究[D]. 王敬. 大连海事大学, 2019(06)