一、单纯记忆神经网络（论文文献综述）
伍梦秋[1]（2019）在《人工智能记忆的哲学分析》文中研究指明人工智能发展近七十年来,取得过辉煌的成绩,也曾多次陷入低谷。人们追寻智能的原理,渴望制造出类似人类智能的计算机。以人类脑机制为研究对象的神经科学的兴起,为后来神经网络的出现运用,以及目前阶段性的成功奠定了基础,同时也引起了人们对人工智能体记忆研究的关注。发展至今,人工智能体记忆系统的研发仍然面临着诸多困难,无法实现与人类记忆相同程度的智能化记忆。在人类智能中,记忆机制存在的意义并不单纯是为了储存大量的数据信息,更重要的是让人类能做出更好的选择。当下我们谈论的人工智能情感、经验和认知能力,无一不与记忆有关。我们不妨追溯到记忆研究的源头,从哲学视角入手对比实验科学中记忆的概念,反思人工智能记忆研究的发展。本文对人工智能记忆的发展现状所出现的问题展开了研究,论文研究得出了如下几个方面的结论:（1）通过对记忆研究理论的梳理,明确了记忆在人类智能中的地位,记忆是使人们的经验、情感、认知等智能行为得以可能的基础与前提。记忆是哲学中一个古老的话题,哲学能从记忆现象中分析其精神本质,区分记忆与回忆、澄清记忆与遗忘的关系,揭示记忆现象背后所蕴含的内容。以人类智能为蓝本的人工智能要超越目前的计算认知,建立更高层次的关系体系就必须突破人工智能记忆研究中的瓶颈。从哲学视角反思人工智能记忆研究现状,对比不同学科之间记忆概念的差异,从哲学视角出发,理解记忆、回忆与遗忘概念并对人工智能记忆研究现状进行反思,完善对于记忆的理解。对比人类记忆蓝本,在现有研究成果之上,强调记忆机制中回忆与遗忘的重要性,以及贯穿于记忆之中的时间性。（2）人工智能是否具有主体性是其发展所必须要面对的问题,从哲学角度对人工智能记忆研究进行分析,人工智能要先能进行感知,形成记忆与回忆,进而人工智能才有可能成为新兴的记忆主体。（3）人工智能发展还面临着一直以来争论不休的道德判断问题,结合资料分析记忆在人类进行道德判断时的重要作用,探讨人工智能自动驾驶技术进行真实场景道德判断的突破口。（4）人工智能记忆研究的发展使人们正面临着“被遗忘权”丧失的危机,当人工智能帮人类记住了他们想忘记的一切时,人们应当坚决扞卫自己的权力。并且在人工智能记忆研究中,工程师们应该注重研发人工智能的智能化遗忘环节,以应对人工智能发展中面临的现实问题。透过哲学反思,使人工智能记忆研究得到更好的发展,也能为建立更高级别的人工智能打下坚实的基础。
李田田[2]（2020）在《基于循环神经网络的短期电力负荷预测研究》文中指出用电负荷预测是电力系统优化调度的重要基础。精确、有效的预测结果有助于系统调度人员针对待调度系统特征制定合理的发电计划,从而在保障供电可靠性的前提下减少对不可再生能源的消耗、降低发电成本、推动社会的可持续发展。作为一类经典预测问题,电力负荷预测一直以来都受到了研究人员极大的关注。近年来,人工智能技术的不断发展为现阶段电力负荷预测提供了一系列有效的方法和手段。考虑到用电负荷具有强时序性这一特点,本文首先针对其点预测方法展开研究,提出了基于经验模态分解和粒子群优化算法的长短期记忆神经网络点预测方案。具体而言,在数据预处理方面,利用经验模态分解将负荷历史数据的原始时间序列分解为相对平稳、频率一致的多个本征模态分量与余波分量的组合形式。为缓解高频类噪声分量带来的负面影响,通过一系列分量组合实验得出最优混合模式。随后,针对每个组合分量,搭建长短期记忆神经网络,对负荷数据的时序特征进行学习。在网络参数优化方面,针对长短期记忆神经网络随机初始化难以保证预测结果有效性这一问题,利用粒子群算法对其参数进行寻优。基于真实数据的案例分析表明,上述融合经验模态分解和粒子群优化的方法在单日预测实验中平均绝对百分比误差达到了1.43%,与循环神经网络、门控循环神经网络等方法相比,本文提出的预测方法对用电负荷点预测精度提升超过1%,同时,预测周期内所有点误差均小于3%。在上述研究基础上,为更好地应对负荷预测的不确定性,我们进一步对用电负荷的区间预测方法展开研究,提出了基于多目标粒子群算法的长短期记忆神经网络区间预测方案。具体而言,首先采用与点预测方案相似的数据清洗方法对历史数据进行清洗。随后,搭建能够输出待预测时段用电负荷上、下界的长短期记忆神经网络。最后,采用近期刚被提出的基于多样阈值集的多目标粒子群算法对网络进行训练。基于真实数据的案例分析表明,上述基于多目标粒子群算法的参数优化方法提升了长短期记忆神经网络在用电负荷区间预测方面的性能,获得了超体积指标等于0.5408的帕累托解集,与时变多目标粒子群算法和基于变异与支配次数的多目标粒子群算法相比,分别提高了6.67%和8.59%。
杜睿[3]（2020）在《基于GRU改进的LSTM门控制长短期记忆网络的股票交易策略设计》文中研究说明近几十年来,金融量化得以产生并进而快速成熟。对于金融机构例如基金来说,投资机构越来越不满足被动构建投资组合收益市场平均收益的局面,对于主动量化策略投资组合的重视性日渐加深,这就需要引入主动型股票投资基金管理模式。目前在我国的股票基金投资市场,有非常多的主动型量化投资策略,使用的算法千差万别,如SVM、随机森林、RNN循环记忆网络等等。本文着眼于这个趋势,使用金融股票投资领域使用方兴未艾的LSTM-GRU门控制长短期记忆网络模型为基础构建一套主动投资型股票策略,并将其与已经在股票量化投资领域广泛使用的SVM、RNN等模型对比,从理论上来说,相较于SVM单纯依靠核函数来高阶映射进而分类数据,RNN、LSTM-GRU等神经网络算法原理更为优良,更适合处理金融股票数据,之后通过多重对比,最后发现LSTM-GRU门控制长短期记忆网络具有较好的准确率,通过选择LSTM-GRU算法构建基于沪深300指数成分股的交易策略,进行参数调校与神经层的连接调整,最终在长期时间内取得了显着跑赢基准指数沪深300的成绩。本文结论即研究成果可以为金融机构构建主动型股票投资组合提供一定的量化策略参考。
吴亚杰[4]（2020）在《基于地表水-地下水耦合模拟的黑河流域水资源配置研究》文中提出黑河流域位于中国西北地区,是中国干旱区内陆河流域的典型代表之一,流域中游河西走廊灌溉农业区是我国重要商品粮食生产种植基地,同时它也成为黑河流域水资源的主要消耗区。黑河流域水资源总量十分紧缺,由于水资源开发利用程度过高而产生一系列生态环境问题。如何合理分配水资源使得经济效益最大成为水资源管理者关注的问题。近年来气候变化引起了大气变化和水循环时空变化,区域性极端干旱或洪水灾害事件可能更加频繁,这也使未来水资源管理面临更大挑战。本研究针对上述两方面问题,发展了基于地表水-地下水耦合模拟的黑河中下游水资源优化配置模型,构建了基于长短期记忆神经网络（LSTM）的黑河上游出山径流预测模型,并将两者相结合预测了黑河中下游水循环与水资源配置对未来气候变化的响应。本研究发展的水资源优化配置模型以农业用水经济效益最高为目标,通过在生态水文模型HEIFLOW框架内耦合高效的线性规划问题,使用单纯形算法求解该问题。利用优化配置模型开展了现状条件下2000年-2016年黑河中下游水资源配置模拟。优化结果表明,使用优化配置模型后,黑河中游灌区平均供水率得到提高,位于河道中下段的灌区获得更多的水资源,灌区间供水更加均衡。本研究提出了联合应用LSTM和主成分分析（PCA）方法来构建日径流预测模型,该方法仅使用气象驱动数据作为输入变量,可实现对日径流过程的长时间序列预测,通过使用PCA降维技术来简化神经网络结构,从而解决神经网络输入数据维度过高的问题。利用该方法对未来黑河上游六大子流域出山径流进行了长时间预测,预测结果显示2017年-2060年出山径流量以-1.0×106m3/yr的趋势缓慢下降。将LSTM模型预测结果作为水资源优化配置模型的黑河上游流量输入边界,对未来黑河中下游进行水资源优化配置模拟实验,其结果显示:未来黑河中下游的年均蒸散发以-0.07mm/yr的趋势减少,但中游灌区蒸散发有所增加;未来正义峡年径流量呈现递减趋势,递减率为-5.5×105m3/yr;未来靠近黑河上游的灌区将获得更多的水资源。
张裕天[5]（2019）在《基于视觉感知的多模态多任务端到端自动驾驶方法研究》文中研究表明由于深度学习特别是卷积神经网络在计算机视觉领域取得了令人瞩目的成功,基于计算机视觉和深度学习的自动驾驶技术得到了快速发展。当前端到端自动驾驶系统的研究方法主要是采用图像或图像序列作为输入,使用卷积神经网络直接预测方向盘转角,取得了较好的效果,但仅通过方向盘转角并不足以完成自动驾驶车辆的控制。因此,本文提出了一个基于端到端学习的多模态多任务神经网络模型,能够同时预测车辆的方向盘转角和速度,实现自动驾驶车辆的横纵向控制。主要研究内容如下:基于GTAV虚拟游戏搭建了适合进行自动驾驶数据采集和测试的仿真平台,该仿真平台能够有效缩短算法开发时间和降低开发成本,并能够直观地测试算法模型的效果。为解决自动驾驶的横纵向控制问题,将方向盘转角序列和速度序列作为额外的模态信息输入,在深度卷积神经网络CNN的基础上,引入了长短时记忆神经网络LSTM,提出了CNN-LSTM多模态多任务神经网络模型,以端到端的方式同时预测方向盘转角和速度。在GTAV数据集上进行神经网络模型的训练和测试,实验结果验证了CNN-LSTM多模态多任务神经网络模型实现自动驾驶车辆横纵向控制的可行性和有效性,表明该模型能够较为准确地预测速度值,进一步提高了方向盘转角的预测精度。神经网络模型的可解释性差,为了从一定程度上解释CNN-LSTM神经网络模型如何理解输入的图像,找到模型改进的方向,采用VisualBackProp对神经网络模型进行了可视化分析,分析结果表明模型能够从图像中提取到与驾驶相关的关键特征。通过基于ROS的自动驾驶平台进行了真实场景数据采集和道路测试工作。采用深度迁移学习解决仿真环境与真实场景数据集的差异问题,在真实场景数据集上采用finetune进行神经网络模型的再训练和测试,测试结果表明模型能够较为准确地预测方向盘转角和速度,真实环境下的路测结果表明神经网络模型能够较好地完成车道保持和避障绕行的任务。
范汝鑫[6]（2019）在《基于深度神经网络的个性化商品推荐研究》文中研究说明随着用户和商品内容的快速增长,导致用户越来越难凭借手动搜索或逐一查看的方式获得自己感兴趣的商品,为了提升用户的消费体验和效率,互联网平台利用推荐系统帮助用户在选购商品时提供参考,借助推荐算法挖掘出用户最可能喜欢的商品进行推送。但传统的推荐算法在面对历史交互数据稀疏或新商品推荐的情形时都存在明显的不足,在推荐领域使用深度神经网络的方法可以有效的解决以上问题。本文将基于潜在特征的模型与深度神经网络有效结合在一起,提出了两种混合推荐算法,能够同时从商品内容信息和历史交互信息中挖掘特征,分别应用于不同生命周期的商品推荐。最后根据商品特点构建了基于深度神经网络的推荐框架,为不同的商品匹配合适的算法,提升推荐的准确性。本文的主要工作包括:（1）详细分析了传统推荐算法结合深度学习技术的发展历程和研究现状,提出了目前研究中存在的不足,给出了造成这些不足的原因并给出解决的思路。将本论文中所涉及到的相关理论基础进行介绍,分别对协同过滤算法、基于内容的推荐和深度神经网络的基本思想、理论背景和实际应用中适用情况展开介绍。（2）新商品缺乏历史交互数据,通过引入图像数据并利用卷积神经网络从中提取商品视觉内容特征作为推荐系统的辅助信息,结合隐语义模型从评分数据中挖掘的商品潜在特征,两类特征相辅相成、互相补充。将卷积神经网络和隐语义模型有效结合,并提出了一种新颖的混合推荐算法,通过在真实数据集下的对比实验,该算法要明显优于其他的模型,在数据稀少时,模型表现出优良的稳定性。（3）为了提高成熟商品的推荐效果,引入高质量的评论文本数据,利用基于注意力机制的长短期记忆神经网络从用户和商品的评论文本提取文本特征表征商品的潜在特性,弥补文本与推荐系统的语义鸿沟。与潜语义模型挖掘评分数据的特征两者结合,相互制约、相互补充。最后通过现实世界的真实数据集对该混合推荐算法进行对比实验,实验结果表明该算法提高了评分预测的准确性且很好的兼顾了推荐效率。（4）将前面提出的基于深度神经网络的推荐算法集成到一个推荐框架中,根据商品的不同生命周期将产品细分,分别采用不同的方法进行训练和预测,有效提高准确性。另外,该推荐框架充分利用当今互联网时代的数据资源,添加了蕴藏大量信息的非结构化数据,丰富推荐系统的数据输入。通过对比实验评估基于深度神经网络的推荐框架整体的推荐性能。实验结果证明,本文提出的基于深度神经网络的推荐框架的推荐性能优于现有的推荐框架。
李亚超,熊德意,张民[7]（2018）在《神经机器翻译综述》文中研究指明机器翻译研究将源语言所表达的语义自动转换为目标语言的相同语义,是人工智能和自然语言处理的重要研究内容.近年来,基于序列到序列模型（Sequence-to-Sequence Model）形成一种新的机器翻译方法:神经机器翻译（Neural Machine Translation,NMT）,它完全采用神经网络完成源语言到目标语言的翻译过程,成为一种极具潜力全新的机器翻译模型.神经机器翻译经过最近几年的发展,取得了丰富的研究成果,在多数语言对上逐渐超过了统计机器翻译方法.该文首先介绍了经典神经机器翻译模型及存在的问题与挑战;然后简单概括神经机器翻译中常用的神经网络;之后按照经典神经机器翻译模型、基础共性问题、新模型、新架构等分类体系详细介绍了相关研究进展;接着简单介绍基于神经网络的机器翻译评测方法;最后展望未来研究方向和发展趋势,并对该文做出总结.
张平平[8]（2019）在《卷积CIFG模型在影评情感分析中的应用》文中研究说明随着互联网科技的蓬勃发展,网络评论不论是在国家层面还是在人们的日常生活中都起着举足轻重的作用。对于网络上的文本进行分析是一个非常具有现实意义的任务。我们中华文字充满着丰富的语义信息,很多时候,同样的词语在不同的语境下有着截然不同的意思,并且中文的研究还需要对文本进行分词、繁简体转化等处理,因此对中文的文本进行分析要比英文文本分析面临更多的挑战。文本情感分析是文本分析中不可忽略的一部分,许多时候我们必须了解一个句子、一条评论、一段话的情感才能够更加全面准确的理解语句的真实含义。现如今人工智能正在逐渐改变人们的生活。深度学习对人工智能起着推进作用。在深度学习基础上发展而来的人脸识别、语音对话、文本分析技术正应用于我们手机的App之中,对文本的情感进行分析是文本分析技术的一个重要应用。深度学习当中有许多的神经网络,在众多的神经网络之中,卷积神经网络（CNN,Convolution Neural Network）具有局部感知能力能够提取数据中的局部信息,而循环神经网络更适合于研究序列化数据。语言本身就是序列化数据,并且语言的上下文存在语义关系。长短期记忆神经网络（LSTM,Long Short Term Memory）是循环神经网络的一种,耦合输入和遗忘门模型（CIFG,Coupled Input and Forget Gate）是LSTM的一个变形。本文将CNN与CIFG两者进行结合,提出卷积耦合输入和遗忘门网络模型（CNN-CIFG,Convolution Neural Network-Coupled Input and Forget Gate）解决影评文本的情感分析问题。本文首先通过网络爬虫技术爬取豆瓣网上影视作品的影评文本信息。因影评数据具有内容随意、多样性等特性,最初要将影评文本进行数据清洗以及繁简体转化、文本分词、情感标注等预处理操作。然后将经预处理后的文本向量化,将影评文本转化为计算机能够认识的一种形式,再将向量化后的数据传入神经网络模型。经过不停地迭代优化,得到可以用于影评情感分类的模型。经实验对比分析,本文构建的卷积耦合输入和遗忘门网络模型（CNN-CIFG）可以更好的学习文本中的情感信息,对正面和负面文本的分类性能在多个评价指标上都有提高。
金国强[9]（2020）在《基于深度学习的复杂工况下端到端的滚动轴承故障诊断算法研究》文中研究表明轴承是旋转机械中的重要部件,轴承的故障可能导致严重的人员伤亡和经济损失,因此对轴承的故障诊断以及保障轴承的平稳运行是维护现代机械设备安全稳定运行必不可少的步骤。传统的轴承故障诊断方法侧重于手动设计复杂的降噪、滤波、特征提取过程,然而这些过程过于繁琐,缺乏智能性,在海量数据下依靠手工诊断愈发困难。此外,轴承运行工况复杂多变,手动提取故障特征困难,在复杂工况下的端到端轴承故障诊断研究亟待改进。随着信息技术的发展,深度学习具有强大的特征提取和表示能力,能充分利用海量数据自动学习轴承故障特征信息,为复杂情况下轴承故障的高效、智能诊断提供可能。为此,本文以滚动轴承振动信号为研究对象,以高噪声、不同工况等复杂场景下的端到端轴承故障诊断为应用背景,研究了不同的深度神经网络,主要研究内容如下:（1）为了实现端到端的轴承故障种类和严重程度的诊断,考虑到深度卷积神经网络有着强大的特征提取能力,能够替代手动挑选特征的过程,同时深层的卷积神经网络参数量巨大,影响计算效率,因此提出一种轻量级的深度结构优化卷积神经网络。提出的网络利用局部稀疏结构替换了原网络中的参数密集层,大幅减少了网络的参数量。实验证明了提出的结构优化网络能在使用原网络不到一半参数量的情况下仍然保持和原网络同样的性能,从而提升了故障诊断效率和适应性。（2）为了提升高噪声下的轴承故障诊断性能,考虑到轴承振动信号是一种时间相关信号,而循环神经网络具有捕获时间相关序列内在特征的能力,同时注意力机制能自适应地重组并筛选特征,因此综合提出一种端到端的自适应抗噪神经网络框架AAnNet。其中卷积神经网络用于从振动信号中初步提取相关特征,门控循环神经网络用于进一步加工相关特征实现复杂场景下的轴承故障和其严重程度的诊断。为了进一步增强网络应对噪声的能力,提出了一种基于随机采样策略的信号输入方法,并且改进了卷积网络中的激活函数,从而提升网络在复杂场景下的轴承故障诊断能力。两个数据集上的实验证明了提出的网络框架能够在高噪声等复杂场景下实现目前领先的轴承故障诊断准确度。（3）为了提升不同工况下的轴承故障诊断性能,考虑到标注所有工况下的数据是非常耗时且昂贵的过程,因此提出一种端到端的多重对抗跨领域轴承故障诊断算法MACDNet用于利用源工况下有标签的数据和目标工况下无标签的数据,实现跨工况轴承故障诊断知识的迁移,从而提升目标工况的轴承故障诊断性能。提出的方法使用了多重对抗的训练过程能自动从不同领域数据中提取领域不变特征而不需要手动设计特征和度量函数。其中领域对抗训练用于缩小不同分布数据之间的领域差异,最小最大熵用于在特征空间中聚集来自不同领域同一类别的数据,从而缓解分类错误对齐问题并提升最终轴承故障分类准确度。此外,还利用虚拟对抗的方法提升局部平滑性,并且利用自适应层改进网络结构进一步提升网络的跨领域轴承故障诊断性能。可变负载轴承故障诊断实验和跨设备轴承故障诊断实验证明了提出算法的有效性。（4）为了探究神经网络实现轴承故障诊断的过程,本文利用网络可视化方法展示了提出神经网络的工作原理。其中可视化了提出的AAnNet各部分的工作原理以及轴承振动信号在神经网络中的处理过程。通过网络可视化发现:框架中特征提取层具有特征筛选及降低噪声干扰的作用;注意力机制能够针对不同故障类型和严重程度的输入自动选择和组合特征;提出的框架是按照从整体到局部的方式进行故障的分类,即先将类似特征聚集在一起,然后再将其逐渐分离开。通过可视化MACDNet可以直观看出提出的方法能够有效缓解分类错误对齐问题,从而提升跨领域轴承故障诊断性能。通过网络可视化能更直观理解神经网络的工作方式,提升神经网络可解释性,并且可以对网络结构设计以及参数选择提供帮助。
陈云天[10]（2020）在《基于机器学习的测井曲线补全与生成研究》文中指出机器学习算法尤其是神经网络,已经成为工程领域建模的有力工具。这些方法可以从更高维度拟合不同变量之间的高度非线性映射关系,尤其适用于工程中有观测数据,但是变量间映射关系过于复杂,导致传统物理模型或者经验模型无法有效解决的问题。神经网络在工程中的一个重要的应用领域是石油工程,尤其是可以应用于对勘探开发至关重要的测井。测井是一种用来描述并分析地下情况的物理测量手段,对于油气勘探和开发具有重要意义。地质学家和工程师可以基于测井数据建立精确的地质模型,并设计勘探开发策略。然而,测井曲线的采集往往是昂贵且耗时的,在实际测量中由于各种客观原因,经常出现测井数据缺失的问题,也可能出于成本考虑而放弃测量某些整条测井曲线。因此,测井曲线的补全与生成是一个具有学术和工程价值的研究。然而,由于地层情况复杂且存在各向异性,所以不同测井曲线之间的映射关系极为复杂,无论是传统的物理模型还是经验模型,都难以准确描述测井曲线之间的关系,无法对残缺测井曲线进行补全或者对未测量的测井曲线进行生成。在本论文中,我们针对测井曲线补全和生成的问题,提出了利用机器学习方法的高效解决方案。同时,我们发现机器学习算法直接应用于工程领域的过程中,普遍存在四个问题。针对这些问题,本论文将物理约束作为先验知识引入到模型中,并将历史拟合领域中的算法融合到神经网络中,提出了一类新型的集合神经网络和集合长短期记忆神经网络。利用新构建的模型,我们成功将领域知识融合到机器学习算法中,使得模型更符合物理机理,进一步提升了模型的预测准确度。具体而言,第一个问题是目前神经网络与工程问题的结合过于直接,多是单向的应用过程,缺少与具体领域知识的结合。实际上,将领域知识引入到神经网络中,相当于为模型提供了丰富且有价值的先验知识,有利于构建出更符合物理机理的模型,打破模型效果提升的瓶颈,进一步提升模型的预测准确度。简单直接地应用神经网络并不能保证模型的预测效果。神经网络与应用场景的结合需要充分考虑领域知识,不能简单的单向应用,而应该将领域知识与神经网络有机融合、双向耦合。一方面利用神经网络描述复杂映射关系的能力,另一方面利用问题本身的特点反哺算法与模型,才能使得模型与问题更加全面有效地结合,并改善模型性能。第二个问题是缺少对预测结果不确定性的量化分析。在工程应用中,由于判断结果往往会产生较大的经济甚至社会影响,所以对于预测结果的不确定性分析是极其重要的。任何模型预测结果中的不确定性是无法避免的,包括由于噪声数据引起的数据不确定性,以及来自于模型参数和模型结构的模型不确定性。因此,神经网络的预测结果也不可能永远是准确的,如果模型能够对预测结果提供不确定性分析,则可以在预测结果不确定性高的时候将问题交由人工判断处理。通过这种手段,能够有效降低由于预测有误所带来的损失。因此,对于拥有较大经济价值或关乎生命的应用场景而言,模型输出结果的不确定性信息极其重要。第三个问题是数据的易得性和数据量。高质量数据对于训练机器学习模型而言极其重要。然而对于大多数工程问题的数据而言,往往存在两个特点:有些情况是数据量巨大,但是数据非结构化且缺失值和异常值比例较高,真正可用数据较少;另一些情况下数据质量较高,但是数据的采集往往是耗时且昂贵的。数据易得性和数据量的问题极大地制约了机器学习在工程中的实际应用。最后一个问题是缺少无梯度算法。目前神经网络的激活函数和损失函数必须易于求导,否则无法通过反向传播算法进行迭代优化。虽然机器学习领域中提供了许多易于求导的损失函数,但是在工程应用中,许多直接有效的损失函数往往是结合领域知识且难以求导的。此外,这一特点也约束了神经元的结构,限制了对预测能力更强的新型网络的探索。为了解决上述问题,本研究主要完成了如下工作:1.将机器学习算法应用于能源工程中,解决测井曲线补全与生成的问题。考虑到储层具有地质连续性,选择善于处理序列数据且可以学习长期相关性的长短期记忆神经网络（LSTM）作为预测模型的基础。进一步基于LSTM构建了串级长短期记忆神经网络（Cascaded LSTM）,并用于生成人工测井曲线。2.将物理约束和领域知识引入机器学习算法,通过在LSTM中增加机理模拟网络结构和自适应分层归一化两种约束,构造了物理约束长短期记忆神经网络（PCLSTM）。利用PC-LSTM基于常规测井曲线预测地质力学测井曲线,并成功构建地质力学模型。这一方法有利于根据易于获得的常规测井曲线构建精确地质模型,对实际勘探开发具有重要意义。3.将能源工程领域中的集合随机最大似然法（En RML）用于全连接神经网络（FCNN）和LSTM,通过将传统网络（FCNN和LSTM）的前馈过程与En RML结合,构造出基于协方差矩阵进行迭代优化的集合神经网络（ENN）和集合长短期记忆神经网络（En LSTM）。该类网络基于贝叶斯定理构建,可以提供不确定性分析,可以针对小数据量训练,且不依赖于导数计算,更适合于工程实际应用。在En LSTM中,通过引入模型参数扰动方法,有效解决了过度收敛问题,同时引入了标准化观测值的保比例扰动方法。最后,将En LSTM应用于测井曲线生成问题,并取得了较好的效果。
二、单纯记忆神经网络（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、单纯记忆神经网络（论文提纲范文）
（1）人工智能记忆的哲学分析（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 绪论 |
| 一、选题目的和意义 |
| 1.选题目的 |
| 2.选题意义 |
| 二、国内外研究述评 |
| 1.国内研究现状 |
| 2.国外研究现状 |
| 三、研究方法 |
| 四、创新之处 |
| 第一章 传统记忆研究的发展历史 |
| 第一节 哲学视角下的记忆研究 |
| 一、古希腊的记忆观 |
| 二、近代哲学对于记忆的关注 |
| 三、现象学对于记忆的解读 |
| 第二节 心理学中的记忆及对人工智能的影响 |
| 一、心理学中的记忆研究 |
| 二、心理学记忆研究对人工智能发展的影响 |
| 第三节 神经科学中的记忆及对人工智能的影响 |
| 一、神经科学对于记忆的定义及其对人类活动的影响 |
| 二、神经科学记忆研究对人工智能的启发 |
| 第二章 人工智能记忆问题及展望 |
| 第一节 人工智能的出现与发展瓶颈 |
| 一、人工智能的诞生 |
| 二、人工智能发展陷入低谷 |
| 第二节 记忆研究推动人工智能走向新高度 |
| 一、循环神经网络的出现 |
| 二、长短期记忆神经网络的发展与反思 |
| 第三节 人工智能记忆研究的未来展望 |
| 第三章 人工智能的记忆与回忆 |
| 第一节 作为内化与感知的记忆 |
| 一、人类记忆与人工智能记忆 |
| 二、记忆中伴随着时间性 |
| 第二节 人工智能的回忆行为 |
| 一、回忆与想象 |
| 二、生成式对抗网络与回忆行为 |
| 第三节 以记忆为视角反思人工智能发展中的争论 |
| 一、人工智能的主体性争论 |
| 二、人工智能面临的伦理道德困境 |
| 第四章 人工智能的遗忘尝试 |
| 第一节 哲学视域中的遗忘 |
| 第二节 人工智能记忆研发中的遗忘尝试 |
| 结语 |
| 参考文献 |
| 作者在攻读硕士学位期间公开发表的论文 |
| 作者在攻读硕士学位期间所作的项目 |
| 致谢 |
（2）基于循环神经网络的短期电力负荷预测研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 电力负荷预测方法 |
| 1.2.2 循环神经网络国内外研究现状及分析 |
| 1.3 研究内容 |
| 1.4 论文结构 |
| 第二章 基础知识 |
| 2.1 循环神经网络 |
| 2.2 门控循环神经网络 |
| 2.3 长短期记忆神经网络 |
| 2.4 本章小结 |
| 第三章 电力负荷点预测研究 |
| 3.1 数据预处理 |
| 3.1.1 数据清洗 |
| 3.1.2 基于经验模态分解的数据预处理 |
| 3.1.3 分量重组 |
| 3.1.4 数据归一化 |
| 3.2 参数优化 |
| 3.2.1 粒子群算法优化流程 |
| 3.3 总体点预测方案 |
| 3.3.1 数据预处理 |
| 3.3.2 预测模式选取 |
| 3.3.3 长短期记忆神经网络的搭建 |
| 3.3.4 初始化权值及偏置参数寻优 |
| 3.3.5 反归一化与线性叠加 |
| 3.4 案例分析 |
| 3.4.1 数据来源 |
| 3.4.2 评价指标 |
| 3.4.3 预测结果 |
| 3.5 本章小结 |
| 第四章 电力负荷区间预测研究 |
| 4.1 区间预测评价指标 |
| 4.2 基于多样阈值集的多目标粒子群算法 |
| 4.3 总体区间预测方案 |
| 4.3.1 数据预处理 |
| 4.3.2 网络搭建与参数初始化 |
| 4.3.3 参数寻优与帕累托解集获取 |
| 4.3.4 预测结果输出 |
| 4.4 案例分析 |
| 4.4.1 数据来源 |
| 4.4.2 预测结果 |
| 4.5 本章小结 |
| 第五章 总结与展望 |
| 5.1 本文总结 |
| 5.2 研究展望 |
| 致谢 |
| 参考文献 |
| 简历与科研成果 |
（3）基于GRU改进的LSTM门控制长短期记忆网络的股票交易策略设计（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究的背景 |
| 1.2 研究的目的和意义 |
| 1.2.1 研究目的 |
| 1.2.2 研究意义 |
| 1.3 研究内容、方法、技术路线 |
| 1.3.1 研究内容 |
| 1.3.2 研究方法 |
| 1.3.3 技术路线图 |
| 1.4 本文主要贡献 |
| 第2章 相关理论回顾与文献综述 |
| 2.1 相关理论 |
| 2.1.1 SVM原理及特性 |
| 2.1.2 循环记忆网络模型(RNN) |
| 2.1.3 长短期记忆网络模型(LSTM) |
| 2.1.4 门控制循环模型(GRU) |
| 2.2 文献综述 |
| 2.2.1 传统选股模式 |
| 2.2.2 量化选股 |
| 2.2.3 投资策略 |
| 2.2.4 文献评述 |
| 第3章 问题分析与交易策略构思 |
| 3.1 主动型股票基金收益波动较大的问题 |
| 3.1.1 主动型股票投资基金的收益现状 |
| 3.1.2 主动式股票基金收益问题提出 |
| 3.2 基于GRU改进的LSTM交易策略设计思路 |
| 3.3 交易策略设计的理论框架 |
| 第4章 交易策略的设计方案 |
| 4.1 数据选取 |
| 4.2 因子池选取 |
| 4.3 数据清洗 |
| 4.4 模型选择 |
| 4.4.1 建模算法选择与原理分析 |
| 4.4.2 各类算法建模效果对比 |
| 4.5 LSTM量化选股策略构建及基于GRU模型的改善 |
| 4.5.1 LSTM模型参数选择与结构设定 |
| 4.5.2 GRU模型改进与LSTM-GRU模型结构设定 |
| 第5章 交易策略方案设计及有效性评价 |
| 5.1 LSTM-GRU交易策略方案的有效性评价 |
| 5.1.1 样本外检验设置 |
| 5.1.2 LSTM模型与LSTM-GRU模型预测准确率与时间复杂度对比 |
| 5.1.3 LSTM-GRU模型损失函数分析 |
| 5.1.4 LSTM-GRU建模因子重要性分析 |
| 5.1.5 对动量、市值类因子的改善 |
| 5.2 基于LSTM-GRU的主动型股票投资基金投资组合设计 |
| 5.2.1 主动型投资基金投资组合原理 |
| 5.2.2 LSTM-GRU网络策略投资组合的设计 |
| 5.3 LSTM-GRU策略历史业绩回测评价 |
| 5.3.1 业绩评价指标 |
| 5.3.2 风险度量指标 |
| 5.3.3 详细回测指标表现 |
| 5.4 交易策略方案的风险提示 |
| 第6章 结论 |
| 致谢 |
| 参考文献 |
| 附录 |
（4）基于地表水-地下水耦合模拟的黑河流域水资源配置研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 研究背景 |
| 1.2 研究意义 |
| 1.3 国内外研究进展 |
| 1.3.1 地表水-地下水耦合模拟研究进展 |
| 1.3.2 水资源优化配置研究进展 |
| 1.3.3 基于人工神经网络算法的径流预测研究进展 |
| 1.4 研究内容以及技术路线 |
| 1.4.1 研究内容 |
| 1.4.2 技术路线 |
| 1.5 论文创新点 |
| 第2章 黑河流域概况 |
| 2.1 自然地理概况 |
| 2.2 社会经济概况 |
| 2.3 气象概况 |
| 2.4 水文概况 |
| 2.5 灌区概况 |
| 第3章 基于地表水-地下水耦合模拟的水资源优化配置模型 |
| 3.1 HEIFLOW模型原理 |
| 3.1.1 GSFLOW模型 |
| 3.1.2 生态水文模块 |
| 3.1.3 GSFLOW模型与生态水文模块的耦合 |
| 3.2 基于HEIFFLOW的水资源配置模拟 |
| 3.2.1 需水量计算 |
| 3.2.2 水资源配置模块 |
| 3.2.3 渠道水的损失计算 |
| 3.2.4 水资源配置模块与HEIFLOW模型的耦合 |
| 3.3 水资源优化配置模型 |
| 3.3.1 优化目标 |
| 3.3.2 单纯形算法 |
| 3.4 水资源优化配置模型构建 |
| 3.5 灌区水资源优化结果分析 |
| 3.6 本章小结 |
| 第4章 基于LSTM的黑河流域出山径流预测 |
| 4.1 研究方法 |
| 4.1.1 神经网络基础理论 |
| 4.1.2 长短期记忆神经网络理论 |
| 4.1.3 主成分分析(PCA)原理 |
| 4.1.4 评价指标 |
| 4.2 数据预处理与长短期记忆神经网络搭建 |
| 4.2.1 实验数据集 |
| 4.2.2 PCA降维处理 |
| 4.2.3 数据归一化 |
| 4.2.4 模型结构 |
| 4.3 径流模拟 |
| 4.4 未来径流变化 |
| 4.5 本章小结 |
| 第5章 黑河流域中下游未来水资源优化配置模拟 |
| 5.1 未来中下游气候变化 |
| 5.2 未来中下游水循环变化 |
| 5.2.1 整体水平衡 |
| 5.2.2 蒸散发时空变化特征 |
| 5.2.3 正义峡径流量年际变化特征 |
| 5.3 未来中游灌区水资源优化配置 |
| 5.4 本章小结 |
| 结论 |
| 参考文献 |
| 致谢 |
（5）基于视觉感知的多模态多任务端到端自动驾驶方法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 自动驾驶技术的研究现状 |
| 1.2.2 自动驾驶系统的研究现状 |
| 1.3 研究内容 |
| 1.4 论文的章节安排 |
| 1.5 技术路线 |
| 第二章 深度学习及端到端自动驾驶理论基础 |
| 2.1 引言 |
| 2.2 人工神经网络 |
| 2.2.1 神经元模型 |
| 2.2.2 网络结构 |
| 2.2.3 反向传播算法 |
| 2.3 深度学习 |
| 2.3.1 卷积神经网络 |
| 2.3.2 循环神经网络(RNN) |
| 2.3.3 长短时记忆神经网络 |
| 2.4 基于端到端学习的自动驾驶研究 |
| 2.5 本章小结 |
| 第三章 自动驾驶仿真平台 |
| 3.1 引言 |
| 3.2 开源仿真平台介绍 |
| 3.2.1 TORCS |
| 3.2.2 Euro Truck Simulator2 |
| 3.2.3 Carla |
| 3.3 基于GTAV仿真平台搭建 |
| 3.3.1 GTAV介绍 |
| 3.3.2 仿真平台搭建 |
| 3.3.3 功能测试 |
| 3.4 本章小结 |
| 第四章 基于端到端学习的深度神经网络模型 |
| 4.1 引言 |
| 4.2 CNN-LSTM多模态多任务神经网络模型 |
| 4.2.1 网络模型架构 |
| 4.2.2 特征提取网络 |
| 4.2.3 长短时记忆神经网络 |
| 4.2.4 横纵向控制网络 |
| 4.2.5 CNN-LSTM神经网络作用层 |
| 4.2.6 损失函数和优化方法 |
| 4.3 基于仿真平台的实验与分析 |
| 4.3.1 实验数据与实验环境 |
| 4.3.2 评判标准和参数设置 |
| 4.3.3 数据集预处理 |
| 4.3.4 模型训练与测试 |
| 4.3.5 实验结果分析 |
| 4.3.6 可视化分析 |
| 4.3.7 实验结论 |
| 4.4 本章小结 |
| 第五章 基于真实场景下的自动驾驶实验和分析 |
| 5.1 引言 |
| 5.2 迁移学习 |
| 5.2.1 迁移学习的基本概念 |
| 5.2.2 迁移学习的研究领域 |
| 5.2.3 迁移学习的基本方法 |
| 5.2.4 深度迁移学习 |
| 5.3 基于ROS的自动驾驶平台 |
| 5.3.1 ROS系统介绍 |
| 5.3.2 自动驾驶平台硬件结构 |
| 5.3.3 真实场景数据采集 |
| 5.4 基于真实场景数据的实验与分析 |
| 5.4.1 实验环境与参数设置 |
| 5.4.2 实验结果分析 |
| 5.4.3 可视化分析 |
| 5.4.4 实车测试 |
| 5.4.5 实验结论 |
| 5.5 本章小结 |
| 总结与展望 |
| 参考文献 |
| 攻读博士/硕士学位期间取得的研究成果 |
| 致谢 |
| 附件 |
（6）基于深度神经网络的个性化商品推荐研究（论文提纲范文）
| 致谢 |
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 研究内容与结构安排 |
| 第二章 相关理论基础 |
| 2.1 协同过滤 |
| 2.2 基于内容的推荐 |
| 2.3 深度神经网络 |
| 2.3.1 卷积神经网络 |
| 2.3.2 基于注意力机制的长短期记忆神经网络 |
| 2.4 本章小结 |
| 第三章 基于图像数据的混合推荐方法研究 |
| 3.1 问题提出 |
| 3.2 基于CNN-LFM的混合推荐算法基本思路 |
| 3.3 基于CNN-LFM的混合推荐算法结构 |
| 3.3.1 基于CNN-LFM的混合推荐算法步骤 |
| 3.3.2 CNN的结构 |
| 3.3.3 求解方法 |
| 3.4 实验设计与分析 |
| 3.4.1 数据集 |
| 3.4.2 实验设置 |
| 3.4.3 实验结果 |
| 3.5 本章小结 |
| 第四章 基于评论文本的混合推荐方法研究 |
| 4.1 问题提出 |
| 4.2 基于ALSTM-LFM的混合推荐算法基本思想 |
| 4.3 基于ALSTM-LFM的混合推荐算法结构 |
| 4.3.1 基于ALSTM-LFM的混合推荐算法步骤 |
| 4.3.2 ALSTM网络结构 |
| 4.3.3 目标函数 |
| 4.4 实验设计与分析 |
| 4.4.1 数据集 |
| 4.4.2 实验设置 |
| 4.4.3 对比实验结果分析 |
| 4.4.4 注意力机制分析 |
| 4.5 本章小结 |
| 第五章 基于深度神经网络的推荐框架研究 |
| 5.1 推荐任务描述 |
| 5.2 基于深度神经网络的推荐框架的构建 |
| 5.2.1 推荐算法 |
| 5.2.2 推荐流程 |
| 5.3 实验设计与分析 |
| 5.3.1 数据集 |
| 5.3.2 实验设置 |
| 5.3.3 对比实验结果分析 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 攻读硕士学位期间的学术活动及成果情况 |
（7）神经机器翻译综述（论文提纲范文）
| 1 引言 |
| 2 经典神经机器翻译模型及其问题与挑战 |
| 2.1 经典神经机器翻译模型 |
| 2.2 神经机器翻译与统计机器翻译异同 |
| 2.3 问题与挑战 |
| 3 神经网络在机器翻译中的应用 |
| 3.1 循环神经网络 |
| 3.2 循环神经网络的变形结构 |
| 3.3 带记忆的神经网络 |
| 4 神经机器翻译研究进展 |
| 4.1 神经机器翻译注意力机制研究进展 |
| 4.1.1 注意力机制及存在问题 |
| 4.1.2 减少注意力计算量方法 |
| 4.1.3 有监督注意力机制 |
| 4.1.4 融合统计机器翻译词对齐信息 |
| 4.1.5 过度翻译和翻译不充分问题 |
| 4.1.6 融合外部记忆方法 |
| 4.2 字符级神经机器翻译 |
| 4.2.1 词语编码方案 |
| 4.2.2 半字符级神经机器翻译 |
| 4.2.3 字符级神经机器翻译 |
| 4.3 多语言神经机器翻译 |
| 4.3.1 单语到多语翻译 |
| 4.3.2 多语到单语翻译 |
| 4.3.3 多语到多语翻译 |
| 4.4 规模受限词语表问题 |
| 4.4.1 未登录词问题 |
| 4.4.2 实现大规模翻译词典 |
| 4.4.3 实现长句子翻译 |
| 4.5 融合外部先验知识方法 |
| 4.5.1 融合统计机器翻译方法 |
| 4.5.2 增加记忆知识库 |
| 4.5.3 融合双语词典方法 |
| 4.5.4 融合语言学知识 |
| 4.5.5 融合单语语料方法 |
| 4.6 资源稀缺条件下的神经机器翻译 |
| 4.7 针对评价指标的训练方法 |
| 4.8 新模型与新架构 |
| 4.8.1 多模态神经机器翻译 |
| 4.8.2 非循环神经网络神经机器翻译模型 |
| 4.8.3 新的学习范式 |
| 4.9 不同的模型和系统对比分析 |
| 5 基于神经网络的机器翻译评测 |
| 6 未来研究方向 |
| 7 小结 |
| Background |
（8）卷积CIFG模型在影评情感分析中的应用（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究的背景 |
| 1.2 研究的目的和意义 |
| 1.3 研究的对象和范围 |
| 1.4 研究的方法 |
| 1.5 本文创新点 |
| 1.6 研究的基本框架 |
| 第2章 文献综述和相关理论 |
| 2.1 文献综述 |
| 2.2 文本分词和向量化 |
| 2.2.1 文本分词技术 |
| 2.2.2 文本向量化技术 |
| 2.3 神经网络 |
| 2.3.1 卷积神经网络(CNN) |
| 2.3.2 长短期记忆神经网络(LSTM) |
| 2.3.3 门控循环单元(GRU) |
| 2.3.4 耦合输入和遗忘门(CIFG) |
| 2.3.5 卷积长短期记忆神经网络(CNN-LSTM) |
| 2.3.6 卷积门控循环单元(CNN-GRU) |
| 2.4 模型评价指标 |
| 2.5 正则化 |
| 2.6 损失函数、代价函数与目标函数 |
| 2.7 深度模型中的优化算法 |
| 第3章 卷积耦合输入和遗忘门网络结构分析 |
| 3.1 卷积耦合输入和遗忘门网络整体结构 |
| 3.2 卷积层结构设计与分析 |
| 3.3 耦合输入和遗忘门结构分析 |
| 3.4 卷积耦合输入和遗忘门模型训练 |
| 3.5 本章小结 |
| 第4章 影评数据处理 |
| 4.1 数据获取与清洗 |
| 4.1.1 数据采集——影评数据爬虫实现 |
| 4.1.2 影评文本数据描述性分析 |
| 4.1.3 数据清洗及标注 |
| 4.2 影评文本预处理 |
| 4.2.1 繁体转化 |
| 4.2.2 影评文本分词 |
| 4.2.3 影评文本向量化 |
| 4.3 本章小结 |
| 第5章 影评文本情感分类模型构建与优化 |
| 5.1 词向量维度选择 |
| 5.2 卷积耦合输入和遗忘门在影评文本分析中的应用 |
| 5.3 卷积长短期记忆神经网络模型(CNN-LSTM)效果分析 |
| 5.4 带卷积层的门控循环单元网络模型(CNN-GRU)效果分析 |
| 5.5 SVM文本分类效果分析 |
| 5.6 逻辑回归文本分类效果分析 |
| 5.7 本章小结 |
| 第6章 结论与展望 |
| 参考文献 |
| 附录 |
| 致谢 |
（9）基于深度学习的复杂工况下端到端的滚动轴承故障诊断算法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 滚动轴承故障诊断基础理论 |
| 1.2.1 轴承故障特征振动频率 |
| 1.3 滚动轴承故障诊断研究现状 |
| 1.3.1 传统方法在轴承故障诊断中应用概述 |
| 1.3.2 深度学习方法在轴承故障诊断中应用概述 |
| 1.4 滚动轴承故障诊断中目前存在的难点及发展方向 |
| 1.5 论文研究主要内容 |
| 第2章 噪声场景下基于深度结构优化网络的端到端轴承故障诊断研究 |
| 2.1 引言 |
| 2.2 卷积神经网络基本理论 |
| 2.2.1 卷积层 |
| 2.2.2 批标准化层 |
| 2.2.3 激活函数层 |
| 2.2.4 池化层 |
| 2.2.5 Dropout层 |
| 2.3 基于深度结构优化网络的故障诊断策略 |
| 2.3.1 基于局部稀疏结构的神经网络结构优化 |
| 2.3.2 网络参数量分析 |
| 2.3.3 网络细节参数 |
| 2.4 实验分析 |
| 2.4.1 实验数据简介 |
| 2.4.2 实验数据预处理 |
| 2.4.3 实验设置细节及基准算法 |
| 2.4.4 不同网络结构的对比实验 |
| 2.4.5 高噪声情况下与基准算法的对比实验 |
| 2.5 本章小结 |
| 第3章 高噪声场景下基于增强的卷积门控循环神经网络的端到端轴承故障诊断研究 |
| 3.1 引言 |
| 3.2 循环神经网络基本理论 |
| 3.2.1 循环神经网络中的反向传播算法 |
| 3.2.2 循环神经网络中的梯度消失问题 |
| 3.2.3 基于门结构改进的循环神经网络 |
| 3.3 基于增强的卷积门控循环神经网络在高噪声下的故障诊断策略 |
| 3.3.1 基于随机采样策略的网络输入改进 |
| 3.3.2 卷积神经网络和门控循环神经网络的结合 |
| 3.3.3 针对卷积神经网络的改进 |
| 3.3.4 网络细节参数 |
| 3.4 实验分析 |
| 3.4.1 实验设置细节及基准算法 |
| 3.4.2 批大小对结果的影响 |
| 3.4.3 高噪声情况下与基准算法的对比实验 |
| 3.4.4 消融实验 |
| 3.5 本章小结 |
| 第4章 高噪声场景下基于自适应抗噪神经网络框架的端到端轴承故障诊断研究 |
| 4.1 引言 |
| 4.2 注意力机制介绍 |
| 4.2.1 神经网络中的注意力机制 |
| 4.3 端到端的自适应抗噪神经网络框架 |
| 4.3.1 基于注意力机制的改进 |
| 4.3.2 网络细节参数 |
| 4.4 实验分析 |
| 4.4.1 噪声情景下的轴承故障诊断 |
| 4.4.2 可变负载情景下的轴承故障诊断 |
| 4.4.3 神经网络可视化分析 |
| 4.5 本章小结 |
| 第5章 不同工况场景下基于领域自适应的端到端轴承故障诊断研究 |
| 5.1 引言 |
| 5.2 迁移学习介绍 |
| 5.2.1 领域自适应介绍 |
| 5.3 基于多重对抗神经网络的跨领域轴承故障诊断 |
| 5.3.1 领域鉴别对抗学习 |
| 5.3.2 最小最大熵对抗学习 |
| 5.3.3 局部平滑约束 |
| 5.3.4 归一化Softmax |
| 5.3.5 自适应批标准化 |
| 5.3.6 网络细节参数 |
| 5.4 实验分析 |
| 5.4.1 实验设置细节及基准算法 |
| 5.4.2 可变负载情景下的轴承故障诊断 |
| 5.4.3 跨设备情景下的轴承故障诊断 |
| 5.4.4 网络参数选择 |
| 5.5 本章小结 |
| 第6章 总结与展望 |
| 6.1 全文工作总结 |
| 6.2 主要创新点 |
| 6.3 后续研究与展望 |
| 参考文献 |
| 致谢 |
| 在读期间发表的学术论文与取得的研究成果 |
（10）基于机器学习的测井曲线补全与生成研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 引言 |
| 1.1 研究背景 |
| 1.2 相关研究进展 |
| 1.2.1 机器学习研究进展 |
| 1.2.2 测井曲线与机器学习结合研究进展 |
| 1.2.3 数据同化方法研究进展 |
| 1.3 论文概要 |
| 1.4 论文结构 |
| 第二章 人工神经网络 |
| 2.1 全连接神经网络(FCNN) |
| 2.2 长短期记忆神经网络(LSTM) |
| 2.3 物理约束神经网络(PC-LSTM) |
| 2.3.1 机理模拟网络结构 |
| 2.3.2 基于地层信息的自适应分层归一化 |
| 2.3.3 端到端预测模型架构 |
| 2.4 本章小结 |
| 第三章 集合神经网络 |
| 3.1 贝叶斯模型架构 |
| 3.2 集合随机最大似然算法(EnRML) |
| 3.3 集合神经网络(ENN) |
| 3.3.1 集合神经网络(ENN)与贝叶斯神经网络(BNN)的对比 |
| 3.3.2 集合神经网络(ENN)和蒙特卡洛神经网络(MCNN)的对比 |
| 3.3.3 集合神经网络(ENN)和集合平均法的对比 |
| 3.4 本章小结 |
| 第四章 集合长短期记忆神经网络 |
| 4.1 模型参数传递机制 |
| 4.2 过度收敛问题与模型参数扰动方法 |
| 4.3 标准化观测值保比例扰动方法 |
| 4.4 本章小结 |
| 第五章 基于循环神经网络的测井曲线生成实验 |
| 5.1 实验背景及目的 |
| 5.2 基于LSTM补全测井曲线 |
| 5.2.1 数据准备 |
| 5.2.2 模型设计 |
| 5.2.3 实验结果分析 |
| 5.3 基于串级LSTM生成测井曲线 |
| 5.3.1 数据准备 |
| 5.3.2 串级长短期记忆神经网络(Cascaded LSTM) |
| 5.3.3 实验结果分析 |
| 5.4 本章小结 |
| 第六章 基于物理约束神经网络构建地质力学参数场实验 |
| 6.1 实验背景及目的 |
| 6.2 数据准备与地质力学测井曲线生成模型 |
| 6.3 物理约束效果评价分析 |
| 6.4 基于PC-LSTM构建三维地质力学场 |
| 6.5 基于PC-LSTM构建拓展的三维地质力学场 |
| 6.6 本章小结 |
| 第七章 集合神经网络性能评价及应用实验 |
| 7.1 实验背景及目的 |
| 7.2 简易数据集实验与不确定性分析 |
| 7.3 强非线性理想数据集实验与ENN合理性验证 |
| 7.3.1 ENN效果和收敛性分析 |
| 7.3.2 网络结构、训练数据量与观测误差的影响分析 |
| 7.4 基于真实数据的泛化测试 |
| 7.5 本章小结 |
| 第八章 基于集合长短期记忆神经网络生成测井曲线实验 |
| 8.1 问题背景与参数选取 |
| 8.2 EnLSTM与标准LSTM对比实验 |
| 8.3 本章小结 |
| 第九章 总结与讨论 |
| 参考文献 |
| 附录A 集合长短期记忆神经网络预测电网负荷实验 |
| A.1 问题背景与数据准备 |
| A.2 参数选取 |
| A.3 EnLSTM与标准LSTM对比实验 |
| A.4 电网负荷中基于物理机理的无量纲化趋势 |
| A.5 基于无量纲化趋势的EnLSTM实验 |
| A.6 附录小结 |
| 博士期间发表和完成的论文 |
| 致谢 |
四、单纯记忆神经网络（论文参考文献）
- [1]人工智能记忆的哲学分析[D]. 伍梦秋. 上海大学, 2019(03)
- [2]基于循环神经网络的短期电力负荷预测研究[D]. 李田田. 南京大学, 2020(02)
- [3]基于GRU改进的LSTM门控制长短期记忆网络的股票交易策略设计[D]. 杜睿. 上海师范大学, 2020(07)
- [4]基于地表水-地下水耦合模拟的黑河流域水资源配置研究[D]. 吴亚杰. 哈尔滨工业大学, 2020(01)
- [5]基于视觉感知的多模态多任务端到端自动驾驶方法研究[D]. 张裕天. 华南理工大学, 2019(01)
- [6]基于深度神经网络的个性化商品推荐研究[D]. 范汝鑫. 合肥工业大学, 2019(01)
- [7]神经机器翻译综述[J]. 李亚超,熊德意,张民. 计算机学报, 2018(12)
- [8]卷积CIFG模型在影评情感分析中的应用[D]. 张平平. 上海师范大学, 2019(02)
- [9]基于深度学习的复杂工况下端到端的滚动轴承故障诊断算法研究[D]. 金国强. 中国科学技术大学, 2020(01)
- [10]基于机器学习的测井曲线补全与生成研究[D]. 陈云天. 北京大学, 2020(02)