一、句子训练的主要方法（论文文献综述）
赵京胜,宋梦雪,高祥,朱巧明[1]（2022）在《自然语言处理中的文本表示研究》文中提出自然语言处理是人工智能的核心技术,文本表示是自然语言处理的基础性和必要性工作,影响甚至决定着自然语言处理系统的质量和性能.探讨了文本表示的基本原理、自然语言的形式化、语言模型以及文本表示的内涵和外延.宏观上分析了文本表示的技术分类,对主流技术和方法,包括基于向量空间、基于主题模型、基于图、基于神经网络、基于表示学习的文本表示,进行了分析、归纳和总结,对基于事件、基于语义和基于知识的文本表示也进行了介绍.对文本表示技术的发展趋势和方向进行了预测和进一步讨论.以神经网络为基础的深度学习以及表示学习在文本表示中将发挥重要作用,预训练加调优的策略将逐渐成为主流,文本表示需要具体问题具体分析,技术和应用融合是推动力.
强继朋,李云,吴信东[2]（2021）在《自动词语简化方法综述》文中认为自动词语简化是用简单、同等意义的词语替代句子中复杂词的过程,是文本简化中的一个重要研究方向。随着自然语言处理技术的快速发展,词语简化方法也在不断更新与变化。该文对词语简化方法的相关研究进行了梳理,先对词语简化的整体框架进行解释,然后将词语简化方法总结为语言数据库、自动规则、词嵌入模型、混合模型和预处理语言模型。接着对汉语词语简化研究所面临的难点进行论述。最后,对词语简化方法的发展方向进行了展望和总结。
徐邵洋,蒋峰,李培峰[3]（2021）在《基于篇章结构图网络的话题分割》文中指出话题分割是自然语言处理领域的经典任务之一,其目标是将输入的篇章分割成语义连续的段落。先前的工作使用基于词频、隐式、序列以及Transformer的方法来编码句子,忽略了对篇章整体语义信息的建模。因此,该文采用篇章结构图网络编码句子,获得具有篇章全局信息的句子表示用于话题分割。具体地,该模型首先为每一个篇章单独建图,其中包含篇章的所有句子和单词节点以及它们之间的邻接信息。然后,模型使用门控图神经网络对图进行迭代,得到包含篇章全局信息的句子表示。它们被进一步送入Bi-LSTM层以预测话题分割点。实验结果表明,与其他基准系统相比,该模型能够获得更适合话题分割任务的句子表示,在多个流行的数据集上性能最好。
宋挺,郭展成,何世柱,刘康,赵军,刘升平[4]（2021）在《基于动态词遮掩的句子匹配预训练模型》文中进行了进一步梳理BERT通过遮掩语言模型、下一句预测等自监督学习任务学习通用语言规律,在自然语言理解任务中取得了良好效果。但BERT的下一句预测任务不能直接建模句子的语义匹配关系,且随机遮掩策略也不能高效处理句子的关键内容。针对上述问题,该文提出基于动态词遮掩的预训练模型:基于预训练模型获得句子的向量表示,并通过近似语义计算获取大规模"句子对"预训练数据,最后遮掩重要字词训练遮掩语言模型。在4个句子匹配数据集上的实验表明,使用该文提出的预训练方法,RBT3和BERT base的效果都有一定提升,平均准确率分别提升1.03%和0.61%。
胡智喻,杨婉霞,杨泰康,王巧珍,徐明杰[5]（2021）在《结合BERT词嵌入与注意力机制的宋词自动生成》文中提出宋词以其独特多变的句式结构和意境高深的用句风格成为文本自动生成研究热点。为解决Word2vec词嵌入在宋词自动生成过程中的主题发散和相邻句子间弱相关性问题,提出一种结合BERT词嵌入与Attention机制+BiLSTM的Sequence-to-Sequence宋词自动生成模型构建方法。该方法使用BERT预训练语言模型实现词嵌入,用以增强宋词词句间语义表示,并在词的生成模型中引入主题约束和Attention机制,实现对生成宋词主题一致性约束。实验结果表明:较之Word2vec词嵌入的词生成模型,BERT词嵌入模型生成宋词的BLEU测评结果提高了9%,BERT-Score和余弦相关度提高了2%。
方萍,徐宁[6]（2021）在《基于BERT双向预训练的图模型摘要抽取算法》文中研究表明算法大多是基于监督学习机制,没有考虑到人工标记语料的烦琐,并且大多数摘要模型在句子嵌入时不能结合上下文来更充分表达语义信息,忽略了文本的整体信息。针对上述问题提出了一种基于改进的BERT双向预训练语言模型与图排序算法结合的抽取式摘要模型。根据句子的位置以及上下文信息将句子映射为结构化的句子向量,再结合图排序算法选取影响程度靠前的句子组成临时摘要;为了避免得到有较高冗余度的摘要,对得到的临时摘要进行冗余消除。实验结果表明在公用数据集CNN/DailyMaily上,所提模型能够提高摘要的得分,相对于其他改进的基于图排序摘要抽取算法,该方法效果更佳。
陈云鹏[7]（2021）在《基于深度学习的关系抽取研究》文中提出人工智能的蓬勃发展不仅带来了技术的革新,同时也使得人们每天接触到大量的数据,如何分析和利用这些数据并将相关信息反馈给用户成为一大难题。这些数据中有很大一部分是以文本形式存在的非结构化数据,作为有效处理文本数据的自然语言处理技术,借助机器学习和神经网络等方法进一步理解和分析文本数据,从而提取到有价值的信息。经过近20年的迅速发展与沉淀,自然语言处理的相关技术研究已日趋成熟,而信息抽取技术在该领域中处于基础性且关键性的地位,针对信息抽取的相关研究早已成为该领域的研究热点。本课题正是在这样的研究背景下,针对关系抽取任务进行了专门的研究。借助深度学习的兴起,本文采用近两年处于研究热点的预训练语言模型,在关系抽取任务的数据集上对模型进行微调。本文借用了对比学习的框架,分别利用有监督和少样本关系抽取的数据集生成对应的关系对比样本,并利用交叉熵损失进行训练。本文创新性地提出了融合上下文和实体信息的方法,将模型学习到的表层特征和语义特征融合到一起,提升了关系抽取模型的性能。此外,本文提出了自适应利用预训练模型权重参数的策略,更好的利用了模型中高层的语义信息,进一步提升了关系抽取模型的效果。本文对提出的方法进行了大量的消融实验,并与传统的CNN模型进行对比,实验结果表明,充分的学习到关系语句的上下文信息和实体位置及实体类型的特征信息对于关系抽取模型的效果有一定的提升,有监督任务F1值提升7.87%,少样本任务F1值提升7.52%。针对预训练模型各层参数的重要性程度进行分析,逐个选取BERT模型的各个隐藏层输出作为关系表示进行实验。结果表明预训练模型的高层的语义信息特征对于关系抽取任务有很重要的影响,且表明本文提出的自适应利用预训练模型权重参数的方法可以促进关系抽取效果的提升。
朱勇,刘栩,冯雪莹[8]（2021）在《对外汉语阅读教材中的篇章技能训练反思》文中进行了进一步梳理阅读课的主要目的是帮助学习者通过阅读学会阅读。阅读技能训练是阅读课的重要内容之一,也是技能型阅读教材编写的重点。英语阅读教学界的研究成果较为成熟,本文以Developing Reading Skills为基础,与对外汉语教学界较受欢迎的《中级汉语阅读教程》中的篇章技能训练方法进行对比,并在此基础上对汉语阅读技能的训练提出建议,以期对今后阅读教材中技能训练的内容选择和训练方式设计等起到促进作用。
杨穗珠,刘艳霞,张凯文,洪吟,黄翰[9]（2021）在《远程监督关系抽取综述》文中研究指明远程监督可以为关系抽取任务自动构建数据集,缓解了人工构建数据集的压力和成本,为自动关系抽取的实现奠定基础,然而使用远程监督方法构建的数据集存在错误标注以及长尾问题,严重影响关系抽取性能。目前,远程监督关系抽取任务的主要研究方向为关系模型的降噪手段以及对长尾关系的处理方法。近年来,随着深度学习技术的发展,这两个领域的研究工作也迎来了新一轮的机遇与挑战。本文对近几年远程监督关系抽取的研究进展进行综述,针对基于深度学习的远程监督关系抽取任务定义常用工作流,其中包括样本降噪、外部信息融合、编码器和分类器。本文根据不同的模块将已有的研究成果进行分类和梳理,分析比较主要方法,整理其中的关键问题,介绍已有的解决方案和相关数据集,总结远程监督关系抽取任务所用评测指标与评估方式,展望未来研究趋势。
黄佳跃,熊德意[10]（2021）在《句对齐研究综述全文替换》文中研究表明神经机器翻译是目前机器翻译领域的主流方法,拥有足够数量的双语平行语料是训练出一个好的翻译模型的前提。双语句对齐技术作为一种从不同语言端单语语料中获取双语平行句对的技术,因此得到广泛的研究。该文首先简单介绍句对齐任务及其相应的评测标准,然后归纳总结前人在句对齐任务上的研究进展,以及句对齐任务的相关信息,并简单概括参加团队所提交的系统,最后对当前工作进行总结并展望未来的工作。
二、句子训练的主要方法（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、句子训练的主要方法（论文提纲范文）
（2）自动词语简化方法综述（论文提纲范文）
| 0 引言 |
| (1) 复杂词识别: |
| (2) 候选词生成: |
| (3) 候选词选择: |
| (4) 候选词排序: |
| 1 相关工作 |
| 2 词语简化框架 |
| 3 词语简化方法 |
| 3.1 语言数据库 |
| (1) Devin |
| (2) FACILITA |
| (3) Keskis?rkk? |
| (4) LexSiS |
| (5) Kajiwara |
| 3.2 自动规则 |
| (1) Biran |
| (2) Horn |
| (3) Simple PPDB |
| (4) Kri2 |
| 3.3 词嵌入模型 |
| (1) Light-LS |
| (2) LS-NNS |
| 3.4 混合模型 |
| (1) NNLS |
| (2) REC-LS |
| 3.5 预训练语言模型 |
| (1) Zhou |
| (2) BERT-LS |
| 3.6 讨论 |
| (1) 候选词生成 |
| (2) 候选词选择 |
| (3) 候选词排序 |
| 4 汉语词语简化研究 |
| (1) 汉语的复杂词包含多个字。 |
| (2) 汉语中的成语不存在一一对应关系的替代词。 |
| 5 未来发展 |
| (1) 预训练语言表示模型的词语简化方法研究 |
| (2) 大规模词语简化平行数据集的自动构建 |
| (3) 词语简化的应用研究 |
| 6 总结 |
（3）基于篇章结构图网络的话题分割（论文提纲范文）
| 0 引言 |
| 1 相关工作 |
| 1.1 词频和隐式方法 |
| 1.2 序列方法 |
| 1.3 Transformer和树形方法 |
| 1.4 基于图神经网络的方法 |
| 2 模型 |
| 2.1 图构建 |
| 2.1.1 节点的表示 |
| (1) 单词节点: |
| (2) 句子节点: |
| 2.1.2 邻接边的连接 |
| (1) 单词节点之间的边: |
| (2) 单词和句子节点之间的边: |
| (3) 自环边: |
| 2.1.3 图的整合 |
| 2.2 句子编码 |
| 2.3 分割点预测 |
| 3 实验 |
| 3.1 数据集 |
| 3.2 评估指标 |
| 3.3 基准系统 |
| 3.4 实验参数 |
| 3.5 实验结果 |
| 4 实验分析 |
| 4.1 消融实验分析 |
| 4.2 样例分析 |
| 4.3 时间性能和参数量分析 |
| 5 总结与展望 |
| 6 附录 |
（4）基于动态词遮掩的句子匹配预训练模型（论文提纲范文）
| 0 引言 |
| 1 相关工作 |
| 1.1 句子匹配 |
| 1.2 预训练模型 |
| 2 背景 |
| 2.1 BERT模型结构 |
| 2.2 BERT预训练任务 |
| (1) 遮掩语言模型： |
| (2) 下一句预测： |
| 3 基于动态词遮掩的句子匹配预训练 |
| 3.1 预训练数据构造 |
| 3.2 动态词遮掩策略 |
| 3.3 预训练过程 |
| 4 实验与分析 |
| 4.1 实验数据 |
| 4.2 实验结果 |
| 4.3 实验分析 |
| 4.3.1 对比实验 |
| (1) +RAN(随机遮掩策略): |
| (2) +KW(关键词遮掩策略): |
| (3) +MLM(动态词遮掩策略): |
| 4.3.2 实例分析 |
| 5 总结与展望 |
（5）结合BERT词嵌入与注意力机制的宋词自动生成（论文提纲范文）
| 0 引言 |
| 1 相关工作 |
| 2 词生成方法 |
| 2.1 主题词提取与拓展 |
| 2.1.1 主题词提取 |
| 2.1.2 主题词拓展 |
| 2.2 BERT词嵌入 |
| 2.3 基于Attention的词生成 |
| 2.3.1 ncoder-Decoder |
| 2.3.2 Attention-based Seq2Seq Model |
| 3 实验结果与分析 |
| 3.1 实验环境 |
| 3.2 语料收集 |
| 3.3 评价指标 |
| 3.4 实验过程 |
| 3.4.1 语料预处理 |
| 3.4.2 BERT词嵌入训练 |
| 3.4.3 宋词生成模型训练 |
| 3.4.4 宋词生成模型预测 |
| 3.5 实验分析 |
| 3.5.1 词嵌入模型的Loss优化对比 |
| 3.5.2 模型的困惑度（Perplexity）对比 |
| 3.5.3 生成宋词测评 |
| (1)B-M2-GS。 |
| (2)W-M2-GS。 |
| 4 结语 |
（6）基于BERT双向预训练的图模型摘要抽取算法（论文提纲范文）
| 1 相关工作 |
| 2 基于双向预训练的图模型 |
| 2.1 句子编码器 |
| 2.2 TextRank算法 |
| 2.3 摘要冗余消除 |
| 2.4 主要流程与实现 |
| 3 实验结果及分析 |
| 3.1 实验数据集和数据预处理 |
| 3.2 评价标准 |
| 3.3 实验结果分析 |
| 3.4 自动摘要生成结果实例对比 |
| 3.5 实验细节与模型参数分析 |
| 3.6 算法效率分析 |
| 4 结束语 |
（7）基于深度学习的关系抽取研究（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 课题研究背景及意义 |
| 1.2 研究现状 |
| 1.2.1 简单关系抽取 |
| 1.2.2 复杂关系抽取 |
| 1.3 本文研究内容和研究目的 |
| 1.4 本文组织结构 |
| 第2章 相关技术介绍 |
| 2.1 注意力机制 |
| 2.2 噪声对比估计 |
| 2.3 Transformer |
| 2.4 预训练语言模型 |
| 2.4.1 CBOW模型 |
| 2.4.2 Skip-Gram模型 |
| 2.4.3 ELMo模型 |
| 2.4.4 GPT模型 |
| 2.5 本章小结 |
| 第3章 基于预训练模型的关系表示模型 |
| 3.1 问题建模 |
| 3.2 上下文及实体信息融合 |
| 3.3 自适应学习各层权重 |
| 3.4 关系对比样本生成 |
| 3.5 模型微调目标 |
| 3.6 本章小结 |
| 第4章 关系分类任务及实验分析 |
| 4.1 数据集及实验评价指标 |
| 4.2 实验环境及超参数配置 |
| 4.2.1 实验环境 |
| 4.2.2 超参数配置 |
| 4.3 有监督任务实验 |
| 4.3.1 上下文及实体信息实验 |
| 4.3.2 预训练模型各层重要性实验 |
| 4.4 少样本任务实验 |
| 4.4.1 信息源重要性实验 |
| 4.4.2 自适应利用权重实验 |
| 4.5 本章小结 |
| 第5章 总结与展望 |
| 5.1 工作总结 |
| 5.2 研究展望 |
| 参考文献 |
| 作者简介及在学期间所取得的科研成果 |
| 致谢 |
（9）远程监督关系抽取综述（论文提纲范文）
| 1 引言 |
| 1.1 方法描述 |
| 1.2 本文框架 |
| 2 远程监督关系抽取 |
| 2.1 基本模型 |
| 2.2 关键问题 |
| 2.2.1 错误标注问题 |
| 2.2.2 数据长尾现象 |
| 2.3 研究进展 |
| 2.3.1 基于特征的模型 |
| 2.3.2 基于深度学习的远程监督关系抽取 |
| 3 远程监督关系抽取的降噪 |
| 3.1 样本降噪 |
| 3.1.1 At-Least-One假设与多示例学习 |
| 3.1.2 样本清洗 |
| 3.1.3 分析比较 |
| 3.2 外部信息融合 |
| 3.2.1 位置特征 |
| 3.2.2 实体描述信息 |
| 3.2.3 外部知识 |
| 3.3 以编码器为中心的降噪方法 |
| 3.3.1 嵌入级优化方法 |
| 3.3.2 编码器级优化方法 |
| 3.3.3 分析比较 |
| 3.4 以分类器为中心的降噪方法 |
| 3.4.1 基础分类器 |
| 3.4.2 基于分类器训练的优化方法 |
| 3.4.3 基于关系得分的优化方法 |
| 3.4.4 分析比较 |
| 4 长尾问题解决方案 |
| 5 数据集与评估 |
| 5.1 常用数据集 |
| 5.2 评测指标与评估方式 |
| 5.2.1 评测指标 |
| 5.2.2 评估方式 |
| 6 远程监督关系抽取任务研究展望 |
| 7 总结 |
| Background |
（10）句对齐研究综述全文替换（论文提纲范文）
| 0 引言 |
| 1 句对齐任务 |
| 2 句对齐评测标准 |
| 1) x已知 |
| 2) x未知 |
| 3 句对齐任务的研究进展 |
| 3.1 基于特征工程的句对齐 |
| 3.1.1 基于句长特征的句对齐 |
| 3.1.2 融入双语词组对照特征的句对齐 |
| 3.1.3 结合扩充双语词表的句对齐 |
| 3.2 基于神经网络的监督式句对齐 |
| 3.2.1 基于词向量拼接的句子向量化表征 |
| 3.2.2 基于神经机器翻译模型的句子向量化表征 |
| 3.2.3 基于双编码器的句子向量化表征 |
| 3.3 无监督句对齐研究进展 |
| 4 句对齐相关任务 |
| 4.1 BUCC句对齐任务数据集 |
| 4.2 句对齐系统结果描述 |
| 5 总结与未来展望 |
四、句子训练的主要方法（论文参考文献）
- [1]自然语言处理中的文本表示研究[J]. 赵京胜,宋梦雪,高祥,朱巧明. 软件学报, 2022(01)
- [2]自动词语简化方法综述[J]. 强继朋,李云,吴信东. 中文信息学报, 2021
- [3]基于篇章结构图网络的话题分割[J]. 徐邵洋,蒋峰,李培峰. 中文信息学报, 2021
- [4]基于动态词遮掩的句子匹配预训练模型[J]. 宋挺,郭展成,何世柱,刘康,赵军,刘升平. 中文信息学报, 2021
- [5]结合BERT词嵌入与注意力机制的宋词自动生成[J]. 胡智喻,杨婉霞,杨泰康,王巧珍,徐明杰. 软件导刊, 2021(11)
- [6]基于BERT双向预训练的图模型摘要抽取算法[J]. 方萍,徐宁. 计算机应用研究, 2021(09)
- [7]基于深度学习的关系抽取研究[D]. 陈云鹏. 吉林大学, 2021(01)
- [8]对外汉语阅读教材中的篇章技能训练反思[J]. 朱勇,刘栩,冯雪莹. 国际汉语, 2021(00)
- [9]远程监督关系抽取综述[J]. 杨穗珠,刘艳霞,张凯文,洪吟,黄翰. 计算机学报, 2021(08)
- [10]句对齐研究综述全文替换[J]. 黄佳跃,熊德意. 中文信息学报, 2021(08)