携手创造，一起成长！这是我参加「日新方案 8 月更文挑战」的第27天，点击检查活动详情

说明

本系列博客将记录自己学习的课程：NLP实战高手课，链接为：time.geekbang.org/course/intr… 本篇为最开端05节的课程笔记，首要介绍了NLP基本使命及研讨方向

NLP的基本使命和研讨方向

这儿，导师将整个NLP相关的研讨和使命分为以下三大类：

• 根底性研讨
• 专属于NLP范畴的研讨
• 穿插范畴的研讨

根底性研讨

网络架构

网络架构首要研讨深度学习中各种神经网络的结构，如CNN、RNN、LSTM、Transformer等，如下图即为经典的Transformer模型。

优化理论

过去，因为算力约束，神经网络模型都很浅，因而比较好优化。但最近几年，随着算力的发展，模型的深度和参数（比方T5-3B模型有着超过30亿个参数）呈现爆炸式增加，因而怎么进行优化成为了一个要害问题。

优化理论首要关注如下两个方面：

• 优化算法的收敛性；
• 优化算法的速度（对算力的耗费）。

对立练习

一般而言，当数据标示十分有效时，练习效果会很好。可是，当模型在遇到噪声数据时，功能会显著下降。比方，咱们的模型都是运用一些十分标准的数据进行练习，练习时模型只见过“政府”这个词汇，但在用户输入时，有时或许会输入进不标准的词语，比方：“正府”，这些词语很多是因为输入法的误选择导致，可是模型面对这样的噪声数据集时，功能将会下降。 而对立学习 则是为了解决这一问题。

数据增强

数据增强能够浅显的理解为运用人工构造一些数据，而不是请人标示。这种主动生成的数据集实际上存在“分布漂移”的风险（见上一篇博客）。怎么运用这些增强数据来进步功能也是重要的研讨点。

半监督学习

因为标示数据的代价很高，半监督学习企图运用充分运用无标签数据和有标签数据进行混合练习。百科上对其介绍如下：

半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习范畴研讨的要点问题，是监督学习与无监督学习相结合的一种学习办法。 半监督学习运用很多的未符号数据，以及一起运用符号数据，来进行模式识别作业。

域搬迁

范畴搬迁或者搬迁学习也是一个比较炽热的研讨点。在生活中，咱们或许现已拥有了某个范畴的很多标示数据，并能够在该范畴的使命上表现杰出。怎么运用该范畴的常识来进步模型在另一个范畴的功能便是搬迁学习要做的作业。

Meta-Learning

Meta-learning即元学习，通常指的是在多个学习阶段改善学习算法的过程。 在一般的学习过程中， 内部（或下层/根底）学习算法解决由数据集和方针定义的使命。 在元学习过程中，外部（或上层/元）算法更新内部学习算法，使其学习的模型改善外部方针。

Auto ML

这儿有一段微软文档对AutoML的介绍：

主动化机器学习也称为主动化 ML 或 AutoML，是将机器学习模型开发过程中耗时的反复性使命主动化的过程。 数据科学家、剖析师和开发人员能够运用它来生成高度可缩放、高效且高产能的 ML 模型，一起保证模型的质量。

传统的机器学习模型开发是资源密集型的，需要研讨者具备丰富的范畴常识，并需要花费很多的时刻来生成和比较数十个模型。 运用主动化机器学习能够缩减生成可行的ML模型所需的时刻，将作业变得更轻松高效。

多使命学习

多使命学习企图建立一个能够解决多重使命的大一统模型，比方百度的ERNIE 2.0，T5等都是很好的例子。

集成学习

集成学习是运用一系列学习器进行学习，并运用某种规则把各个学习成果进行整合然后取得比单个学习器更好的学习效果的一种机器学习办法。比方闻名的XGBoost模型便是集成学习的一个好的办法。

图网络

图机器学习用于协助深度模型有效建模实际生活中的各种各样的结构信息，典型的办法如GCN、GraphSAGE、GAT等。

常识图谱

常识图谱也是一个重要的研讨范畴，它由海量的三元组常识组成，但面对的落地困难的问题。

多模态学习

多模态学习旨在学习多种模态的信息并跨模态运用，例如看图说话。

机器推理

现有的神经网络模型是一个黑盒模型，怎么去进行推理解说也是一个要害的问题。

NLP研讨

下面将介绍一些NLP范畴的特定使命和研讨方向。

预练习言语模型

预练习言语模型能够说是近几年NLP范畴最重要的发展，闻名的BERT便是一个预练习言语模型，它的出现大大减少了各种NLP模型的运用门槛。

文本分类

文本分类是一个陈旧的研讨范畴，典型的运用如情绪分类、主题分类等。

序列标示

序列标示用于对输入文本序列中的实体、联系等进行标示，便于实体、联系的抽取和常识图谱的构建等其他使命。

联系提取

联系提取用于提取一句话中的实体之间的联系。

Dependency Parsing

依存句法剖析用于剖析语句的句法结构。示例图如下：

Semantic Parsing

语义解析用于将一种方式的言语解析为另一种方式，比方现在最炽热的Text-to-SQL解析。

Seq2seq

Sequence-to-Sequence是一种模型的架构，最初的Transformer便是运用这种Encoder-decoder的方式进行文本翻译。

文本生成

文本生成是一个“炫酷”的运用，他能够协助人们主动生成各种文本。但实际运用上的效果并不是那么好。

文本引荐

文本引荐则是和引荐体系联系密切，但一个难点在于用户的爱好不是原封不动的，会随着时刻的改变而改变。

翻译

这个是最根底的运用之一，不同言语之间的翻译仍是一个研讨的热点。

指代消解

指代消解是在一段文本中找出相同实体的所有表达的使命。我之前有一系列博客能够参阅：Coreference Resolution学习笔记（一）：简介

总结

本篇博客记录了一些AI根底的研讨方向和NLP范畴的研讨内容，期望对您有协助。