作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI
教程地址：www.showmeai.tech/tutorials/3…
本文地址：www.s上下文语境howmeai.tech/article-det…
声明：版权一切，转载请联络渠道与作者并注明出处
保藏 ShowMeAI 检查更多精彩内容

ShowMeA教程之家I为斯坦福CS224n《自然言语处理与深度学习(Natural Languag执行上下文e Processing with Deep Learning)》课程的悉数课件，做了中文翻译和注释，并制作成矩阵的秩了GIF动图！

本讲内容的深度总结教程能够在人工智能技术应用这儿检查。视频和课件等材料的获取方法见文末。

引言

授课计划

Mo联系上下文tivation: Compositionality and Recursion
Structure prediction with simple Tree RNN: Parsing
Backprop人工智能最好五所大学agation thr教程视频怎么制作方法ough Structure
More complex TreeRNN units
Other uses of tree-recursive neural nets
Institute for Human-Centered Artificial Intelligence

1.CS言语谱

词袋模型和复杂上下文方法的言语表达结构

1.1 言语的语义解说：不只是是词向量

咱们怎样才能弄清楚更大的短语的意义？
- The sno教程视频怎么制作方法wbo初始化英文ard初始化是什么意思e教程英文翻译r is leaping over a mogul
- A person on a snowboard jumps into the air
The snowboarder 在语义上相当于 A person on a snowboard，但它们的字长不一样

人们经过较小元素的语义成分来解说较大文本单元的意义

实初始化是什么意思体，描绘性术语，现实，观点，故事

人们之所以能够了解 A person on a snowboard，是因为组合准则 ( the principle of compositionality)
- 人们知道每个单词的意思，然后知道了 on a snowboard 的人工智能的定义意思
- 知道组件的意义并将他们组合成为更大的组件

小的组件元素构建成完整图片场景

言语了解 – 和人工智能 – 需求能够经教程拼音过了解较小的部分来了解更大的事物

咱们具有将较小的矩阵相乘怎么算部分组合起来制作出更大东西的才能

1.2 言语是递归的吗？

认知上有点争上下文无关文法议 (需求前往无限)

可是：递归关于描绘言语是很自然的
- [The person standing next to [the man from [the company that purchased [the firm that you used to work at]]]]
- 包含名词短语的名词短语，包含名词短语
它是言语结构的一个非常强壮的先验

1初始化磁盘.3 Penn Treebank tree

2.依据词向量空间模型的构建

the country of my birth
the place where I was born

咱们怎样表明更长短语的意思呢？
经过将他们映射到上下文无关文法相同的向量空间！

2.1 咱们应该怎么将人工智能概念股短语映射执行上下文到向量空间？

依据组合准则
- 运用单词的意义和组合他们的规矩，得到一个语句的意义向量
一起学习解析树以及组合向量表明

2.2 Constituency Sentence P教程魔方arsing

咱们需求能够学习怎么解分出正确的语法人工智能技术应用结构，并学习怎么依据语法结构，来构建语句的向量表明

2.3 递归与循环神经网络

循环神经网络需求一个树结构
循环神经网络不能在没有前缀上下文的情况下学习初始化是什么意思了解短语，并且常常它得到的最终向量包含太多结尾单词的信息 (而忽略了前面的一些内容)

2.4 结构猜测对的递归神经网络

如果咱矩阵乘法们自上而下的作业，那么咱们在底层有教程画画单词向量，所以咱们想要递归联系上下文地上下文字间距怎么调核算更大成分的意义

输入：两个候选的子节点的表明
输出：
- 两个节点被兼并后的语义表明
- 新节点的合理程度

2.5 递归神经网络定义

2.6 用递归网络剖析语句

自左向右重复遍历，每次将得分最高的两者组合在一起

2.7 剖析一个语句

2.初始化电脑的后果8 Max-Margin Framework：细节

树的得上下文分是经过每个节点的解析决议计划得分的总和来核算的

y)=sum_{n in n o d e (y)} s_{n}

$x$ 是语句， $y$ 是解析树进程上下文

相似于最大边距解析 (Taskar et al.2004)上下文英语，有一个监督学习的最大边际目标

J=∑is(xi,yi)−max⁡y∈A(xi)(s(xi,y)+(y,yi))J=sum_{i} sleft(x_{i}, y_{i}right)-max _{y in Aleft(x_{i}right)}left(sleft(x_{i}, yright)+Deltaleft(y, y_{i}right)right)

丢失 $y_{i}right)$ 赏罚一切不正确的决议计划
结构查找 $A (x)$ 是贪婪的 (每次加入最佳节点)
- 相反：运用 Beam search 查找图

2.9 场景剖析

和组合相似的准则
- 场景图矩阵画的意义也是较小区域的函数
- 它们怎么组合成部分执行上下文以构成更大的目标
- 以及目标怎么相互作用

2.10 图画解析算法

Same Recu矩阵的逆rsive Neural Netw初始化sdk什么意思ork as for natural language parsing! (Socher et al. ICML 2011)

2.11 多类分割

3.结构反向传达(BTS)

Introduced by Goller & Kuchler教程英语 (199教程画画6)
和通用的反向传达的规矩相同

(l)=((W(l))T(l+1))∘f′(z(l))delta{(l)}=left(left(W^{(l)}right)上下文字间距怎么调^{T} delta^{(l+1)}right) circ f^{prime}left(z教程视频怎么制作方法^{(l)}right)

W^{(l)}} E_{R}=delta^{(l+1)}left(a^{(l)}right)^{T}+lambda W^{(l)}

递归和树结构导致的核算：

①矩阵转置从一切节点 (像RNN一样) 求 $W$ 的导数
② 在每个节点处拆分导数 (关于树)上下文英语
③ 从父矩阵的迹节点和节点自身添加 error message

3.1 结构初始化游戏启动器失败反向传达：第1步

求一切节点的偏导

x))\ =& f^{prime}left(W(f(W x))left(left(frac{partial}{partial W} Wright) f矩阵计算器(W x)+W frac{partial}{partial W} f(W x)right)right.\ =& f^{prime}left(W(f(W x))left矩阵计算器(f(W x)+W f^{prime}(W x) xright)rig人工智能能否取代人类ht. end{aligned}

W_{2}} fleft(W_{2}left(fleft(W_{1} xright)right人工智能最好五所大学)+frac{partial}{partial W_{1}} fleft(W_{初始化失败是怎么解决2}left(fleft(W_{1} xrigh教程的意思t)right)right.right.\ =&am教程英语p上下文;人工智能专业 f^{人工智能是什么prime}left(W上下文什么意思_{2}left(fleft(W_{1} xright)right)left初始化电脑时出现问题未进行更改(fleft(W_{1} xright)right)+f^{prime}left(W_{2}left(fleft(W_{1} xright)right)left(W_{2}初始化电脑的后果 f^{prime}left(W_{1} xright) xright)right教程英语.right.\ =& f^{prime}left(W_{上下文无关文法2}left(fleft(W_{1} xright)right)left(fleft(W_矩阵转置{1} x初始化磁盘right)+W_{2} f^人工智能专业{prime}left(W_{1} xright)矩阵的逆 xright)right.\ =& f^{prime}left(W(f(W x))left(f(W x)+W f^{prime}(W x) xright)r矩阵游戏ight. end{矩阵计算器aligned}

3.2 结构反向传达：第2步

在每个节点处分开偏导

3.3 结构反向传达：第3步

叠加 error message

3.4 BTS Python 编程：前向传初始化磁盘达

3.5 BTS Python 编程：反向传达

4.版别1：简单TreeRNN

运用单矩阵 TreeRNN教程画画的成果
单个权重矩阵 TreeRNN 能够捕获一些现象但不合适更复杂的现象以及更高阶的构成或解析长句
输入词之间没有真实的交互
组合函数关于一切句法类别，标点符号等都是相同的

5.版别2: Syntactically-Untied RNN

符号的上下文无关的语法（Context Free Grammar CFG）骨干是足上下文无关文法以满意根本的句法结构
咱们运用子元素的离散句法类别来选择组合矩阵
关于不同的语初始化磁盘法环境，TreeRNN能够针对不同的组合人工智能最好五所大学矩阵做得更好
成果为咱们供给了更好的语义

补充讲解

左面 RNN 是运用概率的上下文无关的语法解析，为语句生成或许的树结构
右边 SU-RNN 是语法解开的递归神经网络，此时每个节点和序列都有一个类别，咱们能够运用对应不同类别的矩阵组合起来，例如教程魔方将类别 B 和类别 C 的矩阵组合起来作为本次核算的权重矩阵，所以这个权重矩阵是更契合语句结构的

5.1 组合向量文初始化磁盘法

问题：速度
- 集束上下文什么意思查找中的每个矩阵候选分数都需求一次矩阵向量乘法

解决计划：仅针对来自更简单，更快速模型(Prob人工智能的定义abilistic Context Free Grammar (PCFG))矩阵乘法的树的子集核算得分
- 对概率低的候选进行剪枝以获得更快的速度
- 为每个集束候选矩阵和行列式的区别供给子句的粗略语法类别

组合矢量语法= PCFG + TreeRNN

5.2 解析相关作业

发生的 CVG Parser 与曾经扩展PCFG解析器的作业有关
Klein and Manning (2003a)：手艺特征工程
Petrov et al. (2006)：分化和兼并句法类别的学习人工智能能否取代人类算法
词汇化解析器(Collins, 2003; Charniak, 2000)：用词汇项描绘每人工智能技术应用个类别
Hall and Klein (2012) 在一个因初始化电脑时出现问题式解析器中结合了几个这样的注释计划
CVGs 将这些主意从离散表明扩展到更丰富的接连表达

5.3 实验

5.4 #论文解读# SU-RNN / CVG

Learns soft no矩阵乘法tion of hea上下文语境d words
初始化： $W(⋅)=0.5[InnInn0n1]+W^{(c人工智能概念股dot)}=0.5left[I_{n times n} I_{n times n} 0_{n times 1}right]+varepsilon$
- 初始化为一对对角矩阵
- 学习的是一个短语中哪个子节点是重要的

5.5 成果向量表明的剖析人工智能的定义

一切数据均依据季节变化进行调整
- 一切数字都依据季节性动摇进行调整
- 调整一切数字以消除通常的教程视频怎么制作方法季节性形式

night-R矩阵转置idder不会评论这个提议
- Hars矩阵和行列式的区别co declined to say what countr人工智能的定义y placed the order
- Coastal wouldn上下文语境’t disclose the terms

Sa人工智能能否取代人类les grew almost $7 %$ to text{UNK} $m . f r o m$ $ text{UNK}$ m.
- Sales rose more than $7 %$ to 94.9 $m . f r o m$ $ 88.3$ m.
- Sales surged $40 %$ to $UNK$ b. yen from $UNK$ b.

6.版别3: Compositiona上下文无关文法lity Through Recursive Matrix-Vector Spaces

之前： $left(Wleft[begin{array}{l}{c_{1}} \ {c_{2}}end{array}right]+bright)$
$c_1$ 和 $c_2$ 之间并没有相互影响

使组合函数更强壮的一种方法是解开权初始化游戏启动器失败重 $W$
可是，如果单词首要作为运算符，例如very good的 very 是没有意义的，是用于添加 go教程之家od 的规划的运算符

提案：新的组合函数
问题是怎么定义呢，因为不知道矩阵的逆 $c_1$ 和 $c_2$ 哪个是 operator，比如 very good ，就应该讲 very 视为作用在 good 的矩阵上的向量

每个单词都具有一个向量意义和一个矩阵意义

左边核算得到兼并后的矩阵的逆向量意义
右矩阵相乘怎么算侧核算得到兼并后的矩阵意义

能够捕获运算符语义，即中一个单词修饰了另一个单词的意义

6.1 猜测心情分布

言语中非线性的好例子

6.2 语初始化是什么意思义联系的分类

MV-RNN 能够学上下文字间距怎么调习到大的句法上下文传达语义联系吗？
为包含两项的最小上下文切换成分构建单个组合语义

6.3 语义联系的分类

问题：参数量过大，且获得短语的矩阵和行列式的区别矩阵意义的方法初始化磁盘不够好

7.版别4: Recursive Neural Tensor Network

比 MV-RNN 更少的参数量
允许两个单词或短语向量乘法交互

7.1 词袋之上: 情感检测

一段文字的语调是活跃初始化游戏启动器失败的，消极初始化的还是中性的？
- 某种程度上心情剖析是简单的
- 较长文档的检测精矩阵的迹度~90％，可是

有了这样的演员阵容和体人工智能发展前景裁，这部电影应该会更风趣，更具娱教程视频怎么制作方法乐性。

7.2 斯坦福情感剖析数据集

215,154 phrases labeled in 11,8上下文切换55 sentences
能够真的练习和测试组合
nlp.sta人工智能能否取代人类nford.edu:8080/sentiment/

7.3 好的数据集对一切模型都有提升协助

负面情感的难样本依然大多判别进程上下文错误的
咱们还需求一个更强壮的模型！

7.4 版别4: Recursive Neural Tensor Ne上下文什么意思twork

思路：允许载体的加性和介人工智能al女神古力娜扎导的乘法相互作用人工智能al女神古力娜扎

在树中运用成果向量作为逻辑回归的分类器的输入
运用梯度下降联合练习一切权重

补充讲解

回到最初的运用向量表明单词的意义，但不教程的意思是只是将两个表明单词意义的向量相互作用，左上图是在中心插入一个矩阵，以双线性的方法做注意力并得到了注意力得分。即令两个单词的向量相互作用并且只发生一个数字作为输出
如上中图所示，咱们能够具有三维矩阵，即多层的矩阵（二维），然后得到了两个得分
运用 softmax 做分类

7人工智能能否取代人类.5 递归神经张量网络/Recursive Ne教程之家提取码ural Tensor Network

7.6 数人工智能发展前景据集上的实验效果

RNTN 能够捕捉相似 $X$ but $Y 初始化是什么意思$ 的结构
RNTN accurac初始化sdk什么意思y of 72%, compared to MV-RNN (65%), biword NB (58%)矩阵的逆 and R初始化电脑的后果NN (54%)

7.7 否定的样本成果

双重否守时，活跃反应应该上升
De初始化电脑的后果mo: nlp.stanford.e矩阵du:8080/sentiment/

8.版别5: Improving Deep Learning Semantic Representations using a TreeLSTM

目标：

仍试图将语句的意义表明为 (高维，接连) 向量空间中的方矩阵和行列式的区别位
一种准确处理语义构成和语句意义的方法
将广泛运用教程之家提取码的链式结构 LS矩阵TM 推广到树结构

8.1 LSTM Units for Sequential Composition

门是 $0,1]^{d}$ 的向量，用于逐元素乘积的软掩蔽元素

8.2 #论文解读# Tree-Str人工智能的定义uctured L人工智能电影o教程ng Short-Ter初始化磁盘m Memory Networks

8.3 Tree-struc教程之家tured LSTM

将接连LSTM推广到具有任何分教程视频怎么制作方法支因子的树

8.4 成果

8.5 忘掉门：选初始化电脑时出现问题未进行更改择性状况保护

Stripes = forget gate activations; more white ⇒ more preserved
图中的条纹代表遗忘门激活，更多的白色占比表明更多的信息保存进程上下文

9.#论文解读# QCD-Aware矩阵的乘法运算 Recursive Neural Networks fo初始化磁盘r Jet Physics

10.用于程序翻译的tree-to-tree神经网络

探索在编程言语之间运用树形结构编码和生成进行翻译
在生成中，将注意力会集在源树上

11.HAI 以人为中心的人工智能

人工初始化电脑时出现问题智能有望改动经济和社会，改动咱们交流和作业的方法，重塑管理和政治，并挑战世界次序
HAI的任务是推进人工智能研讨，教育，方针教程视频怎么制作方法和实践，以改进人类状况

12.视频教程

能够点击 B站检查视频的【双语字幕】版别

[video(video-vRY242XX-1652089935406)(type-bilibili)(url-player.bilibili.com/player.html… | 深度学习与自然言语处理(2019全20讲))]

13.参考材料

本讲带学的在线阅翻页本
《斯坦福C矩阵乘法S224n深度学习与自然言语处理》课程学习指南
《斯坦福CS224n深度学习与教程魔方自然言语处理》课程大作业解析
【双语字幕视频】斯坦福CS224n | 深度学习与自然言语处理(2019全20讲)
Stanford官网 | CS224n: Natural Language Processing with Deep L人工智能能否取代人类earning

Sho联系上下文wMeA人工智能技术应用I系列教程引荐

大厂技能实现 |上下文图引荐与广告核算解决计划
大厂技能实现 | 核算教程机视觉解决计划
大厂技能实现 | 自然言语矩阵和行列式的区别处理职业解决计划
图解Python矩阵编程：从入门到通晓系列教程
图解数据剖矩阵的逆析：从入门到通晓系列教程
图解AI数学根底：从入门到通晓系列教程
图解大数据技能：从入门到通晓系列教程
图解机器学习算法：从入门到通晓系列教程
机器学习实战：手把手教你玩转机器学习系列
深度学习教程 | 吴恩达专项课程全套笔记解读
自然言语处理教程 | 斯坦福CS224n教程视频怎么制作方法课程课程带学与全套笔记解读

NLP系列教程文章

NLP教程(1)- 词向量、SVD分化与Word2vec
NLP教程(2)- GloVe及词向人工智能是什么量的练习教程之家教学视频与评价
NLP教程(3)- 神经网络与反向传达
NLP教程(4)- 句法剖析与依存解析
NLP教程(5)- 言语模型、RN初始化磁盘N、GRU与LSTM
NLP教程(6)- 神经机器翻译、seq2seq与注意力机制
NLP教程(7)- 问答体系
NLP教程(8)- NLP教程的意思中的卷积神经网络
NLP教程(9)- 句法剖析与树形递归神经网络

斯坦福 CS224n 课程带学详解

斯坦福NLP课程 | 第1讲 – NLP介绍与词向量开始
斯坦福NLP课程 | 第2讲 – 词向量进阶
斯坦福NLP课程 | 第3讲 – 神经网络常识回顾
斯坦福NLP课程 | 第4初始化讲 – 神经网络反向传达与核算图
斯坦福NLP课程 | 第5讲 – 句法剖析与依存解析
斯坦福NLP课程 | 第6讲 – 循环神经网络与言语模型
斯坦福NLP课程 | 第7讲 – 梯度消失问题与RNN变种
斯坦福N矩阵的乘法运算LP课程 | 第8讲 – 机器翻译、seq2seq矩阵和行列式的区别与注意力机制
斯坦福NLP课程 | 第9讲 – cs224n课程大项目实用技巧与经验
斯坦福NLP课程 | 第10讲 – NLP中的问答体系
斯坦福NLP课程 | 第11讲 – NLP中的卷积神经网络
斯坦福NLP课程 | 第1教程视频怎么制作方法2讲 – 子词模型
斯坦福NLP课程 | 第13讲 – 依据上下文的表征与NLP预练人工智能发展前景习模型
斯坦福NLP矩阵的乘法运算课程 | 第14讲 – Transformers教程之家自注意力与生成模型
斯坦福NLP进程上下文课程 | 第15讲 – NLP文本生成任务
斯坦福NLP课程 | 第16讲教程视频怎么制作方法 – 指代消解问题与神经网络方法
斯坦福NLP课程 | 第17讲 – 多任务学人工智能能否取代人类习(以问答体系为例)
斯坦福NLP课程 | 第18讲 – 句法剖析与树形递归神经网络
斯坦福NLP课程 | 第19讲 – AI安全成见与教程之家提取码公正
斯坦福NLP课程 |上下文英语第20讲 – NLP与深度学习的未来

斯坦福NLP课程 | 第18讲 – 句法分析与树形递归神经网络

引言