继续创作，加速成长！这是我参加「日新方案 10 月更文挑战」的第2天，点击查看活动详情
1 神经元
1.1 概述
1.1.1 神经网络
神经网络：一种人工仿照动物中枢体系的数学模型，用于对函数进行近似估计
1.1.2 神经元
神经网络的基本单位是神经元。
神经元是一种处理单元，是对人脑组织的神经元的某种抽象、简化和模仿。经过神经元，人工神经网络可以以数学模型模仿人脑神经元活动，继而进行高效的计算以及其他处理。
修改
1.2 计算机中的神经元体系
1.2.1 简略的神经元体系
神经元模型便是模仿大脑神经元的运转进程，其包含输入，输出与计算功用，输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。下图是一个典型的神经元模型：包含有m个输入，1个输出，以及2个计算功用。
修改
1.2.2 一句话了解神经网络
所以一句话了解便是：制造一个神经网络便是在界说一个函数集合。而练习一个神经网络便是在这个函数集合中找到唯一一个函数。这个函数代表了练习样本的共性特征。这种共性特征称为目标。
一个神经元的功用是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量成果。
1.2.3 神经网络的形成
当时首要运用反向传播的算法将模型的差错作为影响的信号，并沿着神经元处理信号的反方向进行逐层传播，并更新当时层中节点的权重。
1.2.4神经网络的特色
神经网络的结构与功用，使得其天然生成具有编程与完成各种高档功用的才能，只不过该编程不需求经过人脑拟合实际来完成，而是经过模型学习的方法，经过实际的表象来优化其所需求的结构。
1.3 深度学习中的基础神经网络模型
- 全衔接神经网络：用来处理与数值相关的使命
- 卷积神经网络：用来处理与计算机视觉相关的使命
- 循环神经网络：用来处理与序列相关的使命
1.4 神经网络（深度学习）到底是在干什么
1.4.1 玩色子
应该都接触过摇色子赌大小得游戏，微信表情包就有这个，总共有六个点数，如下：
修改
一般电视剧里用两只碗扣在一块，里边有三个色子，最大是18点，最小是3点，所以这里暂时以11为中位数，大于等于11的为大，小于11的为小，刚好8个大点、8个小点。
1.4.2 建模型
神经网络包含三个部分——输入层、隐藏层和输出层。我们建立一个神经网络模型来让机器辨认我们摇出来的点数是大还是小。
先摇三个点。。。
修改
很明显的是1+3+4 = 8 <11，
问题是隐藏层 “
修改”到底做了什么？该怎么做？
1.4.3 出成果
其实这个隐藏层的函数（或许叫矩阵）便是三个值为1的常数函数。
修改
计算方法为点对点相乘然后相加（相当于深度学习里边的全衔接层）
11+31+41 = 8 < 11，然后只需求一个判断函数就可以将“小”作为成果输出。
相同：
修改
31+51+61 = 14 >11，输出“大”。
当然了，这个仅仅一个很简略的分类模型，而且只要两个分类成果。
一般用于完成数字辨认或许图像辨认的隐藏层比较复杂，甚至需求很多个隐藏层，别离命名为卷积层（一个模型中可能会屡次运用）、池化层（一个模型中可能会屡次运用）、全衔接层，还会有对应的激活函数。
看吧，其实便是一个很简略的模型算了，仅仅姓名唬人算了。
2 全衔接神经网络，又称作多层感知机（MLP）
2.1网络结构
修改
- 输入层：[特征维度，n]
- 隐含层：权重矩阵 [输出维度，输入维度] 或许说 [这层维度，上层维度]
- 输出层：[类别数，n]
2.1.1 全衔接层的实质
① 全衔接神经网络的实质是将低维数据向高维数据的映射，经过添加数据所在的维度空间，使得数据变得线性可分
② 可以对任何数据进行分类，缺点是需求更多的参数进行练习。但更多的参数参加运算，将会导致练习进程难以收敛
2.2 全衔接神经网络的规划思想
2.2.1 输入节点根据外部的特征数据来确认
2.2.2 隐藏层的节点数，隐藏层的数量都是可以自界说规划的，但需求遵循以下两个准则
2.2.3 规划准则
- 隐藏层的节点数决议模型的拟合才能，可是过多的节点带了拟合才能的同时，也会使得模型的泛化才能下降。
- 隐藏层的层数决议模型的泛化才能，层数越多，模型的推理才能越强，可是跟着层数的变多，会对拟合作用产生影响
2.3 全衔接神经网络在模型中的位置
一般处于整个深层模型的最后部分，由其具有的调理维度的作用，经过指定输入层与输出层的节点数，就可以完成从原维度向任意维度的改变，一般前后层的维度控制在5倍以内。
2.3.1 小技巧
搭建多层全衔接神经网络时，对隐藏层的节点规划，应遵循先将维度扩展再缩小的方法进行，会使得模型的拟合作用更好。
