一、前文回顾 神经网络的基本知识已经全部介绍完了。主要包括了以下几个： ①激活函数 ②softmax函数 ③损失函数 ④批处理 ⑤梯度 ⑥梯度下降法 今天就把这些都归纳起来，然后完整的实现神经网络的自主学习过程。 二、神经网络的自主学习流程...

一、前文回顾 什么是梯度，简而言之就是对多元函数的每个参数求偏导数，然后以向量的形式写出来,这就是梯度。例如 它对于参数x1的偏导数为2*x1，参数x2的偏导数为2*x2，那么它的梯度为向量(2*x1,2*x2)。对于该函数在点(2,3)的具体梯度grad...

一、前文回顾 上一节我们讲到神经网络的自主学习过程，其实就是通过不断的调整权重值，使得损失函数达到最小值的过程。今天的内容就是具体怎么实现这个过程。 二、上山容易下山难 举个例子，假如你在爬山的途中突然遇到恶劣天气想要赶紧下山，这时候你就要找到一条能最快下山的路，但是你没带...

一、前文回顾 上一节我们使用提前训练好的权重参数尝试了神经网络识别手写数字，正确率可以达到94%。但是这个训练好的权重是怎么训练的？这便是这节的内容：神经网络的自我学习。 二、神经网络的自我学习 我们在讲感知器的时候，权重参数（w1,w2,b）都是手动设置的，这是一个只有三...

一、前文回顾 前面我们说了那么多理论，什么神经网络，激活函数，Softmax函数等等，那么深度学习到底能干什么？这一节我们就来尝试让小D识别手写数字，看看效果怎么样。这里用到的手写数字就是来自于MNIST手写数字数据集。 二、MNIST手写数字数据集...

一、前言 深度学习已经告一段落，虽然充满了各种枯燥的公式和代码，但还是跌跌撞撞的说完了。说实话我自己都差点放弃，不过风雨过后便是彩虹，接下来就进入实战阶段，用传统图像处理和深度学习来玩一些好玩的东西。 今天要介绍的是一个手势检测模块，个人感觉很有意思。这个技术该怎么样落地为...

一、前文回顾 上一节设计了小D的神经网络结构，并且了解了激活函数。但是小D到底是死是活？我也不知道，于是我决定召唤两道闪电，给小D点刺激，看看它有没有反应。 ※这节充满了代码以及线性代数，枯燥乏味到我都不想写。 二、实现小D 1.信号的传输...

一、前文回顾 上一节我们为小D设计了大脑（四层神经网络）以及下面的激活函数。 这里的h(s1)激活函数我们称之为阶梯函数。上节也说过激活函数有很多种，今天主要对以下三个进行讲解： ①阶梯函数 ②sigmoid函数 ③ReLu函数 二、激活函数 1.阶梯函数 Python实现...

一、前文回顾 上一节我们通过一个简单的神经网络（↓图）模拟了逻辑异或门，并且为它命名为小D。 但是你会发现小D只有一个输出，这意味着它的大脑里面只认识一个东西（假如是肉夹馍），那么你不管问它想吃什么，它的回答都永远是肉夹馍。。所以我们需要对它进行改进一下。 二、小D的构造...