时序差分学习
时序差分学习（Temporal-Difference Learning, TD learning）是强化学习中最核心与最著名的思想 ‘If one had to identify one idea as central and novel to reinforcement learning,
...
蒙特卡洛方法
MC如何在没有模型的情况下评估一个策略？
如何计算Ｖ（ｓ）和Ｑ（ｓ）？
通过采样的方式
如何得到数据？
On policy: 使用当下的策略生成的数据进行策略评估
Off policy: 使用其他策略生成的数据进行策略评估
首次访问蒙特卡洛预测（评估）：
Every-Visit Monte-
...
图片分类-pca_svc
PCA_SVC训练import osfrom PIL import Imageimport numpy as npfrom sklearn.decomposition import PCAfrom sklearn.svm import SVCimport timeimport datetimedef
...
PIL简单应用
PIL简介PIL是python自带的图像处理库
安装：
pip install pillow
扩充数据－旋转准备：新建Train文件夹，将ＮＧ和ＯＫ图片分别放在命名为ＮＧ和ＯＫ的文件夹，新建rotation文件夹，或者修改路径
import osfrom PIL import Imageimport
...
强化学习基础
强化学习的作用Reinforcement learning is learning what to do—how to map situations to actions—so as to maximize a numerical reward signal.强化学习是学习做什么（决策），即基于当前
...
卷积神经网络理论
卷积层任务：对输入的图像进行特征提取
用一个小的权重矩阵去覆盖输入数据，对应位置元素加权相乘，其和作为结果的一个像素点。
这个权重在输入数据上滑动，形成一张新的矩阵
这个权重矩阵就被称为卷积核（convolution kernel）
其覆盖的位置称为感受野（receptive fileld ）
...
经典卷积神经网络
LeNet这是最早用于数字识别的CNN
LeNet5特征能够总结为如下几点：
1）卷积神经网络使用三个层作为一个系列： 卷积，池化，非线性
2） 使用卷积提取空间特征
3）使用映射到空间均值下采样（subsample）
4）双曲线（tanh）或S型（sigmoid）形式的非线性
5）多层神经网络
...
反向传播
定义损失函数：
E_{total}=\frac12 (y-outo)^2定义激活函数：
\sigma(x)=sigmod(x)前向传播第一层(输入层)：
x_1\ \ \ x_2\ \ \ b_1加权和：
net h_1=x_1w_1+x_2w_2+b_1
第二层(隐层)：
outh_1=
...
图床
安装picgo下载地址: https://github.com/Molunerfinn/PicGo/releases
linux下载AppImage文件
右键属性，将权限设为允许为启动程序
配置以阿里云为例：
点击右上角头像，找到accessKeyId和accessKeySecret
创
...
感知器与激活函数
定义感知器是激活函数为阶跃函数的神经元。感知器的模型如下：· 输入(inputs)：一个感知器可以接收多个输入(x1,x2,…,xn|xi∈R)· 权值(weights)：每一个输入上都有一个权值wi∈R，此外还有一个偏置项b∈R，也就是上图的w0。· 加权和(weighted sum)：就是输入权
...