机器学习笔记之优化算法(十三)关于二次上界引理
机器学习笔记之优化算法——关于二次上界引理 引言回顾：利普希兹连续梯度下降法介绍 二次上界引理：介绍与作用二次上界与最优步长之间的关系二次上界引理证明过程 引言 本节将介绍二次上界的具体作用以及它的证明过程。 回顾： 利普希兹连续 在 Wolfe \text{Wolfe} Wolfe准则收敛性证明一节中简单介绍了利普希兹连续 ( Lipschitz Continuity ) (\text{Lipschitz...
机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性
机器学习笔记之优化算法——梯度下降法在凸函数上的收敛性 引言回顾：收敛速度：次线性收敛二次上界引理 梯度下降法在凸函数上的收敛性收敛性定理介绍证明过程 引言 本节将介绍梯度下降法在凸函数上的收敛性。 回顾： 收敛速度：次线性收敛 关于次线性收敛，分为两种判别类型： R \mathcal R R-次线性收敛与 Q \mathcal Q Q-次线性收敛。而次线性收敛的特点是：随着迭代次数的增加，相邻迭代步骤产生...
机器学习笔记之优化算法(十一)梯度下降法：凸函数VS强凸函数
机器学习笔记之优化算法——梯度下降法：凸函数VS强凸函数 引言凸函数：凸函数的定义与判定条件凸函数的一阶条件凸函数的梯度单调性凸函数的二阶条件 强凸函数强凸函数的定义强凸函数的判定条件强凸函数的一阶条件强凸函数的梯度单调性强突函数的二阶条件 引言 本节将介绍凸函数、强凸函数以及它们之间的联系(补梯度下降法：总体介绍中的坑)。 凸函数： 凸函数的定义与判定条件 关于凸函数的定义表示如下：设 f ( ⋅ ) f...
机器学习笔记之深度信念网络(一)背景介绍与结构表示
机器学习笔记之深度信念网络——背景介绍与结构表示 引言深度信念网络场景构建深度信念网络的联合概率分布 引言 从本节开始，将介绍深度信念网络。 深度信念网络 深度信念网络(Deep Belief Network,DBN)是杰弗里·辛顿(Geoffrey Hinton)于2006年提出的模型，并正式提出了深度学习的概念。 在当时，将深度信念网络应用在分类问题中，其超过了当时主流的支持向量机 + 核技巧的分类效果...
机器学习笔记之前馈神经网络(二)非线性问题
机器学习笔记之前馈神经网络——非线性问题 引言回顾：关于非线性问题解决非线性问题的三种方式 引言 上一节介绍了从机器学习到深度学习的过渡，并介绍了深度学习的发展过程。本节将主要介绍如何使用神经网络处理 回顾：关于非线性问题 关于非线性问题，我们并不陌生，例如在核方法思想与核函数介绍中提到的最简单的非线性问题——亦或分类问题： 针对二维特征无法将亦或问题线性可分的情况，通过添加一维新特征的方法，使其在三维特征...
机器学习笔记之Sigmoid信念网络(一)对数似然梯度
机器学习笔记之Sigmoid信念网络——对数似然梯度 引言回顾：贝叶斯网络的因子分解Sigmoid信念网络对数似然梯度推导过程梯度求解过程中的问题 引言 从本节开始，将介绍 Sigmoid \text{Sigmoid} Sigmoid信念网络。 回顾：贝叶斯网络的因子分解 Sigmoid \text{Sigmoid} Sigmoid信念网络，其本质上就是 ，这说明它是一个有向图模型。在概率图模型——贝叶斯网...
机器学习笔记：scikit-learn pipeline使用示例
0. 前言 在机器学习中，管道机制是指将一系列处理步骤串连起来自动地一个接一个地运行的机制。Scikit-Learn提供了pipeline类用于实现机器学习管道，使用起来十分方便。 既然要将不同处理步骤串联起来，首先必须确保每个步骤的输出与下一个步骤的输入的数据是匹配的。所以，管道中的每个步骤都包含两个方法，fit()用于拟合（或者说训练），transform()用于数据转换（...
机器学习笔记之受限玻尔兹曼机(六)对数似然梯度求解
机器学习笔记之受限玻尔兹曼机——对数似然梯度求解 引言回顾：含隐变量能量模型的对数似然梯度受限玻尔兹曼机的对数似然梯度模型参数求解主体思路求解过程 引言 上一节介绍了含隐变量能量模型的对数似然梯度求解。本节针对受限玻尔兹曼机，对模型参数进行求解。 回顾：含隐变量能量模型的对数似然梯度 已知一个随机变量集合 X \mathcal X X，随机变量间关系可描述成马尔可夫随机场，并包含观测变量 v v v和隐变量...
【吴恩达机器学习笔记】十七、总结
十七、总结 在这门课中，我们花了大量的时间介绍了诸如线性回归、逻辑回归、神经网络、支持向量机等等一些监督学习算法，这类算法具有带标签的数据和样本。 然后我们也花了很多时间介绍无监督学习。例如 K-均值聚类、用于降维的主成分分析，以及当你只有一系列无标签数据时的异常检测算法。 当然，有时带标签的数据，也可以用于异常检测算法的评估。此外，我们也花时间讨论了一些特别的应用或者特别的话题，比如说推荐系统。以及大规模...
机器学习笔记之受限玻尔兹曼机(五)基于含隐变量能量模型的对数似然梯度
机器学习笔记之受限玻尔兹曼机——基于含隐变量能量模型的对数似然梯度 引言回顾：包含配分函数的概率分布受限玻尔兹曼机——场景构建对比散度 基于含隐变量能量模型的对数似然梯度 引言 上一节介绍了对比散度(Constractive Divergence)思想，本节将介绍基于含隐变量能量模型的对数似然梯度。 回顾： 包含配分函数的概率分布 在一些基于概率图模型，特别是马尔可夫随机场(无向图) 的基础上，对概率模型分...