机器学习笔记之深度信念网络(一)背景介绍与结构表示

机器学习笔记之深度信念网络——背景介绍与结构表示 引言深度信念网络场景构建深度信念网络的联合概率分布 引言 从本节开始,将介绍深度信念网络。 深度信念网络 深度信念网络(Deep Belief Network,DBN)是杰弗里·辛顿(Geoffrey Hinton)于2006年提出的模型,并正式提出了深度学习的概念。 在当时,将深度信念网络应用在分类问题中,其超过了当时主流的支持向量机 + 核技巧的分类效果...

机器学习笔记之前馈神经网络(二)非线性问题

机器学习笔记之前馈神经网络——非线性问题 引言回顾:关于非线性问题解决非线性问题的三种方式 引言 上一节介绍了从机器学习到深度学习的过渡,并介绍了深度学习的发展过程。本节将主要介绍如何使用神经网络处理 回顾:关于非线性问题 关于非线性问题,我们并不陌生,例如在核方法思想与核函数介绍中提到的最简单的非线性问题——亦或分类问题: 针对二维特征无法将亦或问题线性可分的情况,通过添加一维新特征的方法,使其在三维特征...

机器学习笔记之Sigmoid信念网络(一)对数似然梯度

机器学习笔记之Sigmoid信念网络——对数似然梯度 引言回顾:贝叶斯网络的因子分解Sigmoid信念网络对数似然梯度推导过程梯度求解过程中的问题 引言 从本节开始,将介绍 Sigmoid \text{Sigmoid} Sigmoid信念网络。 回顾:贝叶斯网络的因子分解 Sigmoid \text{Sigmoid} Sigmoid信念网络,其本质上就是 ,这说明它是一个有向图模型。在概率图模型——贝叶斯网...

机器学习笔记:scikit-learn pipeline使用示例

0. 前言         在机器学习中,管道机制是指将一系列处理步骤串连起来自动地一个接一个地运行的机制。Scikit-Learn提供了pipeline类用于实现机器学习管道,使用起来十分方便。         既然要将不同处理步骤串联起来,首先必须确保每个步骤的输出与下一个步骤的输入的数据是匹配的。所以,管道中的每个步骤都包含两个方法,fit()用于拟合(或者说训练),transform()用于数据转换(...

机器学习笔记之受限玻尔兹曼机(六)对数似然梯度求解

机器学习笔记之受限玻尔兹曼机——对数似然梯度求解 引言回顾:含隐变量能量模型的对数似然梯度受限玻尔兹曼机的对数似然梯度模型参数求解主体思路求解过程 引言 上一节介绍了含隐变量能量模型的对数似然梯度求解。本节针对受限玻尔兹曼机,对模型参数进行求解。 回顾:含隐变量能量模型的对数似然梯度 已知一个随机变量集合 X \mathcal X X,随机变量间关系可描述成马尔可夫随机场,并包含观测变量 v v v和隐变量...

【吴恩达机器学习笔记】十七、总结

十七、总结 在这门课中,我们花了大量的时间介绍了诸如线性回归、逻辑回归、神经网络、支持向量机等等一些监督学习算法,这类算法具有带标签的数据和样本。 然后我们也花了很多时间介绍无监督学习。例如 K-均值聚类、用于降维的主成分分析,以及当你只有一系列无标签数据时的异常检测算法。 当然,有时带标签的数据,也可以用于异常检测算法的评估。此外,我们也花时间讨论了一些特别的应用或者特别的话题,比如说推荐系统。以及大规模...

机器学习笔记之受限玻尔兹曼机(五)基于含隐变量能量模型的对数似然梯度

机器学习笔记之受限玻尔兹曼机——基于含隐变量能量模型的对数似然梯度 引言回顾:包含配分函数的概率分布受限玻尔兹曼机——场景构建对比散度 基于含隐变量能量模型的对数似然梯度 引言 上一节介绍了对比散度(Constractive Divergence)思想,本节将介绍基于含隐变量能量模型的对数似然梯度。 回顾: 包含配分函数的概率分布 在一些基于概率图模型,特别是马尔可夫随机场(无向图) 的基础上,对概率模型分...

机器学习笔记之配分函数(三)对比散度

机器学习笔记之配分函数——对比散度 引言回顾:随机最大似然求解模型参数的过程随机最大似然的缺陷吉布斯采样的缺陷与对比散度思想 对比散度名称的由来从 K L \mathcal K\mathcal L KL散度的角度描述极大似然估计对比散度的本质 引言 上一节介绍了随机最大似然(Stochastic Maximum Likelihood)求解最优模型参数的过程。本节将介绍对比散度(Constractive Di...

向毕业妥协系列之机器学习笔记:神经网络(三)Tensorflow实现(上)

目录 一.模型训练细节 二.激活函数 1.Sigmoid激活函数的替代方案 2.如何选择激活函数 3.为什么模型需要激活函数 一.模型训练细节 epochs:number of steps in gradient descent 模型训练的步骤: 1.指定输入数据是什么,并将其放到逻辑回归函数中 2.指定损失和成本函数 3.最小化成本函数(即梯度下降) 上面三步如下图所示 上图右侧执行model.compil...

机器学习笔记 十六:基于Boruta算法的随机森林(RF)特征重要性评估

文章目录 1. Boruta1.1 特点1.2 参数1.3 例子 2. 决策树的重要性模型2.1 Gini系数重要性2.2 算法2.3 例子2.3.1 利用符合正太分布的三个变量综合为一个结果(Gini Importance)2.3.2 排列重要性(Permutation Importance)2.3.3 Boruta2.3.3.1 算法步骤: 3. 葡萄酒数据集实验3.1 探索性数据分析3.1.1 特征相...
© 2023 LMLPHP 关于我们 联系我们 友情链接 耗时0.086769(s)
2023-02-06 06:54:04 1675637644