机器学习笔记之配分函数(三)对比散度
机器学习笔记之配分函数——对比散度 引言回顾：随机最大似然求解模型参数的过程随机最大似然的缺陷吉布斯采样的缺陷与对比散度思想 对比散度名称的由来从 K L \mathcal K\mathcal L KL散度的角度描述极大似然估计对比散度的本质 引言 上一节介绍了随机最大似然(Stochastic Maximum Likelihood)求解最优模型参数的过程。本节将介绍对比散度(Constractive Di...
向毕业妥协系列之机器学习笔记:神经网络（三）Tensorflow实现（上）
目录 一.模型训练细节 二.激活函数 1.Sigmoid激活函数的替代方案 2.如何选择激活函数 3.为什么模型需要激活函数 一.模型训练细节 epochs：number of steps in gradient descent 模型训练的步骤： 1.指定输入数据是什么，并将其放到逻辑回归函数中 2.指定损失和成本函数 3.最小化成本函数（即梯度下降） 上面三步如下图所示 上图右侧执行model.compil...
机器学习笔记 十六：基于Boruta算法的随机森林（RF）特征重要性评估
文章目录 1. Boruta1.1 特点1.2 参数1.3 例子 2. 决策树的重要性模型2.1 Gini系数重要性2.2 算法2.3 例子2.3.1 利用符合正太分布的三个变量综合为一个结果（Gini Importance）2.3.2 排列重要性（Permutation Importance）2.3.3 Boruta2.3.3.1 算法步骤： 3. 葡萄酒数据集实验3.1 探索性数据分析3.1.1 特征相...
机器学习笔记 十七：基于Gini Importance、Permutation Importance、Boruta的随机森林模型重要性评估的比较
目录 1. 随机森林模型拟合和预测性能1.1 样本拆分1.2 模型拟合1.3 特征重要性1.4 Permutation Importance（permutation_importances）1.5 Boruta 2. 特征选择和性能比较2.1 基于基尼重要性的特征选择2.2 基于排序重要性的特征选择2.3 基于Boruta的特征选择2.4 预测性能比较 1. 随机森林模型拟合和预测性能 1.1 样本拆分 X...
机器学习笔记之条件随机场(三)MEMM的标注偏置问题
机器学习笔记之条件随机场——MEMM的标注偏置问题 引言回顾：最大熵马尔可夫模型最大熵马尔可夫模型的优点 最大熵马尔可夫模型的缺陷标注偏置问题标注偏置问题示例 引言 上一节介绍了隐马尔可夫模型(Hidden Markov Model,HMM)向最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)的演化过程。本节将针对MEMM模型的缺陷，并介绍 (Condition Ran...
机器学习笔记--改进KNN算法实现人脸识别
目录 1--前言 2--路径总览 3--划分数据集 3.1--数据集介绍： 3.2--代码： 3.3--运行及结果: 4--主函数 4.1--原理分析: 4.2--源码： 4.3--运行及结果： 5--参考 6--问题补充 1--前言 ①sysu模式识别作业 ②数据集：ORL Database of Faces ③原理： wk_NNC算法 2--路径总览 3--划分数据集 3.1--数据集介绍： ①ORL数据...