YOLOv9(5):YOLOv9可编程梯度信息PGI（Programable Gradient Infomation）
1. 简述 PGI是YOLOv9的一大特色。为了丰富网络训练过程中，梯度反馈的路径（主要是梯度反馈宽度），尽量减少在训练过程中的网络信息丢失，作者添加了一个PGI（Programable Gradient Infomation）模块。 PGI模块的引入，从宏观上看，就像是网络新加了一条Detect分支（此处将类似以往YOLOv3/5/8等的3条不同分辨率的head路线称...
政安晨：【深度学习神经网络基础】（九）—— 在深度学习神经网络反向传播训练中理解梯度
目录 简述 理解梯度 什么是梯度 计算梯度 简述 在深度学习神经网络中，反向传播是一种用来训练神经网络的常用方法。它通过计算损失函数对于网络参数的梯度，然后使用梯度下降算法更新参数，以降低损失函数的值。 梯度表示了函数在某一点上的变化率和方向，对于神经网络而言，梯度表示了损失函数对于网络参数的变化率和方向。在反向传播过程中，首先通过前向传播计算出网络的输出和损失函数的值，然后利用链式法则逐层计算参数的...
PCG共轭梯度最小二乘相位解包裹-matlab（可直接运行）
phase_unwrap.m %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 根据Ghiglia和Romero(1994)提出的方法，基于加权和非加权最小二乘法进行相位解包裹% 链接：https://doi.org/10.1364...
机器学习——坐标轴下降法和梯度下降法
机器学习——坐标轴下降法和梯度下降法 在机器学习中，优化算法是一种关键的技术，用于寻找模型参数的最优解。坐标轴下降法（Coordinate Descent）和梯度下降法（Gradient Descent）是两种常见的优化算法，用于求解目标函数的最小值。本文将详细介绍坐标轴下降法和梯度下降法的理论基础及Python代码实现进行对比分析。 梯度下降法 梯度下降法是一种常用的优化算法，通过迭代更新参数来使...
论文解读—— 基于边缘梯度方向插值和 Zernike 矩的亚像素边缘检测
ke moment》 地址： http://www.dpi-proceedings.com/index.php/dtcse/article/view/24488 摘要 在本文中，我们提出了一种基于边缘梯度方向插值和 Zernike 正交矩的新型亚像素边缘检测方法。由于对边缘邻域进行插值，所提出的方法能够丰富边缘信息，并确保矩模板内只有一个边缘。边缘信息的丰富不仅增加了基于矩的方法的检测精度，还增加了检...
彻底学会系列：一、机器学习之梯度下降（1）
1 梯度下降概念 1.1 概念 梯度下降是一种优化算法，用于最小化一个函数的值，特别是用于训练机器学习模型中的参数，其基本思想是通过不断迭代调整参数的值，使得函数值沿着梯度的反方向逐渐减小，直至达到局部或全局最小值 1.2 理解 在实际业务中，一般多个特征对应一个目标结果值。即对一个多维复杂的方程组的每一维的特征权重进行计算，以求出这个方程局部或全局最小值。如果使用正规方程的进计算，计算量太大，时间...
Datawhale 强化学习笔记(四）结合策略梯度和价值函数的 Actor-Critic 算法
策略梯度算法的缺点 采样效率低。由于使用的是蒙特卡洛估计，与基于价值算法的时序差分估计相比其采样速度必然是要慢很多的，这个问题在前面相关章节中也提到过。高方差。虽然跟基于价值的算法一样都会导致高方差，但是策略梯度算法通常是在估计梯度时蒙特卡洛采样引起的高方差，这样的方差甚至比基于价值的算法还要高。收敛性差。容易陷入局部最优，策略梯度方法并不保证全局最优解，因为它们可能会陷入局部最优点。策略空间可能非...
排序算法经典模型: 梯度提升决策树（GBDT）的应用实战
目录 一、Boosting训练与预测 二、梯度增强的思想核心 三、如何构造弱学习器和加权平均的权重 四、损失函数 五、梯度增强决策树 六、GBDT生成新特征 主要思想 构造流程 七、梯度增强决策树以及在搜索的应用 7.1 GDBT模型调参 7.1.1 框架层面参数 n_estimators subsample 7.1.2 分类/回归树层面参数 最大特征数max_features 决策树最大深度max_...
pytorch梯度更新方法
xt_functions也存在两项，分别对应于D, E两个变量，每个元组中的第一项对应于相应变量的grad_fn，第二项指示相应变量是产生其op的第几个输出。E作为叶节点，其上没有grad_fn，但有梯度累积函数，即AccumulateGrad（由于反传时多出可能产生梯度，需要进行累加）F.backward(retain_graph=True) # 进行梯度反传print(A.grad, B.gr...
GBDT-梯度提升决策树
梯度提升决策树（Gradient Boosting Decision Tree, GBDT）是一种基于boosting集成学习思想的加法模型，训练时采用前向分布算法进行贪婪学习，每次迭代都学习一棵CART树来拟合之前 t − 1 t-1 t−1棵树的训练样本真实值的残差。 CART(Classification and Regression tree) 最小二乘回归算法 输入：训练数据集 D D D...