深度学习之梯度缩放介绍
混合训练（Mixed Precision Training）是一种优化深度学习模型训练过程的技术，其中梯度缩放（Gradient Scaling）是混合训练中常用的一项技术。 在深度学习中，梯度是用于更新模型参数的关键信息。然而，当使用低精度数据类型（如半精度浮点数）进行训练时，梯度的计算可能会受到数值溢出或下溢的影响，导致训练不稳定或无法收敛。 1. 梯度缩放基本概...
【机器学习】XGBoost: 强化学习与梯度提升的杰作
🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 💫个人格言: "如无必要，勿增实体" 文章目录 XGBoost: 强化学习与梯度提升的杰作引言1. XGBoost概览1.1 什么是XGBoost？1.2 XGBoost的发展背景 2. 核心原理与算法机制2.1 梯度提升回顾2.2 XGBoost的独特之处 3. 实践应用指南3.1 参数调优3.2 ...
广东全面推进标准创新型企业梯度培育工作
文/全媒体记者 马灿图/受访者提供近期，广州、云浮、肇庆、汕头、潮州、揭阳、珠海、中山等地级市通过“现场+线上直播分场”的方式，完成标准创新型企业梯度培育宣贯培训，近千名企业标准化工作者和相关负责人、标准化行政管理部门相关负责人参加了培训。标准创新型企业梯度培育宣贯培训工作的铺开，标志着广东“标准创新型企业梯度培育”工作全面开展和稳步推进。标准创新型企业是指运用标准化原理和方法，以科技创新和标准化互动...
深度神经网络——什么是梯度下降？
如果对神经网络的训练有所了解，那么很可能已经听说过“梯度下降”这一术语。梯度下降是提升神经网络性能、降低其误差率的主要技术手段。然而，对于机器学习新手来说，梯度下降的概念可能稍显晦涩。本文旨在帮助您直观理解梯度下降的工作原理。 梯度下降作为一种优化算法，其核心在于通过调整网络的参数来优化性能，目标是最小化网络预测与实际或期望值（即损失）之间的差距。梯度下降从参数的初始值出发，利用基于微积分的计算方法...
YOLOv9(5):YOLOv9可编程梯度信息PGI（Programable Gradient Infomation）
1. 简述 PGI是YOLOv9的一大特色。为了丰富网络训练过程中，梯度反馈的路径（主要是梯度反馈宽度），尽量减少在训练过程中的网络信息丢失，作者添加了一个PGI（Programable Gradient Infomation）模块。 PGI模块的引入，从宏观上看，就像是网络新加了一条Detect分支（此处将类似以往YOLOv3/5/8等的3条不同分辨率的head路线称...
政安晨：【深度学习神经网络基础】（九）—— 在深度学习神经网络反向传播训练中理解梯度
目录 简述 理解梯度 什么是梯度 计算梯度 简述 在深度学习神经网络中，反向传播是一种用来训练神经网络的常用方法。它通过计算损失函数对于网络参数的梯度，然后使用梯度下降算法更新参数，以降低损失函数的值。 梯度表示了函数在某一点上的变化率和方向，对于神经网络而言，梯度表示了损失函数对于网络参数的变化率和方向。在反向传播过程中，首先通过前向传播计算出网络的输出和损失函数的值，然后利用链式法则逐层计算参数的...
PCG共轭梯度最小二乘相位解包裹-matlab（可直接运行）
phase_unwrap.m %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 根据Ghiglia和Romero(1994)提出的方法，基于加权和非加权最小二乘法进行相位解包裹% 链接：https://doi.org/10.1364...
机器学习——坐标轴下降法和梯度下降法
机器学习——坐标轴下降法和梯度下降法 在机器学习中，优化算法是一种关键的技术，用于寻找模型参数的最优解。坐标轴下降法（Coordinate Descent）和梯度下降法（Gradient Descent）是两种常见的优化算法，用于求解目标函数的最小值。本文将详细介绍坐标轴下降法和梯度下降法的理论基础及Python代码实现进行对比分析。 梯度下降法 梯度下降法是一种常用的优化算法，通过迭代更新参数来使...
论文解读—— 基于边缘梯度方向插值和 Zernike 矩的亚像素边缘检测
ke moment》 地址： http://www.dpi-proceedings.com/index.php/dtcse/article/view/24488 摘要 在本文中，我们提出了一种基于边缘梯度方向插值和 Zernike 正交矩的新型亚像素边缘检测方法。由于对边缘邻域进行插值，所提出的方法能够丰富边缘信息，并确保矩模板内只有一个边缘。边缘信息的丰富不仅增加了基于矩的方法的检测精度，还增加了检...
彻底学会系列：一、机器学习之梯度下降（1）
1 梯度下降概念 1.1 概念 梯度下降是一种优化算法，用于最小化一个函数的值，特别是用于训练机器学习模型中的参数，其基本思想是通过不断迭代调整参数的值，使得函数值沿着梯度的反方向逐渐减小，直至达到局部或全局最小值 1.2 理解 在实际业务中，一般多个特征对应一个目标结果值。即对一个多维复杂的方程组的每一维的特征权重进行计算，以求出这个方程局部或全局最小值。如果使用正规方程的进计算，计算量太大，时间...