PyTorch ：梯度详解
PyTorch 中的 torch.Tensor 梯度详解 PyTorch 是一个广泛使用的深度学习框架，它以其动态计算图和强大的自动微分（Autograd）机制而闻名。在训练神经网络时，梯度计算是反向传播算法的核心。 目录 Tensor 与 requires_grad 属性动态计算图（Computational Graph）反向传播与梯度计算梯度的计算过程非标量输出的梯度计算控制梯度计算梯度的累积梯...
梯度计算（MATLAB和pytorch实例）
梯度计算概述梯度计算的原理对于离散数据而言 一维离散数据的梯度近似 前向差分（Forward Difference）后向差分（Backward Difference）中心差分（Central Difference） 二维离散数据的梯度近似多维扩展（以三维为例）误差分析与步长选择 梯度计算概述 梯度计算是数学和工程中的基础工具，梯度计算通常用于图像处理、数值分析和优化等领域。梯度可以帮助我们了解函数值...
深度学习之梯度缩放介绍
混合训练（Mixed Precision Training）是一种优化深度学习模型训练过程的技术，其中梯度缩放（Gradient Scaling）是混合训练中常用的一项技术。 在深度学习中，梯度是用于更新模型参数的关键信息。然而，当使用低精度数据类型（如半精度浮点数）进行训练时，梯度的计算可能会受到数值溢出或下溢的影响，导致训练不稳定或无法收敛。 1. 梯度缩放基本概...
【机器学习】XGBoost: 强化学习与梯度提升的杰作
🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 💫个人格言: "如无必要，勿增实体" 文章目录 XGBoost: 强化学习与梯度提升的杰作引言1. XGBoost概览1.1 什么是XGBoost？1.2 XGBoost的发展背景 2. 核心原理与算法机制2.1 梯度提升回顾2.2 XGBoost的独特之处 3. 实践应用指南3.1 参数调优3.2 ...
广东全面推进标准创新型企业梯度培育工作
文/全媒体记者 马灿图/受访者提供近期，广州、云浮、肇庆、汕头、潮州、揭阳、珠海、中山等地级市通过“现场+线上直播分场”的方式，完成标准创新型企业梯度培育宣贯培训，近千名企业标准化工作者和相关负责人、标准化行政管理部门相关负责人参加了培训。标准创新型企业梯度培育宣贯培训工作的铺开，标志着广东“标准创新型企业梯度培育”工作全面开展和稳步推进。标准创新型企业是指运用标准化原理和方法，以科技创新和标准化互动...
深度神经网络——什么是梯度下降？
如果对神经网络的训练有所了解，那么很可能已经听说过“梯度下降”这一术语。梯度下降是提升神经网络性能、降低其误差率的主要技术手段。然而，对于机器学习新手来说，梯度下降的概念可能稍显晦涩。本文旨在帮助您直观理解梯度下降的工作原理。 梯度下降作为一种优化算法，其核心在于通过调整网络的参数来优化性能，目标是最小化网络预测与实际或期望值（即损失）之间的差距。梯度下降从参数的初始值出发，利用基于微积分的计算方法...
YOLOv9(5):YOLOv9可编程梯度信息PGI（Programable Gradient Infomation）
1. 简述 PGI是YOLOv9的一大特色。为了丰富网络训练过程中，梯度反馈的路径（主要是梯度反馈宽度），尽量减少在训练过程中的网络信息丢失，作者添加了一个PGI（Programable Gradient Infomation）模块。 PGI模块的引入，从宏观上看，就像是网络新加了一条Detect分支（此处将类似以往YOLOv3/5/8等的3条不同分辨率的head路线称...
政安晨：【深度学习神经网络基础】（九）—— 在深度学习神经网络反向传播训练中理解梯度
目录 简述 理解梯度 什么是梯度 计算梯度 简述 在深度学习神经网络中，反向传播是一种用来训练神经网络的常用方法。它通过计算损失函数对于网络参数的梯度，然后使用梯度下降算法更新参数，以降低损失函数的值。 梯度表示了函数在某一点上的变化率和方向，对于神经网络而言，梯度表示了损失函数对于网络参数的变化率和方向。在反向传播过程中，首先通过前向传播计算出网络的输出和损失函数的值，然后利用链式法则逐层计算参数的...
PCG共轭梯度最小二乘相位解包裹-matlab（可直接运行）
phase_unwrap.m %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 根据Ghiglia和Romero(1994)提出的方法，基于加权和非加权最小二乘法进行相位解包裹% 链接：https://doi.org/10.1364...
机器学习——坐标轴下降法和梯度下降法
机器学习——坐标轴下降法和梯度下降法 在机器学习中，优化算法是一种关键的技术，用于寻找模型参数的最优解。坐标轴下降法（Coordinate Descent）和梯度下降法（Gradient Descent）是两种常见的优化算法，用于求解目标函数的最小值。本文将详细介绍坐标轴下降法和梯度下降法的理论基础及Python代码实现进行对比分析。 梯度下降法 梯度下降法是一种常用的优化算法，通过迭代更新参数来使...