深度学习基础——残差神经网络(ResNet)

深度学习基础——残差神经网络(ResNet) 1. 定义 残差神经网络(ResNet)是一种深度神经网络结构,由微软研究院的Kaiming He等人于2015年提出。它通过引入残差块(Residual Block)来解决深度神经网络的退化问题,使得网络可以更深地进行训练。ResNet在ImageNet图像识别挑战赛上取得了第一名的成绩,并在许多领域取得了显著的成功应用。 2. 如何计算 ResNet的核...

动手学深度学习——数据操作笔记

量本质上是一个n维数组,它在numpy中为ndarray,  在pytorch中称为tensor , 两者的区别在于: numpy仅支持CPU计算tensor能支持GPU运算,并且支持自动微分,更适合深度学习 2. 张量的访问 一个二维矩阵a,可以使用切片的方式灵活访问: 访问指定元素:a [1,2]访问一整行元素:a [1,:]访问一整列元素:a[:,1]访问1到3行之间、第1列以后的矩形区域:a[1:...

计算机视觉与深度学习

1. 定义及联系 计算机视觉(Computer Vision)是指利用计算机和相应的数字信号处理技术,对从现实世界中获取的图像和视频数据进行理解和分析的研究领域。而深度学习(Deep Learning)是机器学习的一个分支,通过多层神经网络模型学习数据的表示,实现对复杂模式和结构的学习。深度学习技术已经成为了计算机视觉领域的主要驱动力之一,通过深度学习方法可以自动学习到数据的特征表示,从而大大提高了计算...

深度学习基础——循环神经网络的结构及参数更新方式

深度学习基础——循环神经网络的结构及参数更新方式 深度学习领域的一大重要分支是循环神经网络(Recurrent Neural Networks,简称RNN),它是一种用于处理序列数据的神经网络结构。与传统的前馈神经网络不同,循环神经网络能够利用序列中的时间信息,从而更好地建模序列数据的依赖关系。 1. 概述 循环神经网络是一种具有循环连接的神经网络结构,用于处理序列数据,如文本、时间序列等。其主要特点是...

GPU深度学习环境搭建:Win10+CUDA 11.7+Pytorch1.13.1+Anaconda3+python3.10.9

1. 查看显卡驱动及对应cuda版本关系 1.1 显卡驱动和cuda版本信息查看方法 在命令行中输入【nvidia-smi】可以当前显卡驱动版本和cuda版本。 根据显示,显卡驱动版本为:Driver Version: 516.59,CUDA 的版本为:CUDA  Version 11.7。 此处我们可以根据下面的表1 显卡驱动和cuda版本对应关系得知,Driver Version: 527.47  ...

深度学习实战(9)】三种保存和加载模型的方式

一、state_dict方式(推荐) torch.save(model.state_dict(), PATH) model = YourModel()model.load_state_dict(torch.load(PATH))model.eval() 记住一定要使用model.eval()来固定dropout和归一化层,否则每次推理会生成不同的结果。 二、整个模型(结构+state_dict)方式...

探索MATLAB在计算机视觉与深度学习领域的实战应用

随着人工智能技术的快速发展,计算机视觉与深度学习已成为科技领域中最热门、最具挑战性的研究方向之一。 它们的应用范围从简单的图像处理扩展到了自动驾驶、医疗影像分析、智能监控行业等多个领域。 在这样的背景下,《MATLAB计算机视觉与深度学习实战》一书应运而生,为广大从业人员和学者提供了一个全面、深入的学习和实践平台。 书籍亮点 实战案例驱动: 本书详细讲解了29个实用的MATLAB计算机视觉与深度学习案例...

政安晨:【深度学习神经网络基础】(九)—— 在深度学习神经网络反向传播训练中理解梯度

目录 简述 理解梯度 什么是梯度 计算梯度 简述 在深度学习神经网络中,反向传播是一种用来训练神经网络的常用方法。它通过计算损失函数对于网络参数的梯度,然后使用梯度下降算法更新参数,以降低损失函数的值。 梯度表示了函数在某一点上的变化率和方向,对于神经网络而言,梯度表示了损失函数对于网络参数的变化率和方向。在反向传播过程中,首先通过前向传播计算出网络的输出和损失函数的值,然后利用链式法则逐层计算参数的梯度...

深度学习实战(12)】训练之模型参数初始化

一、初始化方式 在常见的CNN深度学习模型中,最常出现的是Conv卷积和BatchNorm算子。 (1)对于Conv卷积,权重初始化的方式有‘normal’,‘xavier’,‘kaiming’,‘orthogonal’ 以‘normal’方式为例:对Conv卷积的weight通常是以均值为0,标准差为0.02的正态分布进行参数初始化 (2)对于BatchNorm算子,通常是使用‘normal’方式进行...

深度学习实战(13)】训练之加载预训练权重

一、代码 import configimport torchimport numpy as np device = 'cpu'# ------------------------------------------------------## 创建你的模型# ------------------------------------------------------#model = Your...
© 2024 LMLPHP 关于我们 联系我们 友情链接 耗时0.003478(s)
2024-04-25 20:08:55 1714046935