深度学习模型Deep Learning Model
什么是深度学习？？ 深度学习模型的核心特点包括： 深度学习的发展史 总结： 当我们说深度学习模型时，我们在谈论一种特殊的计算机程序，它们可以像人类大脑一样学习和理解数据。这些程序被称为“深度学习”模型，因为它们由很多层次（或称为深度）组成，每一层都会逐步学习更加抽象和复杂的概念。让我用一个比喻来解释：想象你正在学习做一个汉堡包，你需要逐步学习每一个步骤，比如烤面包、煎牛肉饼、加上蔬菜和酱料等等。深度...
卷积通用模型的剪枝、蒸馏---蒸馏篇--KD蒸馏（以deeplabv3+为例）
上篇文章介绍了剪枝篇，本文以上篇的剪枝模型为学生模型，以剪枝之前的模型为教师模型，进行KD逻辑蒸馏，之后会尝试特征蒸馏和关系蒸馏等。 一、KD逻辑蒸馏 1.1 大致过程 逻辑蒸馏，是基于分类问题设计的，因此非常适用于语义分割。模型最后会有一个softmax层，其输出值对应了相应类别的概率值。在知识蒸馏时，已经有了一个泛化能力较强的Teacher模型，我们在利用Teacher模型来蒸馏训练Student模...
Going deeper with Image Transformers
1、引言 论文链接： https://openaccess.thecvf.com/content/ICCV2021/papers/Touvron_Going_Deeper_With_Image_Transformers_ICCV_2021_paper.pdf 由于目前对图像 Transformer[1] 的优化问题研究很少，Hugo Touvron 等[2] 构建和优化了更深的用于图像分类...
使用deepspeed小记
显存占用的历程忠告 医学图像经常很大，所以训练模型有时候会有难度，但是现在找到了很多减少显存的方法。 不知道为什么，使用transformers的trainer库确确实实会减少显存的占用，即使没有使用deepspeed，占用的显存也会减少。 别自己造轮子 我之前也使用过 ，自己也设计过，非常非常建议千万不要自己去写LoRA，很浪费时间，设计很费时间，同时检验模型LoRA的有效性也很浪费时间，权重的融合也很...
Python deepFM推荐系统，推荐算法，deepFM源码实战，deepFM代码模板
1.DeepFM介绍： DeepFM（Deep Factorization Machine）是一种结合了深度学习和因子分解机的推荐模型。它在CTR（点击率）预测任务中表现出色，并能够有效地处理稀疏特征。 DeepFM模型由两个部分组成：因子分解机（Factorization Machine）和深度神经网络（Deep Neural Network）。 因子分解...
【AAAI 2024】解锁深度表格学习（Deep Tabular Learning）的关键：算术特征交互
近日，阿里云人工智能平台PAI与浙江大学吴健、应豪超老师团队合作论文《Arithmetic Feature Interaction is Necessary for Deep Tabular Learning》正式在国际人工智能顶会AAAI-2024上发表。本项工作聚焦于深度表格学习中的一个核心问题：在处理结构化表格数据（tabular data）时，深度模型是否拥有有效的归纳偏差（inductive b...
【推荐算法系列六】Wide&Deep模型
文章目录 参考资料 模型结构模型的记忆能力模型的泛化能力问题 参考资料 见微知著，你真的搞懂Google的Wide&Deep模型了吗？keras实现的代码参考 模型结构 它是由左侧的 Wide 部分和右侧的 Deep 部分组成的。Wide 部分的结构太简单了，就是把输入层直接连接到输出层，中间没有做任何处理。Deep 层的结构稍复杂，就是 Embedding+MLP 的模型结构。 Wide 部分的主要作...
【DeepStream】基于英伟达DeepStream框架进行算法开发（二）：推理基础流程
>nvvideoconvert->nvdsosd->capsfilter->nvv412h264enc->h264parse->rtph264pay->udpsink 数据流描述了使用 NVIDIA DeepStream SDK 构建的视频处理管道，用于从 NVIDIA 相机模块（通常是 CSI 相机）获取视频流，进行实时推断，并将推理结果叠加在视频上，最终将处理后的视频流以 H.264 编码的 RTP ...
机器学习开源分子生成系列(1)-DeepFrag的本地部署及使用
文章目录 前言一、DeepFrag是什么？二、conda中安装DeepFrag CLI环境1. 创建环境并激活2. 下载pre-trained model3. DeepFrag CLI 使用方法必需参数：可选参数： 4. DeepFrag CLI 使用案例4.1 片段替换4.2 片段添加 总结参考资料 前言 本文提供了开源程序DeepFrag的在本地conda版本的部署及使用方法，满足用户避免数据上传到...
深度Q网络（Deep Q-Network, DQN）
深度Q网络（Deep Q-Network, DQN）是一种结合了深度学习和强化学习的方法，用于解决序列决策问题。它是一种端到端的学习方法，可以直接从原始输入（如像素）中学习如何映射到动作值（即策略），而不需要任何手工特征工程。DQN最初由DeepMind在2015年提出，并在多款Atari 2600游戏上展示了其超人的性能，开启了深度学习在强化学习领域的应用热潮。 基本概念 在强化学习框架中，一个智能体（...