18. 权重衰退的代码的从零实现和简洁实现
), d2l.evaluate_loss(net, test_iter, loss))) print('w的L2范数：', net[0].weight.norm().item()) 这些图看起来和我们从零开始实现权重衰减时的图相同。 然而，它们运行得更快，更容易实现。 对于更复杂的问题，这一好处将变得更加明显。 train_concise(0) train_concise(3) ...
深度学习实践方法论：从零到一搭建一个深度学习系统要综合考虑哪些策略？
文章目录 性能度量默认的基准模型决定是否收集更多数据选择超参数手动调整半自动搜索网格搜索随机搜索 调试策略References 性能度量 对于大多数应用而言，我们都不可能实现绝对的零误差，即使我们有无限多的训练数据。当然，通常我们的训练数据数量都有一定限制，进一步增多训练数据可能会进一步减少误差，但也会耗费更多的时间、$$ 等，因此，我们需要在两者之间做出权衡。 在工程应用中，一个合理的性能期望可能...
深度学习入门（五十七）循环神经网络——循环神经网络从零开始实现
深度学习入门（五十七）循环神经网络——循环神经网络从零开始实现 前言循环神经网络——循环神经网络从零开始实现教材1 独热编码(one-hot)2 初始化模型参数3 循环神经网络模型4 预测5 梯度裁剪6 训练7 小结 前言 核心内容来自博客链接1博客连接2希望大家多多支持作者 本文记录用，防止遗忘 循环神经网络——循环神经网络从零开始实现 教材 在本节中，我们将根据循环神经网络一节中的描述， 从头开...
从零开始的深度学习之旅(2)
目录 深层神经网络1. 异或门问题1.1 异或代码实现 2.神经网络的层2.1 去除激活函数的异或门2.2 使用sigmoid函数的异或门 3.从0实现深度神经网络的正向传播 深层神经网络 1. 异或门问题 在第一篇的博客中,我们使用代码实现了与门 import torchX = torch.tensor([[1,0,0],[1,1,0],[1,0,1],[1,1,1]], dtype = tor...
【Transformers】第 10 章 ：从零开始训练 Transformer
文章目录 在本文的开头段落中，我们提到了一个名为 GitHub Copilot 的复杂应用程序，它使用类似 GPT 的转换器来执行代码自动完成，这一功能在使用新语言或框架编程或学习编码或自动生成时特别有用样板代码。其他为此使用 AI 模型的产品包括TabNine和 Kite。后来，在第 5 章中，我们仔细研究了如何使用 GPT 模型生成高质量的文本。在本章中，我们将结束循环并构建我们自己的类似 GP...
自然语言处理从零到入门 BERT
BERT | Bidirectional Encoder Representation from Transformers 什么是 BERT？参考 什么是 BERT？ BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在...