大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU 1、归一化模块RMS Norm2、激活函数SwiGLU3、一些思考 上文简单介绍了 Llama 3模型架构。在以后的文章中将逐步学习并记录Llama 3模型中的各个部分。本文将首先介绍归一化模块RMS Norm与激活函数SwiGLU。 1、归一化模块RMS Norm 归一化模块是各个网络结构中必有得...
AutoGen学习笔记系列（三）Tutorial - Agents
这篇文章瞄准的是官方文档中 Tutorial 章节的 Agents 小节，介绍了如何定义与使用Agent。 官网链接：https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/agents.html# ； 【注意】：这篇文章比较长，但涵盖了大部分常用的Agent功能，建议耐心看完。 Agents...
C++Qt学习笔记——实现一个串口通信界面
C++Qt学习笔记——实现一个串口通信界面 一.界面二、项目结构三、头文件1. 文件头部2. 类定义3. 构造函数和析构函数4. 成员函数5. 成员变量 四、代码解析`ReceiveAeraInit` 函数解析SerialHelper 构造函数解析1. 为什么有两个 `SerialHelper`？2. 为什么用 `::` 和 `:`？1. `this` 的作用2. `connect` 的作用1. 接收区...
【C语言设计模式学习笔记1】面向接口编程/简单工厂模式/多态
面向接口编程可以提供更高级的抽象，实现的时候，外部不需要知道内部的具体实现，最简单的是使用简单工厂模式来进行实现，比如一个Sensor具有多种表示形式，这时候可以在给Sensor结构体添加一个enum类型的type，对外部来说都是使用通用的函数来获取相关的Sensor的值： typedef enum SensorType { SensorTypeForce, SensorTypePosition}Se...
OpenGL学习笔记（七）：Camera 摄像机（视图变换、LookAt矩阵、Camera类的实现）
空间(View Space)的变换，就是视图变换(View Transformation)，实际上是在对摄像机做变换，也即View / Camera Transformation 回顾GAMES101学习笔记（二）：Transformation 变换 中的视图变换部分： 如何定义相机： 相机的位置相机的朝向 LookAt相机的向上方向（固定相机，避免相机绕LookAt方向旋转） 视图变换要做的就是把相机设...
爬虫学习笔记之Robots协议相关整理
定义 robots.txt文件的样例 对有所爬虫均生效，只能爬取public目录 User-agent:*Disallow:/Allow:/public/ 禁止所有爬虫访问所有目录 User-agent:*Disallow:/ 允许所有爬虫访问所有目录 User-agent:*Disallow: 禁止所有爬虫访问网站某些目录也可以写做 User-agent:*Disallow:/private...
ACC-UNet网络学习笔记（2023 MICCAI ）
摘要 1.背景 说明近十年来的变化——ViT的引入改变了CV的基本模式。同样，医学图像领域也发生了一样的变化，最具影响力的网络结构——U-Net已和Transformer相结合而被重新设计。最近，卷积模型在视觉中的有效性正在被重新研究，比如一些开创性的工作——ConvNeXt，它将ResNet的性能提升到了Swin Transformer一样甚至更高的水平！ 2.原因&目的 由此获得灵感，Author打...
C++学习笔记（十六）——函数重载
一、 函数重载 作用： 函数重载（Function Overloading） 是 C++ 允许 的一种特性。 通过区分不同的函数。编译器会根据调用时提供的参数自动选择合适的函数。 特点： 函数名相同，但参数列表不同（参数类型、个数、顺序至少有一个不同）。返回值类型不能作为区分重载的标准。提高代码可读性，简化接口设计。 二、 函数重载的基本语法 语法： 返回类型 函数名(参数1, 参数2, ...);返...
MYSQL学习笔记(六)：聚合函数、sql语句执行原理简要分析
前言： 学习和使用数据库可以说是程序员必须具备能力，这里将更新关于MYSQL的使用讲解，大概应该会更新30篇+，涵盖入门、进阶、高级(一些原理分析);这一篇是内容较少，主要讲解：聚合函数和简要介绍sql语句执行过程；虽然MYSQL命令很多，但是自己去多敲一点，到后面忘记了，查一下就可以回忆起来使用了；这一系列也是本人学习MYSQL做的笔记，也是为了方便后面忘记查询；参考资料：尚硅谷、黑马、csdn和知乎...
机器学习学习笔记-20241204-注意力机制和空间归纳偏置
文章目录 空间归纳偏置局部性（Locality）平移不变性（Translation Invariance）空间关系（Spatial Relationships）尺度不变性（Scale Invariance）上下文依赖（Context Dependency）、形状和几何信息（Shape and Geometry） 多头自注意力（Multi-Head Self-Attention）概念机制优点缺点 可分离自...