大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU 1、归一化模块RMS Norm2、激活函数SwiGLU3、一些思考 上文简单介绍了 Llama 3模型架构。在以后的文章中将逐步学习并记录Llama 3模型中的各个部分。本文将首先介绍归一化模块RMS Norm与激活函数SwiGLU。 1、归一化模块RMS Norm 归一化模块是各个网络结构中必有得...
AutoGen学习笔记系列(三)Tutorial - Agents
这篇文章瞄准的是官方文档中 Tutorial 章节的 Agents 小节,介绍了如何定义与使用Agent。 官网链接:https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/agents.html# ; 【注意】:这篇文章比较长,但涵盖了大部分常用的Agent功能,建议耐心看完。 Agents...
C++Qt学习笔记——实现一个串口通信界面
C++Qt学习笔记——实现一个串口通信界面 一.界面二、项目结构三、头文件1. 文件头部2. 类定义3. 构造函数和析构函数4. 成员函数5. 成员变量 四、代码解析`ReceiveAeraInit` 函数解析SerialHelper 构造函数解析1. 为什么有两个 `SerialHelper`?2. 为什么用 `::` 和 `:`?1. `this` 的作用2. `connect` 的作用1. 接收区...
【C语言设计模式学习笔记1】面向接口编程/简单工厂模式/多态
面向接口编程可以提供更高级的抽象,实现的时候,外部不需要知道内部的具体实现,最简单的是使用简单工厂模式来进行实现,比如一个Sensor具有多种表示形式,这时候可以在给Sensor结构体添加一个enum类型的type,对外部来说都是使用通用的函数来获取相关的Sensor的值: typedef enum SensorType { SensorTypeForce, SensorTypePosition}Se...
OpenGL学习笔记(七):Camera 摄像机(视图变换、LookAt矩阵、Camera类的实现)
空间(View Space)的变换,就是视图变换(View Transformation),实际上是在对摄像机做变换,也即View / Camera Transformation 回顾GAMES101学习笔记(二):Transformation 变换 中的视图变换部分: 如何定义相机: 相机的位置相机的朝向 LookAt相机的向上方向(固定相机,避免相机绕LookAt方向旋转) 视图变换要做的就是把相机设...
爬虫学习笔记之Robots协议相关整理
定义 robots.txt文件的样例 对有所爬虫均生效,只能爬取public目录 User-agent:*Disallow:/Allow:/public/ 禁止所有爬虫访问所有目录 User-agent:*Disallow:/ 允许所有爬虫访问所有目录 User-agent:*Disallow: 禁止所有爬虫访问网站某些目录也可以写做 User-agent:*Disallow:/private...
ACC-UNet网络学习笔记(2023 MICCAI )
摘要 1.背景 说明近十年来的变化——ViT的引入改变了CV的基本模式。同样,医学图像领域也发生了一样的变化,最具影响力的网络结构——U-Net已和Transformer相结合而被重新设计。最近,卷积模型在视觉中的有效性正在被重新研究,比如一些开创性的工作——ConvNeXt,它将ResNet的性能提升到了Swin Transformer一样甚至更高的水平! 2.原因&目的 由此获得灵感,Author打...
C++学习笔记(十六)——函数重载
一、 函数重载 作用: 函数重载(Function Overloading) 是 C++ 允许 的一种特性。 通过区分不同的函数。编译器会根据调用时提供的参数自动选择合适的函数。 特点: 函数名相同,但参数列表不同(参数类型、个数、顺序至少有一个不同)。返回值类型不能作为区分重载的标准。提高代码可读性,简化接口设计。 二、 函数重载的基本语法 语法: 返回类型 函数名(参数1, 参数2, ...);返...
MYSQL学习笔记(六):聚合函数、sql语句执行原理简要分析
前言: 学习和使用数据库可以说是程序员必须具备能力,这里将更新关于MYSQL的使用讲解,大概应该会更新30篇+,涵盖入门、进阶、高级(一些原理分析);这一篇是内容较少,主要讲解:聚合函数和简要介绍sql语句执行过程;虽然MYSQL命令很多,但是自己去多敲一点,到后面忘记了,查一下就可以回忆起来使用了;这一系列也是本人学习MYSQL做的笔记,也是为了方便后面忘记查询;参考资料:尚硅谷、黑马、csdn和知乎...
机器学习学习笔记-20241204-注意力机制和空间归纳偏置
文章目录 空间归纳偏置局部性(Locality)平移不变性(Translation Invariance)空间关系(Spatial Relationships)尺度不变性(Scale Invariance)上下文依赖(Context Dependency)、形状和几何信息(Shape and Geometry) 多头自注意力(Multi-Head Self-Attention)概念机制优点缺点 可分离自...