【RocketMq系列-02】RocketMq的架构解析和高性能设计
RocketMq系列整体栏目 RocketMq的架构解析和高性能设计 一，RocketMq的架构解析和高性能设计2，rocketmq底层原理2.1，事务的底层实现2.2，如何保证消息不丢失2.3，rocketmq积压问题2.4，如何保证顺序消费2.5，rocketmq的持久化2.6，死信队列2.7，消息的幂等性 3，rocketmq高性能的设计3.1，零拷贝技术3.2，顺序写技术3.3，刷盘机制 一，Rocke...
【RocketMQ系列十四】RocketMQ中消息堆积如何处理
如何解决消息堆积 1. 消息堆积 消息堆积顾名思义就是消息队列中堆积了大量未被处理的消息，主要发生在高并发的场景下，生产者发送消息的速率远大于消费者组消息的速度。在物联网的AIOT场景中比较常见。 在RocketMQ的Console上可以查看某个Topic上消息堆积的情况。 这里有个延迟就表示目前堆积的消息数。 2. 消息堆积出现的原因 消息堆积的本质原因还是消费者消费消息的速度赶不上生产者发送消息的速度。可能的...
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
配置文件修改3. 实现生产者3.1. 编写生产者单元测试 4.实现消费者5. 实现事务消息5.1. 实现事务消息的生产者5.2. 实现本地事务消息 本文将主要介绍在SpringBoot项目中如何集成RocketMQ以实现普通消息和事务消息的。 首先是分别创建生产者的springboot项目 springboot-rocketmq-producer，创建消费者的springboot项目 springboot-ro...
【RocketMQ系列六】RocketMQ事务消息
D不能与其他类型消息的生产者ID共享，与其他类型的消息不同，事务性消息允许向后查询。MQ服务器通过其生产者ID查询客户端。提交给用户目标主题的消息reput可能会失败，目前它取决于日志记录，高可用是由RocketMQ本身的高可用机制来保证的。如果要保证事务消息不丢失，保证事务完整性，推荐使用同步双写机制。 3. 事务消息的实现示例 3.1. 事务消息的消费者 事务消息的消费者与普通消息的消费者基本相同，也就是说事...
【RocketMQ系列四】消息示例-简单消息的实现
文章目录 1. 前言2. 同步消息（生产者）2.1. 测试代码 3. 消费者4. 异步消息5. 单向消息6. 总结 1. 前言 上一篇文章我们介绍了RocketMQ集群的搭建，这篇文章将主要使用RocketMQ测试下简单消息。 2. 同步消息（生产者） 同步消息的话，消费者发布消息之后必须等集群返回成功之后才会发布下一条消息，消息的发布是同步进行的。 2.1. 测试代码 创建生产者 // 1.创建生产者对象 D...
【RocketMQ 系列三】RocketMQ集群搭建（2m-2s-sync）
1.3.配置Host （两台服务器都需要）1.4. 安装jdk（两台服务器都需要）1.5. 关闭防火墙（两台服务器都需要）1.6. 创建数据存储目录（两台服务器都需要） 三、下载与安装配置2.1.下载rocketmq并解压（两天服务器都要）2.2. 环境变量配置（两台服务器都需要）2.3. 配置 rocketmq broker-a (在Master1上操作)2.4. 配置 rocketmq broker-b-s ...
【RocketMQ系列一】初识RocketMQ
文章目录 1、消息队列2、消息队列的应用场景3、RocketMQ的简介4、各类MQ的对比5、RocketMQ的技术架构6、RockerMQ领域模型1. 消息生产2. 消息存储3. 消息消费 参考 1、消息队列 消息队列（Message Queue，下面简称MQ） 是一种用于分布式系统中各节点之间进行消息传输的，独立于平台的软件系统。如果把分布式系统中的各个节点比喻成商家和顾客的话，那么消息中间件就是快递公司。商...
springboot 使用RocketMQ客户端生产消费消息DEMO
创建springboot项目省略 项目依赖 注意：当前客户端版本是 5.1.3 ，安装的rocketmq服务的版本要与其对应 <properties> <java.version>11</java.version> <rocketmq-client-java-version>5.1.3</rocketmq-client-java-version> </properties> <dependencies> <de...
【RocketMQ】数据的清理机制
Store.log.info("it's time to reclaim disk space, " + when); return true; } return false; } 磁盘空间使用判断RocketMQ设定了两个阈值，如果磁盘使用率超过了这些阈值，需要立刻进行清理： diskSpaceWarningLevelRatio：磁盘使用率警戒阈值，默认0.90；diskSpaceCleanForcibly...
【RocketMQ】RocketMQ存储结构设计
字节；消息内容的长度，占4个字节；消息内容，由于消息内容不固定，所以长度不固定；主题名称的长度，占1个字节；主题名称内容，长度不固定；消息属性长度，占2个字节；消息属性内容，长度不固定； RocketMQ一般会保存一个物理偏移量offSet，从CommitLog中获取消息内容。ConsumeQueueRocketMQ在消息存储的时候将消息顺序写入CommitLog文件，如果想根据Topic对消息进...