分布式锁—4.Redisson的联锁和红锁
场景比如锁定一个库存 + 锁定一个订单 + 锁定一个积分，一次性锁定多个资源，这些被锁定的多个资源都不能让其他线程随意修改。然后当前线程一次性更新这些资源后，再逐一释放多个锁。 二.Redisson分布式锁是支持MultiLock机制的可以将多个锁合并为一个大锁，对大锁进行统一的加锁申请以及锁释放。即一次性锁定多个资源，再去处理一些事情，然后处理完后再一次性释放所有资源对应的锁。 三.Redisso...
【分布式理论14】分布式数据库存储：分表分库、主从复制与数据扩容策略
方式3. MySQL实现主从复制4. MySQL主从复制实践与高可用方案 三、数据扩容 随着业务的不断发展和数据量的增长，传统的单机关系型数据库已经逐渐不能满足高效存储和快速访问的需求。在这种背景下，分布式数据库存储成为了解决这些问题的重要策略。通过分表分库、主从复制以及数据扩容等技术，分布式数据库可以提高存储的可扩展性、性能和可靠性。接下来，我们将详细介绍这些关键策略及其应用。 一、分表分库 1. 数...
【分布式理论11】分布式协同之分布式事务（一个应用操作多个资源）：从刚性事务到柔性事务的演进
文章目录 一. 什么是分布式事务？二. 分布式事务的挑战三. 事务的ACID特性四. CAP理论与BASE理论1. CAP理论1.1. 三大特性1.2. 三者不能兼得 2. BASE理论 五. 分布式事务解决方案1. 两阶段提交（2PC）2. TCC（Try-Confirm-Cancel） 六. 小结 之前我们了解分布式系统中的互斥问题及其解决方案（分布式锁）。互斥问题讨论的是多个进程对同一个临界资源...
【分布式理论六】分布式调用（4）：服务间的远程调用（RPC）
调用过程 RPC（Remote Procedure Call，远程过程调用）是一种让不同网络节点上的服务相互调用的技术。它的核心目标是屏蔽远程调用的复杂性，使远程服务的调用方式如同本地调用一样简单。在分布式系统中，RPC 通过封装底层网络通信细节，提高了服务调用的可用性和开发效率。 RPC 调用流程包括： 动态代理：客户端通过代理对象调用远程方法。序列化：将请求数据转换为二进制格式，便于传输。协议编码：...
【分布式理论9】分布式协同：分布式系统进程互斥与互斥算法
文章目录 一、互斥问题及分布式系统的特性二、分布式互斥算法1. 集中互斥算法调用流程优缺点 2. 基于许可的互斥算法（Lamport 算法）调用流程优缺点 3. 令牌环互斥算法调用流程优缺点 三、三种算法对比 在分布式系统中，多个应用服务可能会同时访问同一个资源，导致互斥问题的出现。例如，在分布式数据库环境中，多个事务可能同时尝试对同一行数据加锁，导致锁争抢，影响系统性能。为了避免互斥现象，并保证数据...
分布式通信处理层中kafka和Redis的作用
在分布式系统中，Kafka 和 Redis 都是非常重要的组件，但它们在分布式通信处理层中的作用和适用场景有所不同。以下是它们的详细对比和作用分析： Kafka 的作用 Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流处理应用。它在分布式通信处理层中的作用包括： 1. 消息队列 解耦生产者和消费者：Kafka 作为消息队列，解耦了消息的生产者和消费者，生产者只需将消息发送到 Kafka...
【分布式理论10】分布式互斥算法最佳实现：分布式锁的原理与实现
文章目录 一、分布式锁的由来和定义二、用数据库实现分布式锁(不推荐)三、 通过 Redis 缓存实现分布式锁四、 通过 ZooKeeper 实现分布式锁五、 分布式分段加锁：提高并发能力六、结论 一、分布式锁的由来和定义 在分布式系统中，多个进程可能会同时访问同一个临界资源，导致数据竞争问题。例如，在秒杀活动中，多个用户同时下单会导致库存扣减的并发冲突。为了解决这一问题，需要引入分布式锁，确保同一时刻...
【大数据技术】Spark分布式实现词频统计（hadoop+python+spark）
Spark分布式实现词频统计（hadoop+python+spark） 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell） 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） 本机PyCharm远程连接CentOS虚拟机（Python） 搭建完全分布式高可用大数据集群（Scala+Spark） 在阅读本文前，请确保已经阅读过以上4篇文章，成功搭...
【分布式架构理论3】分布式调用（1）：负载均衡
文章目录 零、三种不同的负载均衡一、常见行业负载均衡方案1. 电商与互联网服务2. 金融与支付系统3. 云计算与分布式存储 二、负载均衡策略概述1. 无状态负载均衡（强调公平性）2. 有状态的负载均衡（强调正确性） 三、 总结 零、三种不同的负载均衡 DNS 负载均衡： 以客户端请求应用服务器为例，如下图所示，客户端会将请求的 URL 发送给 DNS 服务器，DNS 服务器根据用户所处的网络区域选择最...
云原生时代，如何构建高效分布式监控系统
文章目录 一.监控现状二.Thanos原理分析SidecarQuerierStoreCompactor 三.Sidecar or ReceiverThanos Receiver工作原理 四.分布式运维架构 一.监控现状 Prometheus是CNCF基金会管理的一个开源监控项目，由于其良好的架构设计和完善的生态，迅速成为了监控领域事实上的标准，尤其是在云原生领域。 Prometheus的优势有很多，服...