【微服务篇】分布式事务方案以及原理详解
分布式事务是指事务参与者、资源服务器、事务管理器分布在不同的分布式系统的多个节点之上的事务。在微服务架构、大型分布式系统和云计算等环境中，由于系统间调用和资源访问的复杂性，分布式事务变得尤为重要。 应用场景 跨系统交易：当交易涉及多个独立的系统或服务时，如电子商务中的订单系统、支付系统和库存系统，需要保证数据的一致性。微服务架构：在微服务架构中，每个微服务可能使用不同的数据库，分布式事务确保了跨服务的...
分布式之缓存详解
缓存设计 导流：将原本复杂的操作请求（sql 大堆），引导到简单的请求上。前人栽树后人乘凉。 缓存：空间换时间的一个做法。 redis, memcached,localcache guava，客户端缓存， user_info_xxxx : 姓名，年龄，xxx。getKey 内存操作 select * from user where id = xxx。 硬盘IO 缓存的收益 成本，收益。 读、写。 位置...
Pytorch多机多卡分布式训练
多机多卡分布式： 多机基本上和单机多卡差不多： 第一台机器（主设备）： torchrun --master_port 6666 --nproc_per_node=8 --nnodes=${nnodes} --node_rank=0 --master_addr=${master_addr} train_with_multi_machine_and_multi_gpu.py 第二台机器（从设备）： tor...
深入了解Hadoop：特性与伪分布式运行进程
引言 Hadoop是一个强大的分布式计算框架，它能够对大规模数据进行可靠、高效和可伸缩的处理。随着数据量的不断增长，企业对于处理大规模数据的需求也越来越高，Hadoop因此成为了大数据处理领域的首选技术。本文将深入探讨Hadoop的特性以及伪分布式运行启动后所具有的进程。 一、Hadoop的特性 1. 高可靠性 Hadoop通过冗余数据存储方式确保数据的可靠性。在Hadoop中，每个数据块都会生成多个副...
分布式之网关介绍
ingIOC ，SpringAOP，SpringmvcSpring Boot原生Java 1.2 网络框架 原生NIOMinaNetty 1.3 注册中心 Zookeeper：Zookeeper是一个分布式协调系统，可以用于服务注册与发现。它提供了一个可靠的分布式数据存储，并支持高可用性和一致性。由于他是强一致所以不适合，大数据量的注册Eureka：Eureka是Netflix开源的服务注册与发现组件，...
分布式锁简单实现
分布式锁 Redis分布式锁最简单的实现 想要实现分布式锁，必须要求 Redis 有「互斥」的能力，我们可以使用 SETNX 命令，这个命令表示SET if Not Exists，即如果 key 不存在，才会设置它的值，否则什么也不做。 两个客户端进程可以执行这个命令，达到互斥，就可以实现一个分布式锁。 客户端 1 申请加锁，加锁成功： 客户端 2 申请加锁，因为它后到达，加锁失败： 此时，加锁成功的...
Spark面试整理-解释什么是RDD（弹性分布式数据集）
弹性分布式数据集（RDD，Resilient Distributed Dataset）是Apache Spark的一个核心概念和基本抽象。它代表了一个不可变、分布式的数据集合，可以在集群的多个节点上并行处理。RDD的设计目标是提高大规模数据处理的效率和容错能力。以下是RDD的一些关键特性： 不可变性：一旦创建，RDD的数据就不能被修改。任何对数据的转换操作都会产生一个新的RDD。这种特性有助于容错和数...
Matlab|基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究
目录 1 主要内容 目标函数 计算步骤 节点系统 2 部分代码 3 程序结果 4 下载链接 1 主要内容 程序完全复现文献《A Distributed Dual Consensus ADMM Based on Partition for DC-DOPF with Carbon Emission Trading》，建立了一个考虑碳排放交易的最优模型，首先，对测试系统（6节点或者30节点或者118节点系统）...
.NET CORE 分布式事务(四) CAP实现最终一致性
目录 引言： 1.0 最终一致性介绍 2.0 CAP 2.0 架构预览 3.0 .NET CORE 结合CAP实现最终一致性分布式事务 3.1 准备工作(数据库，本文使用的是MySql) 3.1.1 数据模型 3.1.2 DbContext 3.1.3 数据库最终生成 3.2 Nuget引入 3.3 appsettings.json 3.4 docker启动一个RabbitMQ 3.5 Progra...
redisson分布式锁
1，引入依赖 <!--redisson--><dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId></dependency> 2，配置redissonConfiguration 3, 例程 @Autowired private RedissonClient redissonClient; @Test...