分布式与集群的区别
先说区别： 分布式是并联工作的，集群是串联工作的。 分布式中的每一个节点都可以做集群。而集群并不一定就是分布式的。 集群举例：比如新浪网，访问的人很多，他可以做一个集群，前面放一个相应的服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看那一台服务器的负载不是很重，就将给那一台去完成，集群是有组织性的，如果有服务器宕机，其他的服务器可以顶上来。 分布式举例：比如一个查询任务，有两个子...
Java - 分布式逻辑事务的一些轻操作
前提条件 可控业务在不可控业务前不可控业务自己保证数据回滚一致性 设计思路 若可控业务A失败，则不发送给不可控业务B，直接回滚；若可控业务A成功，发送给不可控业务B，B处理完返回标记，B成功，则通过，B失败，则故意报错使得A回滚。Tips：这种业务情况有一个前提就是：当B失败时，B业务里要保证自己的回滚和一致性。...
Redisson分布式锁全解析：从基础到红锁，锁定高并发解决方案
1. 介绍Redisson和分布式锁的概念 1.1 Redisson简介 Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid, IMDG)。它不仅提供了对分布式和可伸缩数据结构的支持，还提供了多种分布式服务，包括但不限于分布式锁、集合、映射、计数器、发布/订阅消息等。Redisson通过利用Redis键的atomic性质，实现了分布式锁等高级...
分布式数据库有哪几种
数据库的发展从早期的单机数据库，到现在的分布式数据库。在单机数据库时代，所有的数据都存储在单机中，随着计算机技术的发展，开始出现了多台计算机联合处理数据的需求，从而诞生了分布式数据库。 分布式数据库是将多个数据库进行整合，通过互联网连接起来。利用互联网技术可以将多台服务器进行集中管理。比如腾讯云就有多个不同类型的数据库产品，如 MySQL、 Oracle、 Redis等等。 分布式数据库的特点 分布式数...
java本地锁与分布式锁-个人笔记 @by_TWJ
. synchronized1.5. volatile 可见性1.6. ReentrantLock 可重入锁1.7. AQS1.8. ReentrantReadWriteLock 可重入读写锁 2. 分布式锁3. 额外的3.1. synchronized 的锁升级原理3.2. synchronized锁原理 1. 本地锁 1.1. 悲观锁与乐观锁 是一种思想，按遇到并发问题概率的思考，分为：乐观锁（很少...
探索设计模式的魅力：分布式模式让业务更高效、更安全、更稳定
🌈 个人主页：danci_ 🔥 系列专栏：《设计模式》 💪🏻 制定明确可量化的目标，坚持默默的做事。 ✨欢迎加入探索分布式模式之旅✨ 在数字化时代，企业面临着前所未有的挑战和机遇。随着数据量的爆炸式增长和处理需求的加速，传统的集中式架构已无法满足现代业务的需求。为此，分布式模式成为了一个热门话题，它承诺带来更高的效率、安全性和稳定性。🌟 但分布式系统真的是万能钥匙吗？让我们深入探讨它的精髓，...
一次pytorch分布式训练精度调试过程
现象: loss不下降 过程如下: 1.减少层数，准备最小复现环境 2.dropout设置为0，重复运行二次，对比loss是否一致 3.第二次迭代开始loss不一致 4.对比backward之后的梯度,发现某一个梯度不一致 5.dump得到所有算子的规模，单算子测试功能正常 6.怀疑是内存越界导致 7.排除通信库的问题，逐算子bypass 8.dump reduce_scatter的输入，发现每次都不...
后端面试---分布式&&微服务
分布式&微服务 分布式1、什么时候用到分布式开发三级目录 微服务 分布式 1、什么时候用到分布式开发 三级目录 微服务 1、谈谈你对微服务的理解，什么时候用微服务 2、若A服务请求B服务B1接口，B1接口又请求A服务的A2接口，会不会有问题...
【分布式通信】NPKit，NCCL的Profiling工具
NPKit介绍 以NCCL为例，如何使用？ Usage NCCL 2.17.1-1版本，将文件夹下的 npkit-for-nccl-2.17.1-1.diff 添加到你的nccl源文件中。 NPKit只有在CPU和GPU没以后overlap的时候使用，所以 NPKIT_FLAGS 也要遵从这个规则。同时 npkit_launcher.sh里面的参数也要对应正确。 nccl_test 和npkit_ru...
Pytorch分布式train——pytorch.distributed.launch V.S. torchrun
1. 较早的pytorch.distributed.launch 参数解析： nnodes：节点（主机）的数量，通常一个节点对应一个主机 node_rank：指的是当前启动的是第几台服务器，从 0 开始。 nproc_per_node：一个节点中显卡的数量 -master_addr：master节点的ip地址，也就是0号主机的IP地址，该参数是为了让 其他节点 知道0号节点的位，来将自己训练的参数传送...