分布式ID（3）：雪花算法生成ID之UidGenerator（百度开源的分布式唯一ID生成器）
1 UidGenerator官方地址 UidGenerator源码地址： https://github.com/baidu/uid-generator UidGenerator官方说明文档地址： https://github.com/baidu/uid-generator/blob/master/README.zh_cn.md 这边只做简单介绍，详细说明请看官方说明文档。 2 Snowflake算法 S...
【工作技术栈】基于注解的redis分布式锁（支持SPEL细粒度+redisson可重入功能）
这里写目录标题 前言基于注解的reids分布式锁感悟 前言 刚开始我们使用的redis工具是自己写的，因为觉得redisson没必要（其实是没有人想因为自己不懂redisson导致线上问题吧。。。毕竟公共组件） 恰好这次有一个需求是我来接，大致介绍一下： 首先有一个大的蓄水池（化名），当用户要喝水的时候，就从蓄水池拿出来一部分（订购），如果没用完就将剩下的水倒回去（退订），很显然多个用户对蓄水池进行操...
深入理解ZooKeeper分布式锁
第1章：引言 分布式系统，简单来说，就是由多台计算机通过网络相连，共同完成任务的系统。想象一下，咱们平时上网浏览网页、看视频，背后其实都是一大堆服务器在协同工作。这些服务器之间需要协调一致，保证数据的一致性和完整性，这就是分布式系统的挑战之一。 在这种环境下，锁就显得尤为重要了。为什么呢？因为在多个进程或者线程同时访问同一资源的时候，如果不加控制，就会造成数据混乱，比如同一时间两个线程都试图修改同一个...
基于Skywalking开发分布式监控（一）
下搭建监控系统遇到的难点和解决方案。 说明： 本文的代码均由本地演示代码替代，非实际代码 为啥选skywalking，因为由于微服务分成多个团队在开发，有平台，有应用，日志分析已经力不从心，下决心引入分布式监控，skywalking对我们来说有两个基本好处，1） 代码入侵非常低（最后仅仅在多线程跟踪，加了几处装饰器），监控基本可以独立安排版本或者变更，这对管理友好 2） Agent+插件模式对应用性能影...
分布式环境下流控技术汇总
本篇主要是对分布式环境流控技术、原理、使用场景做个简要的汇总，包括：固定时间窗口算法，滑动时间窗口算法，漏桶算法，令牌桶算法，分布式消息中间件，流控与熔断利器Sentinel。 1. 前言 在流量控制系列文章中的前六篇，分别介绍了固定时间窗口算法、滑动时间窗口算法、漏桶原理、令牌桶、消息中间件、Sentinel如何应用到分布式环境下的流量与并发控制。 这里再次对这几个做一个简单回顾，知道工具箱里面的不同...
分布式深度学习中的数据并行和模型并行
( x t ) x_{t+1}=x_t-\gamma G_t\left(x_t\right) xt+1=xt−γGt(xt)更新模型参数。训练深层模型非常耗时，尤其是对于大型模型或数据集。使用分布式训练技术，利用多个处理器来加速训练过程变得很常见。 二、数据并行 数据并行是在不同设备上放置完整的模型，然后将数据划分在每个设备并行计算，如下图所示。 数据并行性是深度学习中普遍存在的一种技术，对每个...
Leaf——美团点评分布式ID生成系统
0.普通算法生成id的缺点 1.Leaf-segment数据库方案 第一种Leaf-segment方案，在使用数据库的方案上，做了如下改变： - 原方案每次获取ID都得读写一次数据库，造成数据库压力大。改为利用proxy server批量获取，每次获取一个segment(step决定大小)号段的值。用完之后再去数据库获取新的号段，可以大大的减轻数据库的压力。 - 各个业务不同的发号需求用biz_tag...
精确掌控并发：令牌桶算法在分布式环境下并发流量控制的设计与实现
速度发出去。 代码中还存在的问题： 上述代码只是示例，真实的代码还有很多异常处理，比如队列数据丢失，需要重新处理。暂时只能用于退款，因为退款的时效要求不高。另外，单机只需要开一个线程就行，因为服务器是分布式部署，多个服务器合并起来仍然是多个线程在并发处理。对退款是足够的。 5. 令牌桶使用注意事项 在实际应用中，要考虑以下几点以确保令牌桶算法的有效性和高效性： 合理设置参数：令牌生成的速率和桶的容量需要...
分布式ID（2）：雪花算法生成ID
1 雪花算法简介 这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等，比如在snowflake中的64-bit分别表示如下图（图片来自网络）所示： 41-bit的时间可以表示（1L<<41）/(1000L*3600*24*365)=69年的时间，10-bit机器可以分别表示1024台机器。如果...
分布式Erlang/OTP（学习笔记）（一）
Erlang分布式基础 假设你在机器A和机器B上各跑着一个Simple Cache应用的实例。要是在机器A的缓存上插人一个键/值对之后，从机器B上也可以访问，那可就好了。显然，要达到这个目的，机器A必须以某种方式将相关信息告知给机器B。传递该信息的方式有很多，有些方式简单，有些方式复杂。但无论采用哪种方式，都涉及分布式，因为你需要进行跨机器通信。 Erlang极大地简化了某些类型的分布式编程，用不了几行...