京东金融与KDD2018:如何针对性解决城市计算痛点

时间动态以及时空动态数据。这两个分类标准交叉形成了六种数据类别,城市里存在的所有数据都可以被归类其中。数据的标准化意味着数据通用性的增强,也让系统变得可扩展。 城市计算平台则将时空数据特殊的索引算法和分布式结合,获得性能百倍乃至千倍的提升。京东每天新增数据超过 800 TB,如果没有底层支撑,就没有办法实时运行很多算法。 智能交通 在平台之上是各个应用板块,包括智能交通、智能环保、智能商业等,在为每一个...

一致性 hash 在 DynamoDB 上的应用

便来了解下Dynamo在一致性hash上的应用,熟悉其应用场景以及原理。 一、dynamo特点介绍 dynamo 的中文意思是发电机,意思是像发电机一样,提供源源不断的服务。它是Amazon提供的一个分布式Key/Value存储的NoSQL 数据库,完全托管在云端,支持文档和键值存储模型。 其主要特点是如下: 我觉得dynamo最吸引人的地方就是高度扩展性,以及完全托管,这个会节省开发人员大量的运维工作...

深入分析ZooKeeper的实现原理

ZooKeeper的由来 主要是解决分布式环境下的服务协调问题而产生的,实现ZooKeeper需要做什么? 防止单点故障 所以这个中间件需要考虑到集群,而且这个集群还需要分摊客户端的请求流量 集群存在数据同步和leader节点 如何选举leader节点,leader挂了后的数据恢复 ZooKeeper基于paxos协议衍生出了ZAB协议 leader节点如何保持和别的节点的数据一致性,而且是强一致 分布...

项目优化小计

要大概1分钟。 优化过程: 1、因为试算结果的交付时间特别紧迫,而对项目内部模型处理一知半解,未能很好的查到系统瓶颈,一时不好对项目代码进行处理,因此直接简单的使用Orleans进行封装,采用多台电脑分布式计算,先在客户要求的时间内计算一版结果应对项目推广。 2、通过上述处理,前期推广完成,并采集了自定义的一些日志,结合代码分析,得出结论:模型计算非常快,数据读取较慢,而数据保存从一开始的很快到特别慢且...

细述 hbase 协处理器

版本的(<0.92)Hbase中,统计数据表的总行数,需要使用Counter方法,执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce,能够有效用于数据表的分布式计算。然而在很多情况下,做一些简单的相加或者聚合计算的时候,如果直接将计算过程放置在server端,能够减少通讯开销,从而获得很好的性能提升。于是,HBase在0.92之后引入了协处理器(coproc...

Kafka 详解(一)------简介

在前面几篇博客我们介绍过一种消息中间件——RabbitMQ,本篇博客我们介绍另外一个消息中间件——Kafka,Kafka是由LinkedIn开发的,使用Scala编写,是一种分布式,基于发布/订阅的消息系统,在介绍 kafka 之前,我们首先需要知道为什么会诞生 kafka 。 1、kafka的诞生 假设 A 公司有一个购物网站,随着业务的扩大,网站的访问量越来越大,为了维持网站的运营,部署系统...

解决web高并发概括

现),比如按时间分表或者按用户分表,当把一个表的所有分表都放在一个数据库实例上都满足不了要求的时候,你应该把某些分表存储在新的数据库实例上,这个时候一个表的数据分布到了不同的数据库实例上,这就是所谓的分布式数据库方案了,你需要处理的事情就很复杂了,比如处理分布式事务。 数据库的并发连接数也是有限制的,我们可以用连接池技术来应对,就是保持一定数量的和数据库的连接不断开的长连接,需要连接数据库的时候就从池子...

让看不见的AI算法,助你拿下看得见的广阔市场

的过程所遇到的技术问题,有四个核心:1)CPU / GPU环境的调度和管理复杂。2)AI业务的开发人员们需要一个低门槛的实验平台,使其能够进行快速的探索实验。3)拥有大规模数据的企业,需要工业级大规模分布式训练,来保证算法能够应用于全量数据中。4)企业需要提供低延迟的在线服务。 人工智能最核心的是数据,而数据可以分为两个部分,实时数据和离线数据。个推使用Hive方案进行离线数据的存储,注重数据的容量和扩...

关于Python爬虫种类、法律、轮子的一二三

2.56s 下载完成,49张图片,耗时:2.62s 效果与多进程 + 多线程 爬虫差不多,但是CPU减少了切换线程上下文的开销,而是对每一个协程任务进行监视回调唤醒。使用IO多路复用的底层原理实现。 分布式采集 关于分布式采集将会单独写一章,使用Map-Reduce+redis来实现分布式爬虫。 轮子们,你们辛苦了 现实生活中的爬虫不止上面那些,但是基本的骨架是一样的,对于特定的网站需要制定特定的采集规...

程序员都是吃青春饭的?32岁程序员面试直接被面试官送走,心衰!

没有自己学习规划的,技术杂需要全面提升自己的人群学习 工作一到五年的Java工程师朋友们可以加入Java架构开发:760940986群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利...
关于我们 联系我们 友情链接 LMLPHP后院 
本站由 LMLPHP 强力驱动 ©2014-2019 LMLPHP 耗时0.088449(s)
2019-08-25 08:41:13 1566693673