linux - 在两个IP地址上设置一个分布式分布式调度程序?

(图片来自一些旧的dask分发文档,我认为0.7的情况显然比现在少了。)一切都是64位Linux(Debian 8“jessie”),我正在使用安装在anaconda环境中的dask版本0.14.0和分布式版本1.16.0。dask-scheduler命令行工具似乎没有办法做多个主机名,我认为这是我想要的。我可以通过SSH端口转发获得想要的效果。例如,假设相关接口(interface)是机器worker...

algorithm - 在分布式系统中达成共识的更快的Paxos相关算法是什么?

我读过兰波特关于帕克斯的文章。我也听说它在实践中并没有得到太多的应用,因为性能的原因。在分布式系统中,哪些算法通常用于一致性? 最佳答案 不确定这是否有用(因为这不是来自实际的生产信息),但在我们的“分布式系统”课程中,我们学习了paxos、chandra toueg和mostefaoui raynal算法(后者我们的教授特别喜欢)。 ...

hadoop - 访问Pig StoreFunc中的分布式缓存

我查看了有关该主题的所有其他主题,但仍未找到答案。简而言之,我想从Pig StoreFunc访问hadoop分布式缓存,而不是直接从UDF内部访问。相关的PIG代码行:DEFINE CustomStorage KeyValStorage('param1','param2','param3');...STORE BLAH INTO /path/ using CustomStorage();相关的Ja...

amazon-ec2 - 将新卷添加到伪分布式Hadoop节点时静默失败

我正在尝试通过在dfs.name.dir中的hdfs-site.xml中添加卷的位置来向Hadoop伪分布式节点中添加新卷,并且我可以在此位置看到锁定文件-但我尝试了一下,似乎在加载时文件(使用配置单元)几乎不使用这些位置(即使出现了锁定文件和一些子文件夹。因此Hadoop显然可以访问它们)。当主卷接近用完空间时,出现以下异常:Failed with exception java.io.IOExcept...

java - 使用RMI在分布式系统上使用Apache Shiro的正确方法?

                           6年前关闭。                                我正在寻找有关如何使用Java RMI将Apache Shiro实施为分布式系统(客户端-服务器)一部分的指南/技巧。我已经看过这个线程的答案:How to organize RMI Client-Server architecture,我正在考虑使用类似的东西。我计划的是一...

distributed - OrientDB嵌入式和分布式

程序中以嵌入式模式使用OrientDB。同时,我必须将此java-groovy应用程序分发到多台计算机中。问题是:是否可以从所有计算机访问相同的数据库?换句话说:在OrientDB中是否有嵌入式模式的分布式数据库?谢谢 最佳答案 我知道我稍后会回答这个问题,但是我希望这将有助于其他人搜索同一问题:我可以在启用群集(分布)的情况下以嵌入式模式运行OrientDB。下面是完整的代码System.setPro...

java - 使用分布式缓存的Mapreduce程序(Java)

嗨,我是Hadoop Mapreduce编程的新手。实际上,我有如下要求:较大的文件,即输入文件input.txt101 Vince 12000 102 James 33 103 Tony 32 104 John 25 105 Nataliya 19 106 Anna 20 107 Harold 29这是较小的文件lookupfile.txt101 Vince 12000 102 James 1000...

java - 为分布式系统中的每个请求生成唯一的ID

我正在尝试为DS中的每个请求生成唯一的ID。我正在考虑连接请求接收的随机整数和时间戳。因为获取随机整数会导致负值,所以我决定打印十六进制表示形式: String randomPrefix = Integer.toHexString(RANDOM.nextInt()).toUpperCase(); java.util.Date date = new java.util.Date(); String tim...

linux - 就我而言,良好的分布式通用文件系统?

我一直在研究将分布式文件系统与专用服务器一起使用而不是与Amazon S3一起使用的想法,结果无非是令人头疼!我的项目具有以下特征/要求:用户文件存储在专用服务器中。每个文件存储在2个不同的计算机中,这些计算机位于不同的数据中心(彼此之间150-200英里)我正在使用Amazon RDS托管关联的mysql数据库(*)。相当紧凑(仅保留ID/文件元数据)文件/数据约为50TB。自然,数据确实会改变,并且...

algorithm - 分布式算法设计

我一直在读算法入门,开始有一些想法和问题出现在我的脑海中。最让我困惑的是,如何设计一种算法来调度分布式队列中的项目/消息。我的想法引导我浏览维基百科的主题,比如排序、消息队列、sheduling、分布式哈希表等等。场景:假设您希望有一个将消息(例如字符串或某个序列化对象)排队的系统。该系统的一个关键特性是避免任何单点故障。系统必须分布在某个集群内的多个节点上,并且必须一致地(或尽可能最好地)甚至是集群内...
© 2021 LMLPHP 关于我们 联系我们 友情链接 耗时0.014955(s)
2021-09-24 01:18:46 1632417526