唯笑志在-专注物联网和系统集成建设【物联网&集成技术 QQ群:5

唯笑志在-专注物联网和系统集成建设【物联网&集成技术 QQ群:5


     CPU:4核 I5-7400 2.7GHz,内存:16G,随机数据点时间窗口和计算算子,主节点CPU和内存使用情况:15%-35%、1500MB-2048MB, 工作节点CPU和内存使用情况:0.1%-2.5%、18MB-30MB。运行效果,如下图:

[开源地址] 放弃Flink,.NET5.0开发CSharpFlink,简要设计、部署及二次开发说明。-LMLPHP

     本机部署1个主节点,10个计算节点。主节点生成10万个数据点的计算任务,每个数据点1秒钟产生一个新数据,计算时间窗口的最大值、最小值、平均值或和值。

     聚合计算类型:

计算统计:CSharpFlink.Core.Window.Operator.Avg:25003
计算统计:CSharpFlink.Core.Window.Operator.Max:24892
计算统计:CSharpFlink.Core.Window.Operator.Sum:25133
计算统计:CSharpFlink.Core.Window.Operator.Min:24972

     数据点时间窗口统计:

窗口统计:60秒窗口:25015
窗口统计:5秒窗口:24976
窗口统计:3600秒窗口:25130
窗口统计:300秒窗口:24879

    如下图:

[开源地址] 放弃Flink,.NET5.0开发CSharpFlink,简要设计、部署及二次开发说明。-LMLPHP

     如下图:

 [开源地址] 放弃Flink,.NET5.0开发CSharpFlink,简要设计、部署及二次开发说明。-LMLPHP

(1)MaxDegreeOfParallelism:任务并行度,主节点生成任务、工作节点处理任务依赖这个参数。

(2)MasterListenPort:主节点侦听端口,用于工作节点主动连接。

(3)MasterIp:主节点IP,用于工作节点主动连接。

(4)NodeType:节点运行模式,包括:Master、Slave和Both。

(5)RemoteInvokeInterval:远程调用工作节点间隔时间,单位:毫秒。

(6)RepeatRemoteInvokeInterval:调用工作节点失败后,重新调用工作节点间隔时间,单位:毫秒。

(7)SlaveExcuteCalculateInterval:工作节点执行计算任务间隔时间,单位:毫秒。

(8)MaxFrameLength:主节点和工作节点之间传输数据最大数据侦,单位:字节。

(9)WorkerPower:工作节点能力系数,大于1,会连续发送多个任务。

        “mastercache”是主节点计算任务的缓存,完成即时让计算节点消费掉,部署结构示意,如下图:

[开源地址] 放弃Flink,.NET5.0开发CSharpFlink,简要设计、部署及二次开发说明。-LMLPHP

          测试演示,如下图:

[开源地址] 放弃Flink,.NET5.0开发CSharpFlink,简要设计、部署及二次开发说明。-LMLPHP


 物联网&大数据技术 QQ群:54256083

 物联网&大数据合作 QQ群:727664080

 网站:http://www.ineuos.net

 联系QQ:504547114

 合作微信:wxzz0151

 官方博客:https://www.cnblogs.com/lsjwq

 iNeuOS工业互联网操作系统 公众号

11-20 23:20