Apache IoTDB 系列教程-8:文件同步工具-LMLPHP





某公司有多个电厂,每个电厂内部署了一个 IoTDB,负责监控电厂内多个设备的运行状态。各个电厂间数据不互通。这个时候公司想建一个云平台,汇总所有电厂的数据进行分析(这里有一个前提,云平台的数据分析主要针对长期历史数据,对数据的实时性要求不高)。这时候就可以用这个文件同步工具了。


文件同步工具的定位:将一个 IoTDB 的 Schema 和数据文件(TsFile)同步至另一个 IoTDB 中,同步过程会有一定延迟,具体延迟取决于负载和配置。



通过名字应该能看出来,这个工具的同步粒度是数据文件,而不是每一个数据点。这也就导致同步的最长延迟是一个数据文件的生成耗时(从创建文件到封口)。因为发送端必须等一个文件生成好才会同步,否则传过去半个文件也没法解析。传文件类似 scp,相对同步每条数据的好处就是避免了数据的解析和重新导入。


我们把文件同步涉及到的两个 IoTDB 称为发送端、接收端。



为了更好的理解数据文件的生成耗时,需要简单介绍一下写入流程。


IoTDB 采用了 LSM 结构,数据先写到内存缓冲区 memtable 中,memtable 达到一定大小会落盘,多个 memtable 会对应一个数据文件。


举个例子,某个存储组有 1 个时间序列,写入频率为 1 秒,每个数据点是 16 字节。一个 memtable 大小为 160 字节,TsFile 文件大小为 200 字节。存储组刚开始有一个空的 TsFile 可供写入。


(1)memtable 第一次存满 10 个数据点时,提交一个异步刷盘任务(追加到当前正在写入的 TsFile 中),同时检查 TsFile 大小,这个时候还是 0 字节,先不关文件。


(2)异步的刷盘任务开始执行,刷完之后 TsFile 变成了 200 字节。


(3)memtable 第二次存满 10 个数据点时,提交一个异步刷盘任务,同时检查 TsFile 大小,发现到了 200 字节,于是就标记关文件。


(4)异步刷盘任务开始执行,刷完之后把当前 TsFile 关掉。


在这个例子里,写满 2 个 memtable (20条数据) 关闭一次文件,写入频率为 1 秒,文件的生成耗时是 20 秒左右。



发送端定时检查本地有没有新创建的 Schema 和新生成的完整的数据文件,如果存在,就发给接收端。同步的延迟基本就是 max(同步检查间隔,文件生成耗时)。


在 iotdb-sync-client.properties 配置文件中,有一个参数sync_period_in_second,这个控制发送端检查的频率。假如配置 60 秒,那同步的最长延迟就是 60秒,如果配置 10秒,那延迟就是 20秒(一个文件的生成耗时)。可以看到,同步延迟跟配置有关系,跟写入频率也有关系。


配置文件里的 sync_period_in_second 可以配的比较小,没啥大问题。主要问题是 TsFile 的生成间隔,这个由 memtable_size_threshold 和 tsfile_size_threshold 控制,这两个参数,尤其是 memtable 越大,历史数据查询越快。因此,同步能达到的最低延迟和查询性能之间需要平衡。


一个比较简单的查看自己系统里文件的生成速率,可以到数据目录 data/data/存储组{/分区} 看 .resource 文件的最后修改时间间隔。



在一个机器测试同步,示例脚本为 linux 环境,版本 0.10.1。先下载二进制包,解压缩两遍重命名,一个 sender,一个 receiver。


启动接收端


启动发送端,准备数据


接收端验证数据


如果想自己配置,需要先把 enable_parameter_adapter 置为 false,不然系统会自动调 memtable 和 tsfile 大小。


具体可参考用户手册,也可点阅读原文跳过去。

http://iotdb.apache.org/zh/UserGuide/V0.10.x/System%20Tools/Sync%20Tool.html



文件同步适合对实时性要求没那么高的数据汇总,备份。秒级或分钟级的同步就需要换方案了。在实验中遇到数据没同步过去的,要么是同步的定时检查间隔设置的过长了,要么是文件没关闭,现在还没有定时关文件的机制,需要手动调用 flush。对了,提示一个东西,start-cli.sh 脚本也可以连远端的 iotdb,加上 -h -p -u -pw 参数就行了。


Apache IoTDB 系列教程-8:文件同步工具-LMLPHP

本文分享自微信公众号 - IoTDB漫游指南(Apache-IoTDB)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

07-12 09:38