我想设计一个具有向 Kafka 发送消息的应用程序浏览器的系统。消费者应该以 avro 格式将事件写入 HDFS。
这应该怎么看？
什么时候是确认消息的好时机？
我究竟如何附加到 hdfs 文件？我读过关于 cdk 的文章，它看起来像是在朝着好的方向发展。我不能的是如何/何时刷新记录。
有没有人有一个很好的例子？
最佳答案
您是否考虑过将 nathanmarz 的 storm 与 Kafka 一起使用。 Kafka 有一个很好的集成支持，名为 Kafka Spout，它从 Kafka 队列(主题)中提取数据并输入到 Storm 拓扑中。然后，您可以使用 Storm bolt 轻松执行几乎任何操作，甚至可以写入 HDFS。
对于示例，您可以通过以下项目快速浏览，希望这能给您一些启发
Kafka-hadoop loader
kafka-hadoop consumer
也看看 this article 谈论 Kafka 与 HDFS 交互
关于hdfs - 从 kafka 写入 hdfs(使用 cloudera cdk？)，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/19561353/