Kafka可以用CMAK(Kafka Manager)监控集群基本信息,但是更加详细的Jmx信息无法展现。可以通过Prometheus + Grafana监控完整的Kafka Jmx信息
Flink Kafka Split (分流自定义序列化器)
Posted on
|
In
Flink
Flink Kafka Connecter会根据用户设置自动处理消息的序列化、反序列化;官方默认已经给出了几个序列化实现TypeInformation、Json、Avro,我们可以根据其实现扩展自己的序列化、反序列化类
Spark SequenceFile 多路径输出
使用Spark读写SequenceFile时,有时需要根据一定的规则动态生成文件的输出路径,且需要将某一类的数据都输出到同一个Path下,这时就需要使用MultipleSequenceFileOutputFormat
Flume TaildirSource 源码扩展(支持子目录)
Flume TaildirSource可实时监控当前目录下一批文件,并记录每个文件最新消费位置,flume进程重启后不会有重复消费的问题;但是无法监听当前目录的子目录,要实现多目录的监听就需要配置多个group,无法做到动态识别子目录
Elasticsearch 缩减索引Shards
Posted on
|
In
Elasticsearch
,
BigData
当对一个Index的Shards分配过多,原本数据量没有这么大造成资源浪费时。通过Shrink操作可以减少Index的Shards,以下将介绍如何shrink index