Kafka可以用CMAK(Kafka Manager)监控集群基本信息，但是更加详细的Jmx信息无法展现。可以通过Prometheus + Grafana监控完整的Kafka Jmx信息

Flink Kafka Connecter会根据用户设置自动处理消息的序列化、反序列化；官方默认已经给出了几个序列化实现TypeInformation、Json、Avro，我们可以根据其实现扩展自己的序列化、反序列化类

使用Spark读写SequenceFile时，有时需要根据一定的规则动态生成文件的输出路径，且需要将某一类的数据都输出到同一个Path下，这时就需要使用MultipleSequenceFileOutputFormat

Flume TaildirSource可实时监控当前目录下一批文件，并记录每个文件最新消费位置，flume进程重启后不会有重复消费的问题；但是无法监听当前目录的子目录，要实现多目录的监听就需要配置多个group，无法做到动态识别子目录

当对一个Index的Shards分配过多，原本数据量没有这么大造成资源浪费时。通过Shrink操作可以减少Index的Shards，以下将介绍如何shrink index