基于RDIv1.0，主要增加三个模块：
业务日志解析：支持业务数据增量定制，弥补数据库日志挖掘机制不足；
消息存储引擎：消息存储机制，提升消息队列动态扩容能力和性能；
数据加载器：批量数据写机制，提升列式数据库写入效率；
参考实现：
数据库日志挖掘工具
LinkIn:Databus+Kafaka
Taobao:TimeTunnel
业务日志挖掘工具
Fackbook: Scribe
Cloudera: Flume
Hadoop: Chukwa
消息存储引擎：
Taobao：metamorphosis
ActiveMQ:kahaDB
相关文章