基于RDIv1.0,主要增加三个模块:
业务日志解析:支持业务数据增量定制,弥补数据库日志挖掘机制不足;
消息存储引擎:消息存储机制,提升消息队列动态扩容能力和性能;
数据加载器:批量数据写机制,提升列式数据库写入效率;
参考实现:
数据库日志挖掘工具
LinkIn:Databus+Kafaka
Taobao:TimeTunnel
业务日志挖掘工具
Fackbook: Scribe
Cloudera: Flume
Hadoop: Chukwa
消息存储引擎:
Taobao:metamorphosis
ActiveMQ:kahaDB
相关文章