RDI实时数据集成v2.0

基于RDIv1.0,主要增加三个模块: 业务日志解析:支持业务数据增量定制,弥补数据库日志挖掘机制不足; 消息存储引擎:消息存储机制,提升消息队列动态扩容能力和性能; 数据加载器:批量数据写机制,提升列式数据库写入效率;   参考实现: 数据库日志挖掘工具 LinkIn:Databus+Kafaka Taobao:TimeTunnel 业务日志挖掘工具 Fackbook: Scribe Cloudera: Flume Hadoop: ... More