RDI实时数据集成v2.0

基于RDIv1.0,主要增加三个模块:

业务日志解析:支持业务数据增量定制,弥补数据库日志挖掘机制不足;

消息存储引擎:消息存储机制,提升消息队列动态扩容能力和性能;

数据加载器:批量数据写机制,提升列式数据库写入效率;

rdi

 

参考实现:

数据库日志挖掘工具

LinkIn:Databus+Kafaka

Taobao:TimeTunnel

业务日志挖掘工具

Fackbook: Scribe

Cloudera: Flume

Hadoop: Chukwa

消息存储引擎:

Taobao:metamorphosis

ActiveMQ:kahaDB

 

 

Tagged , . Bookmark the permalink.

Leave a Reply

Your email address will not be published. Required fields are marked *