【转】曾鸣分享互联网本质的演讲

大家要了解互联网,明白三个词就够了,一个是“互联网”,第二个词叫“云计算”,第三个词叫“大数据”,大家可能听这三个词都听厌了,但实际上互联网的本质就是这三个词。 ​ 其实英语的互联网是两个词,一个叫Internet,一个叫Web。Internet更偏指类似思科、华为这样的企业,他们建的互联网基础通讯。大家要理解互联网,第一个关键字是联,联接是整个世界的基础。   Internet1.0是PC有线互联网,通过电话、宽带上网。现在比较热的是Internet2.0,是无线互联网,3G,4G, ... More

这是一个要写十年的故事——数据市场

想构建大数据大脑、梳理大数据血缘、探索大数据特征、绘制大数据地图、把握大数据质量、控制大数据生命周期的,想“致力于数据产品化改变中国电子商务进程”的,想献身于“数据分享第一平台”的,想挑战极限的,请私信,或zior.liu@gmail.com jQuery(document).ready(function () { jQuery("a#share_link").click(function () ... More

RDI实时数据集成v2.0

基于RDIv1.0,主要增加三个模块: 业务日志解析:支持业务数据增量定制,弥补数据库日志挖掘机制不足; 消息存储引擎:消息存储机制,提升消息队列动态扩容能力和性能; 数据加载器:批量数据写机制,提升列式数据库写入效率;   参考实现: 数据库日志挖掘工具 LinkIn:Databus+Kafaka Taobao:TimeTunnel 业务日志挖掘工具 Fackbook: Scribe Cloudera: Flume Hadoop: ... More

Redis,Memcached,MongoDB特性比较

mongodb和memcached不是一个范畴内的东西。mongodb是文档型的非关系型数据库,其优势在于查询功能比较强大,能存储海量数据。mongodb和memcached不存在谁替换谁的问题。 和memcached更为接近的是redis。它们都是内存型数据库,数据保存在内存中,通过tcp直接存取,优势是速度快,并发高,缺点是数据类型有限,查询功能不强,一般用作缓存。在一些项目中,一开始用的是memcached,后来用redis替代。 相比memcached: 1、redis具有持久化机制,可以定期将内存中的数据持久化到硬盘上。 2、redis具备binlog功能,可以将所有操作写入日志,当redis出现故障,可依照binlog进行数据恢复。 3、redis支持virtual ... More

[转]大数据下的数据分析平台架构

随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Hadoop平台之上。 Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。本文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。 大数据分析的分类 Hadoop平台对业务的针对性较强,为了让你明确它是否符合你的业务,现粗略地从几个角度将大数据分析的业务需求分类,针对不同的具体需求,应采用不同的数据分析架构。 按照数据分析的实时性,分为实时数据分析和离线数据分析两种。 实时数据分析一般用于金融、移动和互联网B2C等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。 对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据,传统的ETL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的 ... More