RDI实时数据集成v2.0

基于RDIv1.0,主要增加三个模块: 业务日志解析:支持业务数据增量定制,弥补数据库日志挖掘机制不足; 消息存储引擎:消息存储机制,提升消息队列动态扩容能力和性能; 数据加载器:批量数据写机制,提升列式数据库写入效率;   参考实现: 数据库日志挖掘工具 LinkIn:Databus+Kafaka Taobao:TimeTunnel 业务日志挖掘工具 Fackbook: Scribe Cloudera: Flume Hadoop: ... More

[转]大数据下的数据分析平台架构

随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Hadoop平台之上。 Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。本文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。 大数据分析的分类 Hadoop平台对业务的针对性较强,为了让你明确它是否符合你的业务,现粗略地从几个角度将大数据分析的业务需求分类,针对不同的具体需求,应采用不同的数据分析架构。 按照数据分析的实时性,分为实时数据分析和离线数据分析两种。 实时数据分析一般用于金融、移动和互联网B2C等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。 对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据,传统的ETL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的 ... More

招聘:用友软件基础技术中心BI平台招聘BI开发工程师

BI市场是一个巨大的、快速变化的、新技术不断得到应用的红海市场,用友BI业务的快速、高效益的成长,需要高端人才的加盟,业务的高速成长期,是自我实现和证明的工作良机,用友集团基础技术中心BI平台诚聘BI开发工程师。招聘人数不限。 岗位职责: 1)参与BI平台开发,包括语义层、OLAP引擎、数据集成、透视表等; 2)跟踪主流BI技术,并应用于产品; 3)撰写功能设计文档; 4)项目支持; 工作能力要求: 1)深入掌握Java编程,有较强的代码能力; 2)熟悉设计模式,有独立模块设计能力; 3)熟练掌握SQL,熟悉Oracle; 4)熟悉国内外主流BI产品、技术架构及特点者优先; 5)有较好的文档撰写能力; 6)1~3年工作经验; 用友基础技术中心提供广阔的发展空间和有竞争力的薪酬待遇。欢迎自荐。推荐有奖。 简历发送至:zior.org@gmail.com jQuery(document).ready(function ... More

Tagged

jPivot导出pdf中文乱码

这个问题主要是由于在打印时找不到对应的中文字体造成的,在jpivot中可以让用户自己定义字体文件,具体操作如下: 1. 将下载的fop-0.93解压。 2. windows中拷贝“黑体”字体到fop解压的目录中。 3. 开始运行中输入cmd 4. 在cmd窗口中输入: 可以看到在fop中根目录下面会生成一个simhei.xml的文件。 5. 拷贝simhei.ttf文件和simhei.xml文件到Tomcat/webapps/jpivot/ ... More

Jpivot mdx查询编辑器输入中文乱码问题

使用jpivot mdx查询编辑器,输入带有中文的查询会返回乱码并报错。究其原因是页面request的content编码格式是iso-8859-1,要一劳永逸的解决此类问题,可以: 1.在web.xml下加入以下代码: <filter> <filter-name>Set Character Encoding</filter-name> <filter-class>com.tonbeller.wcf.charset.CharsetFilter</filter-class> <init-param> <param-name>encoding</param-name> ... More

ROLAP与MOLAP的区别

1。应当在存储方法上,前端建模都是多维方式,而数据存储ROLAP是采用关系数据库方式存储,MOLAP则是使用特有的文件方式存储的,典型的如ESSBASE就可以用这两种方式。 2。 MOLAP   存储模式使得分区的聚合和其源数据的复本以多维结构存储在分析服务器计算机上。    ROLAP   存储模式使得分区的聚合存储在关系数据库的表(在分区数据源中指定)中。    与   MOLAP   ... More