范文无忧网范文学习范文大全

大数据平台的软件有哪些

03月28日 编辑 fanwen51.com

[大数据是什么意思?哪些软件适合大数据分析]"大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。...+阅读

大数据平台的软件有哪些

一、Phoenix

这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。

Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。

二、Presto

Facebook开源的数据查询引擎Presto ,可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发,目前该项目已经在超过 1000 名 Facebook 雇员中使用,运行超过 30000 个查询,每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Reduce 要好上 10 倍有多。

Presto 当前支持 ANSI SQL 的大多数特效,包括联合查询、左右联接、子查询以及一些聚合和计算函数;支持近似截然不同的计数(DISTINCT COUNT)等。

三、Shark

Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()这样的API,把HQL得到的结果集,继续在scala环境下运算,支持自己编写简单的机器学习或简单分析处理函数,对HQL结果进一步分析计算。

延伸阅读:

数据课程基础内容有哪些第一阶段:大数据技术入门1大数据入门:介绍当前流行大数据技术,数据技术原理,并介绍其思想,介绍大数据技术培训课程,概要介绍。2Linux大数据必备:介绍Lniux常见版本,VMware虚拟机安装...

数据有哪些优势第 一、突破科学理论 大数据的发展十分快速,对于目前已经飞速发展并且极具影响力的互联网一样,对于社会的各个行业来说都是一个新的技术革命,其相关技术的普及,对于科学技术上的...

数据挖掘通常用哪些软件1.RapidMiner 只要是从事开源数据挖掘相关的业内人士都知道,RapidMiner在数据挖掘工具榜上虎踞榜首,叫好叫座。是什么让RapidMiner得到如此厚誉呢?首先,RapidMiner功能强大,它除...

数据在电力行业的应用前景有哪些数据是指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。 大数据已经渗透到每一个行业和业务职能领域,并逐渐成为重要...

如何创建一个大数据平台未至科技数据中心解决方案是以组织价值链分析模型为理论指导,结合组织战略规划和面向对象的方法论,对组织信息化战略进行规划重造立足数据,以数据为基础建立组织信息化标准,提供...

如何设计企业级大数据分析平台统企业的OLAP几乎都是基于关系型数据库,在面临“大数据”分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉。 突破设...

如何构建低延时大数据系统平台金融大数据系统对低时延的处理技术,这些技术可以扩展到很多其他行业。主要包含数据采集前端及中间的处理部分也涉及到系统架构建设的一些分享。 大数据和时间相关的一个重要...

保险展业平台有哪些多家平台有你钟意的吗保险网上展业有不少,针对保险代理人和针对保险业务公司的都有。选择一个专业的保险展业平台,不仅可以帮助大家拓展业务,也能降低成本。希财小编从市面上的众多保险展业平台中,选...

网约车平台有哪些平台滴滴出行、神州专车、首汽约车、易到专车、美团专车、AA拼车、曹操专车、T3出行、1号专车等。 1、滴滴出行:滴滴出行是涵盖出租车、专车、滴滴快车、顺风车、代驾及大巴等多...

推荐阅读
图文推荐
栏目列表