Hadoop和大数据：60款顶级开源工具
日期: 17:05:36
来源：csdn
Hadoop和大数据：60款顶级开源工具
虽然此文尽力做到全面，但难免遗漏，欢迎大家补充，点击文末右下角“写评论”，分享你的观点。
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率（CAGR）高速增长；到2020年，市场产值会超过10亿美元。IBM更是非常看好开源大数据工具，派出了3500名研究人员开发Apache Spark，这个工具是Hadoop生态系统的一部分。
这回我们推出了最新的顶级开源大数据工具排行榜。这个领域最近方兴未艾，许多新项目纷纷启动。许多最知名的项目由Apache基金会管理，与Hadoop密切相关。
请注意：本文不是要搞什么排名；相反，项目按类别加以介绍。与往常一样，要是你知道另外的开源大数据及/或Hadoop工具应该榜上有名，欢迎留言交流。
一、Hadoop相关工具
Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://hadoop.apache.org
作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用REST（代表性状态传输协议）的API。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://ambari.apache.org
这个Apache项目提供了数据序列化系统，拥有丰富的数据结构和紧凑格式。模式用JSON来定义，它很容易与动态语言整合起来。
支持的操作系统：与操作系统无关。
相关链接：http://avro.apache.org
4. Cascading
Cascading是一款基于Hadoop的应用程序开发平台。提供商业支持和培训服务。
支持的操作系统：与操作系统无关。
相关链接：http://www.cascading.org/projects/cascading/
Chukwa基于Hadoop，可以收集来自大型分布式系统的数据，用于监控。它还含有用于分析和显示数据的工具。
支持的操作系统：Linux和OS X。
相关链接：http://chukwa.apache.org
Flume可以从其他应用程序收集日志数据，然后将这些数据送入到Hadoop。官方网站声称：“它功能强大、具有容错性，还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。”
支持的操作系统：Linux和OS X。
相关链接：https://cwiki.apache.org/confluence/display/FLUME/Home
HBase是为有数十亿行和数百万列的超大表设计的，这是一种分布式数据库，可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable，不过基于Hadoop和Hadoop分布式文件系统（HDFS）而建。
支持的操作系统：与操作系统无关。
相关链接：http://hbase.apache.org
8. Hadoop分布式文件系统（HDFS）
HDFS是面向Hadoop的文件系统，不过它也可以用作一种独立的分布式文件系统。它基于Java，具有容错性、高度扩展性和高度配置性。
支持的操作系统：Windows、Linux和OS X。
相关链接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html
Apache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据，这是一种类似SQL的语言。
支持的操作系统：与操作系统无关。
相关链接：http://hive.apache.org
10. Hivemall
Hivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩展性算法，可用于数据分类、递归、推荐、k最近邻、异常检测和特征哈希。
支持的操作系统：与操作系统无关。
相关链接：/myui/hivemall
11. Mahout
据官方网站声称，Mahout项目的目的是“为迅速构建可扩展、高性能的机器学习应用程序打造一个环境。”它包括用于在Hadoop MapReduce上进行数据挖掘的众多算法，还包括一些面向Scala和Spark环境的新颖算法。
支持的操作系统：与操作系统无关。
相关链接：http://mahout.apache.org
12. MapReduce
作为Hadoop一个不可或缺的部分，MapReduce这种编程模型为处理大型分布式数据集提供了一种方法。它最初是由谷歌开发的，但现在也被本文介绍的另外几个大数据工具所使用，包括CouchDB、MongoDB和Riak。
支持的操作系统：与操作系统无关。
相关链接：http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
这种工作流程调度工具是为了管理Hadoop任务而专门设计的。它能够按照时间或按照数据可用情况触发任务，并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。
支持的操作系统：Linux和OS X。
相关链接：http://oozie.apache.org
Apache Pig是一种面向分布式大数据分析的平台。它依赖一种名为Pig Latin的编程语言，拥有简化的并行编程、优化和可扩展性等优点。
支持的操作系统：与操作系统无关。
相关链接：http://pig.apache.org
企业经常需要在关系数据库与Hadoop之间传输数据，而Sqoop就是能完成这项任务的一款工具。它可以将数据导入到Hive或HBase，并从Hadoop导出到关系数据库管理系统（RDBMS）。
支持的操作系统：与操作系统无关。
相关链接：http://sqoop.apache.org
作为MapReduce之外的一种选择，Spark是一种数据处理引擎。它声称，用在内存中时，其速度比MapReduce最多快100倍；用在磁盘上时，其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://spark.apache.org
Tez建立在Apache Hadoop YARN的基础上，这是“一种应用程序框架，允许为任务构建一种复杂的有向无环图，以便处理数据。”它让Hive和Pig可以简化复杂的任务，而这些任务原本需要多个步骤才能完成。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://tez.apache.org
18. Zookeeper
这种大数据管理工具自称是“一项集中式服务，可用于维护配置信息、命名、提供分布式同步以及提供群组服务。”它让Hadoop集群里面的节点可以彼此协调。
支持的操作系统：Linux、Windows（只适合开发环境）和OS X（只适合开发环境）。
相关链接：http://zookeeper.apache.org
二、大数据分析平台和工具
Disco最初由诺基亚开发，这是一种分布式计算框架，与Hadoop一样，它也基于MapReduce。它包括一种分布式文件系统以及支持数十亿个键和值的数据库。
支持的操作系统：Linux和OS X。
相关链接：http://discoproject.org
作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。
支持的操作系统：Linux。
相关链接：
21. Lumify
Lumify归Altamira科技公司（以国家安全技术而闻名）所有，这是一种开源大数据整合、分析和可视化平台。你只要在Try.Lumify.io试一下演示版，就能看看它的实际效果。
支持的操作系统：Linux。
相关链接：http://www.jboss.org/infinispan.html
22. Pandas
Pandas项目包括基于Python编程语言的数据结构和数据分析工具。它让企业组织可以将Python用作R之外的一种选择，用于大数据分析项目。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://pandas.pydata.org
Storm现在是一个Apache项目，它提供了实时处理大数据的功能（不像Hadoop只提供批任务处理）。其用户包括推特、美国天气频道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他许多公司。
支持的操作系统：Linux。
相关链接：https://storm.apache.org
三、数据库/数据仓库
24. Blazegraph
Blazegraph之前名为“Bigdata”，这是一种高度扩展、高性能的数据库。它既有使用开源许可证的版本，也有使用商业许可证的版本。
支持的操作系统：与操作系统无关。
相关链接：/bigdata
25. Cassandra
这种NoSQL数据库最初由Facebook开发，现已被1500多家企业组织使用，包括苹果、欧洲原子核研究组织（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他机构。它能支持超大规模集群；比如说，苹果部署的Cassandra系统就包括75000多个节点，拥有的数据量超过10 PB。
支持的操作系统：与操作系统无关。
相关链接：http://cassandra.apache.org
26. CouchDB
CouchDB号称是“一款完全拥抱互联网的数据库”，它将数据存储在JSON文档中，这种文档可以通过Web浏览器来查询，并且用JavaScript来处理。它易于使用，在分布式上网络上具有高可用性和高扩展性。
支持的操作系统：Windows、Linux、OS X和安卓。
相关链接：http://couchdb.apache.org
27. FlockDB
由推特开发的FlockDB是一种非常快、扩展性非常好的图形数据库，擅长存储社交网络数据。虽然它仍可用于下载，但是这个项目的开源版已有一段时间没有更新了。
支持的操作系统：与操作系统无关。
相关链接：/twitter/flockdb
28. Hibari
这个基于Erlang的项目自称是“一种分布式有序键值存储系统，保证拥有很强的一致性”。它最初是由Gemini Mobile Technologies开发的，现在已被欧洲和亚洲的几家电信运营商所使用。
支持的操作系统：与操作系统无关。
相关链接：http://hibari.github.io/hibari-doc/
29. Hypertable
Hypertable是一种与Hadoop兼容的大数据数据库，承诺性能超高，其用户包括电子港湾、百度、高朋、Yelp及另外许多互联网公司。提供商业支持服务。
支持的操作系统：Linux和OS X。
相关链接：http://hypertable.org
30. Impala
Cloudera声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。
支持的操作系统：Linux和OS X。
相关链接：/content/cloudera/en/products-and-services/cdh/impala.html
31. InfoBright社区版
InfoBright为数据分析而设计，这是一种面向列的数据库，具有很高的压缩比。提供基于同一代码的收费产品，提供支持服务。
支持的操作系统：Windows和Linux。
相关链接：bright.org
32. MongoDB
mongoDB的下载量已超过1000万人次，这是一种极其受欢迎的NoSQL数据库。上提供了企业版、支持、培训及相关产品和服务。
支持的操作系统：Windows、Linux、OS X和Solaris。
相关链接：http://www.mongodb.org
Neo4j自称是“速度最快、扩展性最佳的原生图形数据库”，它承诺具有大规模扩展性、快速的密码查询性能和经过改进的开发效率。用户包括电子港湾、必能宝（Pitney Bowes）、沃尔玛、德国汉莎航空公司和CrunchBase。
支持的操作系统：Windows和Linux。
相关链接：http://neo4j.org
34. OrientDB
这款多模型数据库结合了图形数据库的一些功能和文档数据库的一些功能。提供收费支持、培训和咨询等服务。
支持的操作系统：与操作系统无关。
相关链接：http://www.orientdb.org/index.htm
35. Pivotal Greenplum Database
Pivotal声称，Greenplum是“同类中最佳的企业级分析数据库”，能够非常快速地对庞大的海量数据进行功能强大的分析。它是Pivotal大数据库套件的一部分。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://pivotal.io/big-data/pivotal-greenplum-database
Riak“功能完备”，有两个版本：KV是分布式NoSQL数据库，S2提供了面向云环境的对象存储。它既有开源版，也有商业版，还有支持Spark、Redis和Solr的附件。
支持的操作系统：Linux和OS X。
相关链接：/riak-0-10-is-full-of-great-stuff/
Redis现在由Pivotal赞助，这是一种键值缓存和存储系统。提供收费支持。要注意：虽然该项目并不正式支持Windows，不过微软在GitHub上有一个Windows派生版。
支持的操作系统：Linux。
相关链接：http://redis.io
四、商业智能
38. Talend Open Studio
Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。该公司还开发收费的大数据、云、数据整合、应用程序整合和主数据管理等工具。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。
支持的操作系统：Windows、Linux和OS X。
相关链接：/index.php
39. Jaspersoft
Jaspersoft提供了灵活、可嵌入的商业智能工具，用户包括众多企业组织：高朋、冠群科技、美国农业部、爱立信、时代华纳有线电视、奥林匹克钢铁、内斯拉斯加大学和通用动力公司。除了开源社区版外，它还提供收费的报表版、亚马逊网络服务（AWS）版、专业版和企业版。
支持的操作系统：与操作系统无关。
相关链接：
40. Pentaho
Pentaho归日立数据系统公司所有，它提供了一系列数据整合和业务分析工具。官方网站上提供了三个社区版；访问，即可了解收费支持版方面的信息。
支持的操作系统：Windows、Linux和OS X。
相关链接：
41. SpagoBI
Spago被市场分析师们称为“开源领袖”，它提供商业智能、中间件和质量保证软件，另外还提供Java EE应用程序开发框架。该软件百分之分免费、开源，不过也提供收费的支持、咨询、培训及其他服务。
支持的操作系统：与操作系统无关。
相关链接：http://www.spagoworld.org/xwiki/bin/view/SpagoWorld/
KNIME的全称是“康斯坦茨信息挖掘工具”（Konstanz Information Miner），这是一种开源分析和报表平台。提供了几个商业和开源扩展件，以增强其功能。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://www.knime.org
BIRT的全称是“商业智能和报表工具”。它提供的一种平台可用于制作可以嵌入到应用程序和网站中的可视化元素及报表。它是Eclipse社区的一部分，得到了Actuate、IBM和Innovent Solutions的支持。
支持的操作系统：与操作系统无关。
相关链接：http://www.eclipse.org/birt/
五、数据挖掘
44.DataMelt
作为jHepWork的后续者，DataMelt可以处理数学运算、数据挖掘、统计分析和数据可视化等任务。它支持Java及相关的编程语言，包括Jython、Groovy、JRuby和Beanshell。
支持的操作系统：与操作系统无关。
相关链接：http://jwork.org/dmelt/
KEEL的全称是“基于进化学习的知识提取”，这是一种基于Java的机器学习工具，为一系列大数据任务提供了算法。它还有助于评估算法在处理递归、分类、集群、模式挖掘及类似任务时的效果。
支持的操作系统：与操作系统无关。
相关链接：http://keel.es
46. Orange
Orange认为数据挖掘应该是“硕果累累、妙趣横生”，无论你是有多年的丰富经验，还是刚开始接触这个领域。它提供了可视化编程和Python脚本工具，可用于数据可视化和分析。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://orange.biolab.si
47. RapidMiner
RapidMiner声称拥有250000多个用户，包括贝宝、德勤、电子港湾、思科和大众。它提供一系列广泛的开源版和收费版，不过要注意：免费的开源版只支持CSV格式或Excel格式的数据。
支持的操作系统：与操作系统无关。
相关链接：
48. Rattle
Rattle的全称是“易学易用的R分析工具”。它为R编程语言提供了一种图形化界面，简化了这些过程：构建数据的统计或可视化摘要、构建模型以及执行数据转换。
支持的操作系统：Windows、Linux和OS X。
相关链接：
SPMF现在包括93种算法，可用于顺序模式挖掘、关联规则挖掘、项集挖掘、顺序规则挖掘和集群。它可以独立使用，也可以整合到其他基于Java的程序中。
支持的操作系统：与操作系统无关。
相关链接：http://www.philippe-/spmf/
怀卡托知识分析环境（Weka）是一组基于Java的机器学习算法，面向数据挖掘。它可以执行数据预处理、分类、递归、集群、关联规则和可视化。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://www.cs.waikato.ac.nz/~ml/weka/
六、查询引擎
这个Apache项目让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它可用于数据挖掘和即席查询，它支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://drill.apache.org
七、编程语言
R类似S语言和环境，旨在处理统计计算和图形。它包括一套整合的大数据工具，可用于数据处理、计算和可视化。
支持的操作系统：Windows、Linux和OS X。
相关链接：http://www.r-project.org
企业控制语言（ECL）是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境（IDE）、教程以及处理该语言的众多相关工具。
支持的操作系统：Linux。
相关链接：/download/docs/ecl-language-reference
八、大数据搜索
54. Lucene
基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它含有强大而高效的搜索算法。开发工作得到了Apache软件基金会的赞助。
支持的操作系统：与操作系统无关。
相关链接：http://lucene.apache.org/core/
Solr基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。
支持的操作系统：与操作系统无关。
相关链接：http://lucene.apache.org/solr/
九、内存中技术
56. Ignite
这个Apache项目自称是“一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。”该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。
支持的操作系统：与操作系统无关。
相关链接：https://ignite.incubator.apache.org
57. Terracotta
Terracotta声称其BigMemory技术是“世界上数一数二的内存中数据管理平台”，声称拥有210万开发人员，250家企业组织部署了其软件。该公司还提供商业版软件，另外提供支持、咨询和培训等服务。
支持的操作系统：与操作系统无关。
相关链接：http://www.terracotta.org
58. Pivotal GemFire/Geode
今年早些时候，Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。还提供该软件的商业版。
支持的操作系统：Windows和Linux。
相关链接：http://pivotal.io/big-data/pivotal-gemfire
59. GridGain
由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。它既有收费的企业版，也有免费的社区版，后者包括免费的基本支持。
支持的操作系统：Windows、Linux和OS X。
相关链接：
60. Infinispan
作为一个红帽JBoss项目，基于Java的Infinispan是一种分布式内存中数据网格。它可以用作缓存、用作高性能NoSQL数据库，或者为诸多框架添加集群功能。
支持的操作系统：与操作系统无关。
相关链接：http://www.jboss.org/infinispan.html
原文标题：Hadoop and Big Data: 60 Top Open Source Tools
本页内容版权归属为原作者，如有侵犯您的权益，请通知我们删除。
下面我们看看 HBase Shell 的一些基本操作命令，我列出了几个常用的 HBase Shell 命令，如下： 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录
put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count
'表名称' 删除记录 delete
'表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表，才能对该表进行删除，第一步 dis
本项目实现的是：自己写一个网络爬虫，对搜狐(或者csdn)爬取新闻(博客)标题,然后把这些新闻标题和它的链接地址上传到hdfs多个文件上，一个文件对应一个标题和链接地址，然后通过分词技术对每个文件中的标题进行分词，分词后建立倒排索引以此来实现搜索引擎的功能，建立倒排索引不熟悉的朋友可以看看我上篇博客 Hadoop–倒排索引过程详解 首先 要自己写一个网络爬虫 由于我开始写爬虫的时候用了htmlparser，把所有搜到的链接存到队列，并且垂直搜索，这个工作量太大，爬了一个小时还没爬完造成了我电脑的死机，所以
声明： 最近在进行 openstack 的 kilo 版本的安装，发现现有的网络教程非常少，而且多数教程并不能安装成功，故写此教程。 openstack 的安装较为复杂，本教程并不能保证在不同环境下也能将其安装成功。个人安装教程，也难免出错。同时，安装是在虚拟机环境下，真实安装环境需要进行更改。
转载请声明出处：
作者：张某人 ER
原文链接： http://blog.csdn.net/xinxing__8185/article/det
1 Hive的体系结构划分 用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。 Hive将元数据存储在数据库中，如mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数
昨天我使用Spark MLlib的朴素贝叶斯进行手写数字识别，准确率在0.83左右，今天使用了 RandomForest 来训练模型，并进行了参数调优。 首先来说说 RandomForest 训练分类器时使用到的一些参数： numTrees：随机森林中树的数目。增大这个数值可以减小预测的方差，提高预测试验的准确性，训练时间会线性地随之增长。 maxDepth：随机森林中每棵树的深度。增加这个值可以是模型更具表征性和更强大，然而训练也更耗时，更容易过拟合。 在这次的训练过程中，我就是反复调整上面两个参数来提
1. 创建操作 1.1 创建表 CREATE TABLE pokes (foo INT, bar STRING); 1.2 基于现有的表结构创建一个新表 create table new_ 1.3 创建视图： CREATE VIEW valid_records AS SELECT * FROM records2 WHERE temperature != 创建外部表： CREATE EXTERNAL TABLE page_view(viewTime I
一 部署本地spark环境 1.1
下载并安装好jdk1.7，配置完环境变量。 1.2
Spark环境变量配置
去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是 spark-1.6.0-bin-hadoop2.6.tgz ，spark版本是1.6，对应的hadoop版本是2.6 解压下载的文件，假设解压 目录为：D:\spark-1.6.0-bin-hadoop2.6。将D:\spa
声明： 最近在进行 openstack 的 kilo 版本的安装，发现现有的网络教程非常少，而且多数教程并不能安装成功，故写此教程。 openstack 的安装较为复杂，本教程并不能保证在不同环境下也能将其安装成功。个人安装教程，也难免出错。同时，安装是在虚拟机环境下，真实安装环境需要进行更改。
转载请声明出处：
作者：张某人 ER
原文链接： http://blog.csdn.net/xinxing__8185/article/det
本讲内容： a. Spark Streaming Job 架构和运行机制
b. Spark Streaming Job 容错架构和运行机制 注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。 上节回顾: 上节课谈到 Spark Streaming是基于DStream编程。DStream是逻辑级别的，而RDD是物理级别的。DStream是随着时间的流动内部将集合封装RDD。对DStream的操作，归根结底还是对其RDD进行的操作。 如果将Spark Streami
前言 当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机制，当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先执行完的结果作为最终结果。 由于具体分析推断执行机制，篇幅很长，所以我会分成几篇内容陆续介绍。 推断执行测试 本文在我自己搭建的集群（集群搭建可以参
Copyright (C)
ITfish.net订阅每日最新资讯
从大数据的风水图，来看到底大数据是怎么回事
& & & & 技术型的高科技创业公司都是喜欢闪闪发光的新东西，而&大数据&跟3年前火热程度相比反而有些凄惨。虽然Hadoop创建于2006年，在&大数据&的概念兴起到达白热化是在2011年至2014年期间，当时在媒体和行业面前，大数据就是&黑金石油&。但是现在有了某种高原感。 2015年数据世界中时尚年轻人喜欢转移到AI的相关概念，他们口味变成：机器智能，深度学习等。
　　除了不可避免的炒作周期，我们第四次年度&大数据风水图&(见下图)，回顾过去一年发生的事情，思考这个行业的未来机会。
　　2016年大数据还是&回事&么?让我们深度挖掘。
　　企业级技术 = 艰苦的工作
　　其实大数据有趣的是它不是直接可以炒作的东西。
　　能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。
　　但大数据，从根本上说是&管道&。当然，大数据支持许多消费者或企业用户体验，但其核心是企业的技术：数据库，分析等：而这后面几乎没人能看到东西运行。
　　而且如果大家真正工作过的都知道，在企业中改造新技术并不大可能在一夜之间发生。
　　早年的大数据是在大型互联网公司中(特别是谷歌，雅虎，Facebook，Twitter，LinkedIn等)，它们重度使用和推动大数据技术。这些公司突然面临着前所未有的数据量，没有以前的基础设施，并能招到一些最好的工程师，所以他们基本上是从零开始搭建他们所需要的技术。开源的风气迅速蔓延，大量的新技术与更广阔的世界共享。随着时间推移，其中一些工程师离开了大型网络公司，开始自己的大数据初创公司。其他的&数字原生&的公司，其中包括许多独角兽，开始面临跟大型互联网公司同样需求，无论有没有基础设施，它们都是这些大数据技术的早期采用者。而早期的成功导致更多的创业和风险投资。
　　现在一晃几年了，我们现在是有大得多而棘手的机会：数据技术通过更广泛从中型企业到非常大的跨国公司。不同的是&数字原生&的公司，不必从头开始做。他们也有很多损失：在绝大多数的公司，现有的技术基础设施&够用&。这些组织也明白，宜早不宜迟需要进化，但他们不会一夜之间淘汰并更换关键任务的系统。任何发展都需要过程，预算，项目管理，导航，部门部署，全面的安全审计等。大型企业会小心谨慎地让年轻的创业公司处理他们的基础设施的关键部分。而且，一些(大多数?)企业家压根不想把他们的数据迁移到云中，至少不是公有云。
　　(大数据分析的基本流程图)
　　从另一个关键点大家就明白了：大数据的成功是不是实现一小片技术(如Hadoop的或其他任何东西)，而是需要放在一起的技术，人员，流程的流水线。你需要采集数据，存储数据，清理数据，查询数据，分析数据，可视化数据。这将由产品来完成，有些由人力来完成。一切都需要无缝集成。归根结底，对于这一切工作，整个公司，从高级管理人员开始，需要致力于建立一个数据驱动的文化，大数据不是小事，而是全局的事。
　　换句话说：这是大量艰苦的工作。
　　部署阶段
　　以上解释了为什么几年后，虽然很多高调的创业公司上线也拿到引人注目的风险投资，但只是到达大数据部署和早期成熟阶段。
　　更有远见的大公司(称他们为&尝鲜者&在传统的技术采用周期)，在2011 - 2013年开始早期实验大数据技术，推出Hadoop系统，或尝试单点解决方案。他们招聘了形形色色的人，可能工作头衔以前不存在(如&数据科学家&或&首席数据官&)。他们通过各种努力，包括在一个中央储存库或&数据湖&倾倒所有的数据，有时希望魔术随之而来(通常没有)。他们逐步建立内部竞争力，与不同厂商尝试，部署到线上，讨论在企业范围内实施推广。在许多情况下，他们不知道下一个重要的拐点在哪里，经过几年建设大数据基础架构，从他们公司业务用户的角度来看，也没有那么多东西去显示它。但很多吃力不讨好的工作已经完成，而部署在核心架构之上的应用程序又要开始做了。
　　下一组的大公司(称他们为&早期大众&在传统的技术采用周期)一直呆在场边，还在迷惑的望着这整个大数据这玩意。直到最近，他们希望大供应商(例如IBM)提供一个一站式的解决方案，但它们知道不会很快出现。他们看大数据全局图很恐怖，就真的想知道是否要跟那些经常发音相同，也就凑齐解决方案的创业公司一起做。他们试图弄清楚他们是否应该按顺序并逐步工作，首先构建基础设施，然后再分析应用层，或在同一时间做所有的，还是等到更容易做的东西出现。
　　生态系统正在走向成熟
　　同时，创业公司/供应商方面，大数据公司整体第一波(那些成立于2009年至2013)现在已经融资多轮，扩大他们的规模，积累了早期部署的成功与失败教训，也提供更成熟，久经考验的产品。现在有少数是上市公司(包括HortonWorks和New Relic 它们的IPO在2014年12月)，而其他(Cloudera，MongoDB的，等等)都融了数亿美元。
　　VC投资仍然充满活力，2016年前几个星期看到一些巨额融资的晚期大数据初创公司：DataDog(9400万)，BloomReach(5600万)，Qubole(3000万)， PlaceIQ( 2500万)这些大数据初创公司在2015年收到的$ 66.4亿创业投资，占高科技投资总额的11%。
　　随创业活动和资金的持续涌入，有些不错的资本退出，日益活跃的高科技巨头(亚马逊，谷歌和IBM)，公司数量不断增加，这里就是2016年大数据全景图：
　　日修订，(本文最有价值的图)
　　很显然这里密密麻麻很多公司，从基本走势方面，动态的(创新，推出新的产品和公司)已逐渐从左向右移动，从基础设施层(开发人员/工程师)到分析层(数据科学家和分析师的世界)到应用层(商业用户和消费者)，其中&大数据的本地应用程序&已经迅速崛起- 这是我们预计的格局。
　　大数据基础架构：创新仍然有很多
　　正是因为谷歌十年前的MapReduce和BigTable的论文，Doug Cutting， Mike Cafarella开发 创建Hadoop的，所以大数据的基础架构层成熟了，也解决了一些关键问题。
　　而基础设施领域的不断创新蓬勃发展还是通过大量的开源活动。
　　(Spark带着Hadoop飞)
　　2015年毫无疑问是Apache Spark最火的一年，这是一个开源框架，利用内存中做处理。这开始得到了不少争论，从我们发布了前一版本以来，Spark被各个对手采纳，从IBM到Cloudera都给它相当的支持。 Spark的意义在于它有效地解决了一些使用Hadoop很慢的关键问题：它的速度要快得多(基准测试表明：Spark比Hadoop的MapReduce的快10到100倍)，更容易编写，并非常适用于机器学习。
　　其他令人兴奋的框架的不断涌现，并获得新的动力，如Flink，Ignite，Samza，Kudu等。一些思想领袖认为Mesos的出现(一个框架以&对你的数据中心编程就像是单一的资源池&)，不需要完全的Hadoop。即使是在数据库的世界，这似乎已经看到了更多的新兴的玩家让市场持续，大量令人兴奋的事情正在发生，从图形数据库的成熟(Neo4j)，此次推出的专业数据库(时间序列数据库InfluxDB)，CockroachDB，(受到谷歌Spanner启发出现，号称提供二者最好的SQL和NoSQL)，数据仓库演变(Snowflake)。
　　大数据分析：现在的AI
　　在过去几个月的大趋势上，大数据分析已经越来越注重人工智能(各种形式和接口)，去帮助分析海量数据，得出预测的见解。
　　最近AI的复活就好比大数据生的一个孩子。深度学习(获取了最多的人工智能关注的领域)背后的算法大部分在几十年前，但直到他们可以应用于代价便宜而速度够快的大量数据来充分发挥其潜力(Yann LeCun, Facebook深度学习研究员主管)。 AI和大数据之间的关系是如此密切，一些业内专家现在认为，AI已经遗憾地&爱上了大数据&(Geometric Intelligence)。
　　反过来，AI现在正在帮助大数据实现承诺。AI /机器学习的分析重点变成大数据进化逻辑的下一步：现在我有这些数据，我该怎么从中提取哪些洞察?当然，这其中的数据科学家们 - 从一开始他们的作用就是实现机器学习和做出有意义的数据模型。但渐渐地机器智能正在通过获得数据去协助数据科学家。新兴产品可以提取数学公式(Context Relevant)或自动构建和建议数据的科学模式，有可能产生最好的结果(DataRobot)。新的AI公司提供自动完成复杂的实体的标识(MetaMind，Clarifai，Dextro)，或者提供强大预测分析(HyperScience)。
　　由于无监督学习的产品传播和提升，我们有趣的想知道AI与数据科学家的关系如何演变 - 朋友还是敌人? AI是肯定不会在短期内很快取代数据科学家，而是希望看到数据科学家通常执行的简单任务日益自动化，最后生产率大幅提高。
　　通过一切手段，AI /机器学习不是大数据分析的唯一趋势。令人兴奋的趋势是大数据BI平台的成熟及其日益增强的实时能力(SiSense，Arcadia)
　　大数据应用：一个真正的加速度
　　由于一些核心基础架构难题都已解决，大数据的应用层迅速建立。
　　在企业内部，各种工具已经出现，以帮助企业用户操作核心功能。例如，大数据通过大量的内部和外部的数据，实时更新数据，可以帮助销售和市场营销弄清楚哪些客户最有可能购买。客户服务应用可以帮助个性化服务; HR应用程序可帮助找出如何吸引和留住最优秀的员工;等
　　专业大数据应用已经在几乎任何垂直领域都很出色，从医疗保健(特别是在基因组学和药物研究)，到财经到时尚到司法(Mark43)。
　　两个趋势值得关注。
　　首先，很多这些应用都是&大数据同乡&，因为他们本身就是建立在最新的大数据技术，并代表客户能够充分利用大数据的有效方式，无需部署底层的大数据技术，因为这些已&在一个盒子&，至少是对于那些特定功能 - 例如，ActionIQ是建立在Spark上，因此它的客户可以充分利用他们的营销部门Spark的权力，而无需实际部署Spark自己 - 在这种情况下，没有&流水线&。
　　第二，人工智能同样在应用程序级别有强大吸引力。例如，在猫捉老鼠的游戏，安全上，AI被广泛利用，它可以识别黑客和打击网络攻击。 &人工智能&对冲基金也开始出现。全部由AI驱动数字助理行业已经去年出现，从自动安排会议(x.ai)任务，到购物为您带来一切。这些解决方案依赖人工智能的程度差别很大，从接近100%的自动化，到个人的能力被AI增强 - 但是，趋势是明确的。
　　在许多方面，我们仍处于大数据的早期。尽管它发展了几年，建设存储和数据的过程只是第一阶段的基础设施。 AI /机器学习出现在大数据的应用层的趋势。大数据和AI的结合将推动几乎每一个行业的创新，这令人难以置信。从这个角度来看，大数据机会甚至可能比人们认为的还大。
　　随着大数据的不断成熟，这个词本身可能会消失或者变得过时，没有人会使用它了。它是成功通过技术，变得很普遍，无处不在，并最终无形化。(文|dongfeiwww 来源|虎嗅网)
[责任编辑：任珊珊]声明：3sNews登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。
第一时间获取位置服务与空间信息领域新鲜资讯、深度商业资本观察，请在微信公众账号中搜索「3sNews」or「www.3snews.net」，或用手机扫描左方二维码，即可获得3sNews每日精华内容推送和最优搜索体验，并参与编辑活动。