大数据与 Hadoop 的起源、特点和关系

章节一:大数据的起源

在 2003 年, Google 陆续发表了 3 篇论文,首创了大数据这一概念,它们分别是:GFS、MapReduce、BigTable。

这三篇论文,分别介绍了 GFS、MapReduce、BigTable 三款软件,而将这三款软件组合在一起,就是世界上第一种大数据平台。

如今 GFS、MapReduce 和 BigTable 三大技术已被称为 Google 的三驾马车,虽然没有公布源码,但发布了这三个产品的详细设计。

章节二:大数据的特点

大数据,是指从各种各样类型的海量数据中,快速获得和分析出有价值的信息,并以此支撑决策的一种手段,这种手段无法使用过去的常规方法或软件工具实现。

在目前,大数据的特性是指 5V 特性:
1) (V) Volume(大体量)
2) (V) Variety(多样性)
3) (V) Velocity(时效性)
4) (V) Veracity(准确性)
5) (V) Value(大价值)

章节三:开源大数据平台 Hadoop 的起源

虽然谷歌在 GFS、MapReduce、BigTable 三篇论文中详细介绍了 GFS、MapReduce 和 BigTable 三款软件的设计,但是可能出于公司发展的考虑,谷歌并没有公布这三款软件的源代码,这个大数据平台只有谷歌才能使用。

此时另一个受到雅虎资助的团队就利用谷歌这三篇论文的技术架构,使用 Java 开发了另外三个实现大数据平台的的软件,它们分别是:HDFS、MapReduce、Hbase。

它们和谷歌的软件一一对应:
HDFS 对应 Google 的 GFS
MapReduce 对应 Google 的 MapReduce
Hbase 对应 Google 的 BigTable

这三款软件组合在一起,就是一个新的开源的大数据平台 Hadoop。

章节四:开源大数据平台 Hadoop 的特点

1) Hadoop 可以实现分析和处理海量数据
2) Hadoop 是一款开源软件,全地球所有非营利性组织、个人、公司和政府都可以免费使用
3) 具有高可靠性、高扩展性、高效性、高容错性、低成本的优点
4) 性能上 Hadoop 要比 Google 的差很多

章节五:开源大数据平台 Hadoop 对大数据行业的影响

在 2003 年,很多非营利性组织、个人、公司和政府都没有人力、物力直接研发大数据技术,所以只好直接使用 Hadhoop 实现自己的大数据分析。

由于使用 Hadoop 的非营利性组织、个人、公司和政府越来越多,Hadoop 逐渐变成了大数据行业的行业标准。

就连大数据首创者谷歌,为了和 Hadoop 平台进行数据交互,也被迫对自己性能更好的 BigTable、GFS、MapReduce 三款软件进行修改。

现在 Hadoop 基本已经成为了大数据的代名词。大数据行业里所指的大数据开发工程师就是指开发 Hadoop 模块的 JAVA 工程师,大数据算法工程师就是指为 Hadoop 模块创造计算模型的数学家,而大数据运维工程师就是指 Hadoop 运维工程师。

随笔 4

宇宙的光线变幻且永恒,宇宙的空间浩瀚亦深邃。尘埃中的尘埃,瞬息中的瞬息,这个世界仅是它的沧海一粒。时间的光轮旋转不停,生存、欲望、信仰,革命与和平的节拍交相呼应。一场场社会思潮的笔,勾勒着文明的形状,记录在历史的纸张里,时至今日已有太多的传奇变得无人问津。愿这个世界再也不需要圣女贞德,愿亚瑟王这样的人物能够永远沉睡,愿人们都能为生活而工作,愿他们的孩子们可以有一个好的成长环境。

命运

远古神话的只言片语
既模糊又清晰地标注着道德的起源和界限
古老英雄史诗的优美音律
既神圣又悲伤地歌颂着自由的永恒不息

艺术家们
被囚禁在不同维度的时间牢笼之中
然而却都在守望着同样的唯美风景

思想家们
隔着浩瀚无边的星辰大海
然而却都伸手向着同样的真实

在人们内心深处的炫目之光
射穿着人们各自形只影单的身影
被这些璀璨光芒包裹着的灵魂
慢慢变得温柔且坚定

一场场惨烈露骨的战争爆发了又结束
一个个象征着美好新生活的革命开始了又消失
无数次这种让人们心碎神伤的辩论
用深入骨髓的痛楚缓慢地改变着人类的自我认知

命运的万色星辰开始若隐若现
开始支撑起无助迷茫的心灵
让活着的生灵们塑造着世界的万千形态

苏格拉底之死 (由雅克-路易·大卫创作)

被判死刑的苏格拉底,拒绝逃亡选择了遵守他所认同的法律并走向死亡。如果连自己所认同的法律都不去遵守,那法律就会失去他的权威和功能。如果法律失去了权威和功能,正义也就不复存在。如果正义不复存在,那社会就再也没有秩序和文明可言,主体道德、文化、经济、艺术、科学都将被连根拔起。这位人类文明的逻辑学之父,在用生命诠释法律的真正含义。这是一首能为后世带来无限财富的挽歌。这是一个某些理念值得用生命去守护的铁证。

随笔 3

倾听着缓慢熟悉的歌曲,优雅旋律的无意触碰,让心灵归于宁静。记忆中的梦境,历史中的幻影。被社会思潮不停重塑的文明,在人性矛盾不断自我辨证的激流中,被翻来覆去。朦胧的海市蜃楼给予人们美好的希望但也许暗藏杀机,星空的画面表面五彩艳丽但可能更为致命。人们最独一无二的灵魂,要多顽强才能始终保持住自我的鲜明。逆向而行扑向光明的李斯特,一路泥泞始终坚持这份独行。在凄冷混沌之夜与撒旦对话的尼采,拒绝命运的洪流在疯狂之中奋起反击。湮灭家园宁静的战争,点燃了圣女贞德稚嫩眼眸中的火焰,正是因为相互纠缠着的各种爱,人类才创造出了历史,让这位女孩去成为神话,让这位女孩追寻“自由的圣经”。