云计算简介

云计算最早起源于亚马逊公司,后来 NASA(美国国家航空航天局)模仿亚马逊云做了一个开源的 OpenStack 云计算平台,之后又将这个项目交给了 Apache 基金会管理。如今 OpenStack 已成为云计算的代名词之一。

云计算的种类分为三种:

IaaS

全名为:Infrastructure as a Service,基础设施即服务。是硬件的云,类似于 CPU、内存、硬盘等硬件的资源池。主要技术架构是开源的 OpenStack,同时也存在亚马逊云、谷歌云、阿里云等非开源的云。

PaaS

全名为:Platform as a Service,基础即服务。是服务的云,类似于 Tomcat、Nginx 等服务的资源池。主要技术架构是开源的 OpenShift 和 kubernetes 等。

SaaS

全名为:Software as a Service,软件即服务。是软件的云,相关的软件已经完全开发完成并进行云部署,例如微软的 OneDrive。

Docker 容器简介

章节一:什么是容器

Docker 主要是由 Linux 内核的三个部分组成:
1) namesapce 用于将各个服务隔离开,并按需求分成一个个隔离组,每个隔离组就可以看作一个容器,各个隔离组之间相互隔离
2) CGroup 用于限制各个隔离组的可用资源,避免各个隔离组之间进行硬件资源争抢
3) SELinux 用于安全,也可以不要让资源裸奔

章节二:容器和虚拟机

容器和虚拟机类似,但是容器有很多部分公用着宿主机系统的环境和软件,而虚拟机系统和宿主机系统之间是完全隔离的

大数据与 Hadoop 的起源、特点和关系

章节一:大数据的起源

在 2003 年, Google 陆续发表了 3 篇论文,首创了大数据这一概念,它们分别是:GFS、MapReduce、BigTable。

这三篇论文,分别介绍了 GFS、MapReduce、BigTable 三款软件,而将这三款软件组合在一起,就是世界上第一种大数据平台。

如今 GFS、MapReduce 和 BigTable 三大技术已被称为 Google 的三驾马车,虽然没有公布源码,但发布了这三个产品的详细设计。

章节二:大数据的特点

大数据,是指从各种各样类型的海量数据中,快速获得和分析出有价值的信息,并以此支撑决策的一种手段,这种手段无法使用过去的常规方法或软件工具实现。

在目前,大数据的特性是指 5V 特性:
1) (V) Volume(大体量)
2) (V) Variety(多样性)
3) (V) Velocity(时效性)
4) (V) Veracity(准确性)
5) (V) Value(大价值)

章节三:开源大数据平台 Hadoop 的起源

虽然谷歌在 GFS、MapReduce、BigTable 三篇论文中详细介绍了 GFS、MapReduce 和 BigTable 三款软件的设计,但是可能出于公司发展的考虑,谷歌并没有公布这三款软件的源代码,这个大数据平台只有谷歌才能使用。

此时另一个受到雅虎资助的团队就利用谷歌这三篇论文的技术架构,使用 Java 开发了另外三个实现大数据平台的的软件,它们分别是:HDFS、MapReduce、Hbase。

它们和谷歌的软件一一对应:
HDFS 对应 Google 的 GFS
MapReduce 对应 Google 的 MapReduce
Hbase 对应 Google 的 BigTable

这三款软件组合在一起,就是一个新的开源的大数据平台 Hadoop。

章节四:开源大数据平台 Hadoop 的特点

1) Hadoop 可以实现分析和处理海量数据
2) Hadoop 是一款开源软件,全地球所有非营利性组织、个人、公司和政府都可以免费使用
3) 具有高可靠性、高扩展性、高效性、高容错性、低成本的优点
4) 性能上 Hadoop 要比 Google 的差很多

章节五:开源大数据平台 Hadoop 对大数据行业的影响

在 2003 年,很多非营利性组织、个人、公司和政府都没有人力、物力直接研发大数据技术,所以只好直接使用 Hadhoop 实现自己的大数据分析。

由于使用 Hadoop 的非营利性组织、个人、公司和政府越来越多,Hadoop 逐渐变成了大数据行业的行业标准。

就连大数据首创者谷歌,为了和 Hadoop 平台进行数据交互,也被迫对自己性能更好的 BigTable、GFS、MapReduce 三款软件进行修改。

现在 Hadoop 基本已经成为了大数据的代名词。大数据行业里所指的大数据开发工程师就是指开发 Hadoop 模块的 JAVA 工程师,大数据算法工程师就是指为 Hadoop 模块创造计算模型的数学家,而大数据运维工程师就是指 Hadoop 运维工程师。

开源简介

开源对于人们而言,意味着免费使用,可随意进行二次开发,但是二次开发的内容、代码也属于开源项目的一部分必须无偿公开,且开源项目里的所有东西都不能当作商品进行买卖。而开源项目本身就像是一个爱好者们的盛会,全世界的所有爱好者和从业者们,利用业余时间或者在工作中为同一个项目添砖加瓦,发展到后来,也有人以公司的形式参与其中或者直接以公司的形式经营开源项目。

兴趣才是最好的老师, 所以在开源的领域总是充满了活力和创造力。从 Linux 和 Windows、Mariadb 和 Oracle 等开源和闭源软件的比较中,我们都能看到开源的力量。Windows 在服务区领域的市场份额不断被 Linux 压缩,Mariadb 的快速提升,阿里巴巴的去 Oracle 运动都在提醒 IT 的从业人员们,最好跟着开源走,不要让自己的职业生涯被某一家公司绑定得太死,可能诺基亚放弃 Meego 只会让自己的财务报表不好看,但是对于相关软件的开发者而言,这就以为着很多努力和光阴都要从头再来……

永恒中心会为访问者带来很多开源软件的信息和使用方法,不管你是相关行业的从业人员,还是相关方面的爱好者,你都可以关注永恒中心。