大数据培训：Hadoop1.x架构存在哪些缺点?

　　Hadoop发行版本分为开源社区版和商业版，社区版是指由Apache软件基金会维护的版本，是官方维护的版本体系。商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有Cloudera公司的CDH版本。

　　自Hadoop诞生以来，主要分为Hadoop1、Hadoop2和Hadoop3三个系列的多个版本。Hadoop2.x版本指的是第2代Hadoop，它是从Hadoop1.x发展而来的，并且相对于Hadoop1.x来说，有很多改进。Hadoop1.x架构中的HDFS和MapReduce存在以下缺陷：

　　(1)HDFS中的NameNode、SecondaryNode单点故障，风险比较大。其次，NameNode内存受限不好扩展，因为Hadoop1.x版本中的HDFS只有一个NameNode，并且要管理所有的DataNode。

　　(2)MapReduce中的JobTracker职责过多，访问压力太大，会影响系统稳定。除此之外，MapReduce难以支持除自身以外的框架，扩展性较低。

　　Hadoop2.x版本为克服Hadoop1.x中的不足，对其结构进行了以下改进：

　　(1)Hadoop2.x可以同时启动多个NameNode，其中一个处于工作(Active)状态，另一个处于随时待命(Standby)状态，这种机制被称为Hadoop HA(Hadoop高可用)。当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，自动切换到另一个NameNode持续提供服务。

　　(2)Hadoop2.x将JobTracker中的资源管理和作业控制分开，分别由ResourceManager(负责所有应用程序的资源分配)和ApplicationMaster(负责管理一个应用程序)实现，即引入了资源管理框架YARN，它是一个通用的资源管理框架，可以为各类应用程序进行资源管理和调度，不仅限于MapReduce一种框架，也可以为其他框架使用，如Tez、Spark、Storm，这种设计不仅能够增强不同计算机模型和各种应用之间的交互，使集群资源得到高效利用，而且能更好地与企业中已经存在的计算结构集成在一起。

　　(3)Hadoop2.x中的MapReduce是运行在YARN上的离线处理框架，它的运行环境不再由JobTracker和TaskTracker等服务组成，而是变成通用资源管理YARN和作业控制进程ApplicationMaster，从而使MapReduce在速度上和可用性上都有很大的提高。