基于CDH4

核心

Hadoop

具有可以部署在低廉的X86服務(wù)器架構(gòu)上的分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS，具有高容錯(cuò)、高性能、高穩(wěn)定、可靠、高效、可伸縮的特點(diǎn)，可管理PB級(jí)海量數(shù)據(jù)的大數(shù)據(jù)應(yīng)用平臺(tái)。它的成本比較低，任何政府機(jī)構(gòu)、公司企業(yè)和個(gè)人都可以使用。

Flume

高可用和高可靠的分布式海量日志采集、聚合和傳輸系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于采集和收集數(shù)據(jù)。

Hive

基于Hadoop的數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。

Mahout

機(jī)器學(xué)習(xí)分布式算法庫

Oozie

工作流的安裝部署、參數(shù)配置、作業(yè)日志監(jiān)控

Pig

海量數(shù)據(jù)并行計(jì)算分析平臺(tái)，它提供了一個(gè)簡(jiǎn)單的類SQL操作和編程接口，Pig編譯器會(huì)把類SQL的數(shù)據(jù)分析請(qǐng)求轉(zhuǎn)換為經(jīng)過優(yōu)化處理的MapReduce任務(wù)。

Sqoop

將Hadoop HDFS和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，支持：MySQL ,Oracle ,Postgres等。

Zookeeper

高有效和高可靠的協(xié)同工作系統(tǒng)，用來Leader選舉、配置信息維護(hù)、分布式獨(dú)享鎖、隊(duì)列的接口等服務(wù)。

HBase

高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)數(shù)據(jù)庫，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，HBase位于結(jié)構(gòu)化存儲(chǔ)層；HBase利用MapReduce來處理海量數(shù)據(jù)，為HBase提供了高性能的計(jì)算能力；再利用Zookeeper作為協(xié)同服務(wù)，它為HBase提供了穩(wěn)定服務(wù)和故障轉(zhuǎn)移機(jī)制；Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。此外，Hive和Pig還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)計(jì)算和分析變的非常簡(jiǎn)單。

Impala

運(yùn)行在Hadoop之上的大規(guī)模并行處理（MPP）的RTQ（實(shí)時(shí)查詢引擎），通過可擴(kuò)展的并行數(shù)據(jù)庫技術(shù)，使用戶能夠低延遲的利用SQL查詢數(shù)據(jù)。

集群運(yùn)維管理

平臺(tái)管理

部署與配置

BDP和操作系統(tǒng)一鍵安裝部署、各組件的參數(shù)配置和角色配置等。

服務(wù)管理

集群運(yùn)行服務(wù)的管理，包括運(yùn)行時(shí)間、運(yùn)行成功、運(yùn)行失敗、報(bào)錯(cuò)告警、重新啟動(dòng)等。

診斷

系統(tǒng)告警與診斷建議

API接口

通用和公開的Hadoop API接口，以及BDP平臺(tái)的數(shù)據(jù)接口

滾動(dòng)更新/重新啟動(dòng)

平臺(tái)性能實(shí)時(shí)更新和重啟功能

SNMP支持

支持SNMP協(xié)議

LDAP集成和遷移

同步、配置、更新、權(quán)限管理等

配置歷史記錄及恢復(fù)

可視化的平臺(tái)參數(shù)配置記錄及恢復(fù)窗口

操作報(bào)告

提供BDP平臺(tái)操作日志查詢功能：集群各節(jié)點(diǎn)的起停時(shí)間、任務(wù)的運(yùn)行情況、用戶登錄系統(tǒng)的操作日志記錄等。

災(zāi)難恢復(fù)

建立數(shù)據(jù)備份和災(zāi)難恢復(fù)機(jī)制

集群數(shù)據(jù)管理

數(shù)據(jù)管理

數(shù)據(jù)質(zhì)量審核

HDFS、HBase、Hive在使用新數(shù)據(jù)之前，用戶要確認(rèn)、更正錯(cuò)誤數(shù)據(jù)，并在數(shù)據(jù)啟用后提供編輯數(shù)據(jù)的工具。數(shù)據(jù)質(zhì)量審核分析通常首先進(jìn)行數(shù)據(jù)質(zhì)量審核，即在BDP平臺(tái)中進(jìn)行數(shù)據(jù)準(zhǔn)確性和完整性方面的校驗(yàn)。

訪問權(quán)限管理

基于系統(tǒng)的安全規(guī)則或安全策略，由系統(tǒng)管理員授權(quán)通過用戶名和密碼登錄，用戶只能訪問和操作被授權(quán)的數(shù)據(jù)。

集群監(jiān)控管理

集群監(jiān)控

Hadoop監(jiān)控

1、Hadoop的HDFS在各個(gè)節(jié)點(diǎn)中的使用情況（塊的大小，容量的大小等）

2、MapReduce的運(yùn)行情況（各個(gè)節(jié)點(diǎn)的Map完成情況、Reduce完成情況等）

3、Job Tracker的運(yùn)行情況

HBase監(jiān)控

1、HBase各個(gè)節(jié)點(diǎn)的運(yùn)行情況

2、HBase遠(yuǎn)程過程調(diào)用情況

3、HBase表可視化

4、從HBase表可視化中查詢數(shù)據(jù)

Hive監(jiān)控

1、授權(quán)

2、查看Schema，界面中顯示的是當(dāng)前可以使用的數(shù)據(jù)庫信息

3、創(chuàng)建會(huì)話

4、查看系統(tǒng)診斷信息，可以看到系統(tǒng)的相關(guān)診斷信息

5、查看會(huì)話

6、列出正在運(yùn)行的Jobs

集群整體監(jiān)控

關(guān)于集群最近一小時(shí)的CPU、內(nèi)存、網(wǎng)絡(luò)、負(fù)載情況

單節(jié)點(diǎn)監(jiān)控

各個(gè)節(jié)點(diǎn)的系統(tǒng)情況、JVM情況以及CPU、內(nèi)存、網(wǎng)絡(luò)、負(fù)載情況

集群運(yùn)維管理

集群管理

節(jié)點(diǎn)基本管理

集群節(jié)點(diǎn)增加、編輯、刪除和節(jié)點(diǎn)的啟動(dòng)與關(guān)閉

節(jié)點(diǎn)角色管理

Hadoop、Hbase、Zookeeper、Flume等的角色管理與分配

節(jié)點(diǎn)配置管理

管理選中節(jié)點(diǎn)的Hadoop、HBase、Hive、Zookeeper、Flume等配置

節(jié)點(diǎn)互信管理

建立集群各節(jié)點(diǎn)之間的互信

集群帳號(hào)管理

在每個(gè)節(jié)點(diǎn)中建立啟動(dòng)集群的帳號(hào)

集群時(shí)間管理

節(jié)點(diǎn)間時(shí)間同步，保證組件和服務(wù)可以正常啟動(dòng)

BDP平臺(tái)工具包

工具集

BDP平臺(tái)管理工具包

維護(hù)平臺(tái)和節(jié)點(diǎn)所需的工具軟件。