Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析實戰(zhàn)培訓班

【課程介紹】

（1）培訓架構(gòu)：

本課程分為三個主要部分：

部分：重點講述大數(shù)據(jù)技術(shù)在的應用，使學員對大數(shù)據(jù)技術(shù)的廣泛應用有清晰的認識，在這環(huán)節(jié)當中會重點介紹Hadoop技術(shù)在整個大數(shù)據(jù)技術(shù)應用中的重要地位和應用情況。

第二部分：具體對hadoop技術(shù)進行模塊化分拆，從大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應用談起，介紹Hadoop技術(shù)各主要應用工具和方法，以及在運維維護當中的主流做法，使學員全面了解和掌握Hadoop技術(shù)的精華。

第三部分：重點剖析大數(shù)據(jù)的應用案例，使學員在案例當中對該項技術(shù)有更深入的感觀印象

（2）設計思路：

本課程采用模塊化教學方法，以案例分析為主線，由淺入深、循序漸進、由理論到實踐操作進行設計。

（3）與企業(yè)的貼合點：

本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略，圍繞企業(yè)大數(shù)據(jù)業(yè)務及行業(yè)應用市場拓展發(fā)展目標，重點講授Hadoop的應用技術(shù)，提升企業(yè)IT技術(shù)人員的開發(fā)和運維能力，有很強的貼合度。

【培訓對象】

業(yè)務支撐建設維護室、業(yè)務維護室、經(jīng)營分析室人員；網(wǎng)絡部、網(wǎng)管中心、網(wǎng)優(yōu)中心從事大數(shù)據(jù)相關(guān)工作的人員

【培訓目標】

掌握大數(shù)據(jù)處理平臺（Hadoop、Spark、Storm）技術(shù)架構(gòu)、以及平臺的安裝部署、運維配置、應用開發(fā)；掌握主流大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的技術(shù)架構(gòu)和實際應用；利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進行存儲管理和分析挖掘的技術(shù)應用；講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲管理、分布式數(shù)據(jù)庫、大型數(shù)據(jù)倉庫、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)

【培訓內(nèi)容】

模塊一 移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算相關(guān)技術(shù)介紹

數(shù)據(jù)中心與云計算技術(shù)應用

智慧城市與云計算技術(shù)應用

移動互聯(lián)網(wǎng)、大數(shù)據(jù)與云計算關(guān)聯(lián)技術(shù)

移動云計算的生態(tài)系統(tǒng)及產(chǎn)業(yè)鏈

大數(shù)據(jù)技術(shù)在運營商、金融業(yè)、銀行業(yè)、電子商務行業(yè)、零售業(yè)、制造業(yè)、政務信息化、互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應用實踐

國內(nèi)外主流的大數(shù)據(jù)解決方案介紹

當前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較

Cloudera Hadoop 大數(shù)據(jù)平臺方案剖析

開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析

模塊二 大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向

大數(shù)據(jù)時代的挑戰(zhàn)

大數(shù)據(jù)時代的發(fā)展方向

大數(shù)據(jù)挖掘在各行業(yè)應用情況

模塊三 大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應用

Hadoop的發(fā)展歷程

分布式文件系統(tǒng)HDFS

分布式文件系統(tǒng)HDFS架構(gòu)及原理

分布式文件系統(tǒng)HDFS操作

Hadoop生態(tài)系統(tǒng)組件

模塊四 Hadoop文件系統(tǒng)HDFS佳實戰(zhàn)

HDFS的設計

HDFS的概念

命令行接口

Hadoop文件系統(tǒng)

Java接口

數(shù)據(jù)流

通過Flume和Sqoop導入數(shù)據(jù)

通過distcp并行復制

Hadoop存檔

模塊五 Hadoop運維管理與性能調(diào)優(yōu)

第二代大數(shù)據(jù)處理框架

集群配置管理

HDFS的靜態(tài)調(diào)優(yōu)技巧

模塊六 NOSQL數(shù)據(jù)庫Hbase與Redis

NOSQL基礎

HBase分布式數(shù)據(jù)基礎

安裝Hbase

Hbase應用

Base分布式數(shù)據(jù)庫簡介、發(fā)展歷程、應用場景、工作原理、以及應用優(yōu)勢與不足之處

Redis內(nèi)存數(shù)據(jù)庫介紹，以及業(yè)界應用案例

模塊七 類SQL語句工具——Hive

安裝Hive

示例

運行Hive

Hive與傳統(tǒng)數(shù)據(jù)庫相比

HiveQL

表

查詢數(shù)據(jù)

用戶定義函數(shù)

模塊八 數(shù)據(jù)挖掘SPARK建?；A介紹

Spark簡介

Spark架構(gòu)

Spark集群的安裝與部署

Spark硬件配置

模塊九 Kafka基礎介紹

Kafka介紹

kafka體系結(jié)構(gòu)

kafka設計理念簡介

kafka通信協(xié)議

kafka的偽分布安裝、集群安裝

kafka的shell操作、java操作

kafka設計理念*

kafka producer和consumer開發(fā)

Kafka分布式消息訂閱系統(tǒng)的應用介紹、平臺架構(gòu)、集群部署與配置應用實戰(zhàn)

Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構(gòu)、集群部署與配置應用實戰(zhàn)

Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應用實踐，

Sqoop導入導出數(shù)據(jù)以及Sqoop集群部署與配置

Kettle 集群的平臺架構(gòu)、核心技術(shù)、部署配置和應用實戰(zhàn)

利用Sqoop實現(xiàn) MySQL 與 Hadoop 集群之間

模塊十 大數(shù)據(jù)典型應用與開發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運營

案例1：貴州數(shù)據(jù)交易中心

案例2：大數(shù)據(jù)應用案例：公共交通線路的智能規(guī)劃

討論：浙江移動大數(shù)據(jù)應用與開發(fā)方向

模塊十一 當前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運營商、互聯(lián)網(wǎng)公司為例

流商業(yè)大數(shù)據(jù)解決方案比較

主流開源云計算系統(tǒng)比較

國內(nèi)外代表性大數(shù)據(jù)平臺比較

各廠商新的大數(shù)據(jù)產(chǎn)品介紹

案例分析

【課程安排】

【師資介紹】

張老師

阿里大數(shù)據(jù)專家，國內(nèi)的Spark、Hadoop技術(shù)專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進行了多年的深入的研究，更主要的是這些技術(shù)在大量的實際項目中得到廣泛的應用，因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有：某電信集團網(wǎng)絡優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項目等。

【頒發(fā)證書】

參加相關(guān)培訓并通過考試的學員，可以獲得：

工業(yè)和信息化部頒發(fā)的-《HADOOP大數(shù)據(jù)》技能證書。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。注：請學員帶一寸彩照2張（背面注明姓名）、身份證復印件一張。