北京 Spark大數(shù)據(jù)處理與分析高級工程師培訓(xùn)班

【課程背景】

當(dāng)下是大數(shù)據(jù)時代，為構(gòu)建大數(shù)據(jù)平臺，技術(shù)人員需要對分布式計算平臺有一定深入的理解和應(yīng)用。MapReduce作為一個經(jīng)典的分布式計算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問題，包括迭代式計算和DAG計算等類型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問題，新型計算框架出現(xiàn)了。Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺。因此中國軟件產(chǎn)業(yè)培訓(xùn)網(wǎng)決定開展“Spark大數(shù)據(jù)處理與案例分析工程師”實戰(zhàn)培訓(xùn)班。

【課程目標(biāo)】

1、深入理解Spark計算原理和編程模型，掌握Spark Core和SparkSql、SparkStreaming等上層系統(tǒng)的結(jié)合方式

2、深入掌握SparkCore、SparkSql使用調(diào)優(yōu)技巧

3、深入掌握SparkStreaming和SparkMllib使用和調(diào)優(yōu)技巧

4、深入掌握Spark和其他組件的結(jié)合使用

5、了解Spark與MapReduce分布式計算模型的區(qū)別和各自適合的使用場景。

6、能夠使用java、python和scala進(jìn)行spark應(yīng)用開發(fā)（如果要講解三種語言開發(fā)spark，工作量會非常大，建議只講解一種(可以根據(jù)企業(yè)的要求來定，）

7、熟練使用spark、spark streaming、spark SQL、spark mllib

8、深入了解spark在大型互聯(lián)網(wǎng)的架構(gòu)和使用場景

【培訓(xùn)大綱】

模塊一：Spark 2.1概述

模塊二：Spark Core

模塊三：Spark  內(nèi)部原理剖析與源碼閱讀

模塊四：Spark  程序調(diào)優(yōu)技巧

模塊五：Spark   sql 2.1

模塊六：Spark SQL程序設(shè)計與企業(yè)級應(yīng)用案例

模塊七：Spark   Streaming程序設(shè)計及應(yīng)用案例

模塊八：Spark Mllib  Spark MLlib  企業(yè)級案例

模塊九：Spark綜合案例  信用評分實時分析系統(tǒng)

模塊十：典型項目   案例實戰(zhàn)

【培訓(xùn)對象】

各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員，運(yùn)營商 IT信息化和運(yùn)維工程師相關(guān)人員，金融業(yè)信息化相關(guān)人員，或?qū)Υ髷?shù)據(jù)spark感興趣的相關(guān)人員。

【師資介紹】

張老師：阿里大數(shù)據(jù)專家，國內(nèi)的Spark、Hadoop技術(shù)專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實際項目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項目等。

【頒發(fā)證書】

參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：

1.工業(yè)和信息化部全國網(wǎng)絡(luò)與信息技術(shù)項目管理中心頒發(fā)的-大數(shù)據(jù)工程師職業(yè)技能證書。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。

注：請學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。

【培訓(xùn)特色】

本課程基于新的spark 2講解，內(nèi)容涵蓋了企業(yè)中大數(shù)據(jù)處理的四大場景：

離線批處理、流式計算、SQL處理、機(jī)器學(xué)習(xí)。Spark是一個廣泛應(yīng)用的分布式內(nèi)存計算模型，旨在大幅提升的迭代算法和交互低延遲數(shù)據(jù)挖掘的性能。Spark更適合于迭代運(yùn)算比較多的ML和DM運(yùn)算，one stack rule them all！Spark號稱一個平臺可以適合所有的應(yīng)用，如SparkSql可以處理結(jié)構(gòu)化數(shù)據(jù)，SparkStreaming旨在提供實時的計算能力，而SparkMllib則提供了豐富機(jī)器學(xué)習(xí)算法庫。

【培訓(xùn)費(fèi)用及須知】

培訓(xùn)費(fèi)6800元。（含培訓(xùn)費(fèi)、資料費(fèi)、考試費(fèi)、證書費(fèi)、講義光盤費(fèi)等）。需要住宿學(xué)員請?zhí)崆巴ㄖ?，可統(tǒng)一安排，費(fèi)用自理。