大數(shù)據(jù)平臺(tái)開發(fā)與分析高級(jí)工程師培訓(xùn)班

【課程介紹】

1.  需求理解

Hadoop 設(shè)計(jì)之初的目標(biāo)就定位于高可靠性、高可拓展性、高容錯(cuò)性和高效性，正是這些設(shè)計(jì)上與生俱來的優(yōu)點(diǎn)，才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞，同時(shí)也引起了研究界的普遍關(guān)注。

對(duì)電信運(yùn)營(yíng)商而言,用戶上網(wǎng)日志包含了大量用戶個(gè)性化需求、喜好信息,對(duì)其進(jìn)行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)小型機(jī)加關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)無法滿足對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺(tái),引入大數(shù)據(jù)處理技術(shù)的方式,實(shí)現(xiàn)高效率、低成本、易擴(kuò)展的經(jīng)營(yíng)分析系統(tǒng)混搭架構(gòu)成為電信運(yùn)營(yíng)商為傾向的選擇。本課程將全面介紹Hadoop平臺(tái)開發(fā)和運(yùn)維的各項(xiàng)技術(shù)，對(duì)學(xué)員使用該項(xiàng)技術(shù)具有很高的應(yīng)用價(jià)值。

2.  培訓(xùn)課程架構(gòu)與設(shè)計(jì)思路

（1）培訓(xùn)架構(gòu)：

本課程分為三個(gè)主要部分：

部分：重點(diǎn)講述大數(shù)據(jù)技術(shù)在的應(yīng)用，使學(xué)員對(duì)大數(shù)據(jù)技術(shù)的廣泛應(yīng)用有清晰的認(rèn)識(shí)，在這環(huán)節(jié)當(dāng)中會(huì)重點(diǎn)介紹Hadoop技術(shù)在整個(gè)大數(shù)據(jù)技術(shù)應(yīng)用中的重要地位和應(yīng)用情況。

第二部分：具體對(duì)hadoop技術(shù)進(jìn)行模塊化分拆，從大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用談起，介紹Hadoop技術(shù)各主要應(yīng)用工具和方法，以及在運(yùn)維維護(hù)當(dāng)中的主流做法，使學(xué)員全面了解和掌握Hadoop技術(shù)的精華。

第三部分：重點(diǎn)剖析大數(shù)據(jù)的應(yīng)用案例，使學(xué)員在案例當(dāng)中對(duì)該項(xiàng)技術(shù)有更深入的感觀印象

（2）設(shè)計(jì)思路：

本課程采用模塊化教學(xué)方法，以案例分析為主線，由淺入深、循序漸進(jìn)、由理論到實(shí)踐操作進(jìn)行設(shè)計(jì)。

（3）與企業(yè)的貼合點(diǎn)：

本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略，圍繞企業(yè)大數(shù)據(jù)業(yè)務(wù)及行業(yè)應(yīng)用市場(chǎng)拓展發(fā)展目標(biāo)，重點(diǎn)講授Hadoop的應(yīng)用技術(shù)，提升企業(yè)IT技術(shù)人員的開發(fā)和運(yùn)維能力，有很強(qiáng)的貼合度。

【培訓(xùn)對(duì)象】

各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員，運(yùn)營(yíng)商 IT信息化和運(yùn)維工程師相關(guān)人員，金融業(yè)信息化相關(guān)人員，或?qū)Υ髷?shù)據(jù)感興趣的相關(guān)人員。

【培訓(xùn)目標(biāo)】

掌握大數(shù)據(jù)處理平臺(tái)（Hadoop、Spark、Storm）技術(shù)架構(gòu)、以及平臺(tái)的安裝部署、運(yùn)維配置、應(yīng)用開發(fā)；掌握主流大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際應(yīng)用；利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用；講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲(chǔ)管理、分布式數(shù)據(jù)庫(kù)、大型數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)

【培訓(xùn)大綱】

（1）課程框架

詳細(xì)培訓(xùn)內(nèi)容介紹

【師資介紹】

張老師：阿里大數(shù)據(jù)專家，國(guó)內(nèi)的Spark、Hadoop技術(shù)專家、虛擬化專家，對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。

【頒發(fā)證書】

參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：

工業(yè)和信息化部頒發(fā)的-《大數(shù)據(jù)應(yīng)用開發(fā)工程師證書》。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。注：請(qǐng)學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。

【學(xué)院介紹】

軟博教育自成立以來即定位于軟件技術(shù)專業(yè)人才培養(yǎng)實(shí)訓(xùn)機(jī)構(gòu)，專注致力于軟件技術(shù)人才的培養(yǎng)，是中國(guó)科學(xué)院計(jì)算技術(shù)研究所教育中心合作培訓(xùn)機(jī)構(gòu)，也是工信部人才交流中心指定的全國(guó)計(jì)算機(jī)專業(yè)技術(shù)人才培訓(xùn)基地”，“人力資源和社會(huì)**部——全國(guó)信息化人才培養(yǎng)工程項(xiàng)目(即“653工程”)指定培養(yǎng)機(jī)構(gòu)”。

【學(xué)員上課情景】