【課程簡(jiǎn)介】
大數(shù)據(jù)建模與分析挖掘技術(shù)已經(jīng)逐步地應(yīng)用到新興互聯(lián)網(wǎng)企業(yè)(如電子商務(wù)網(wǎng)站、搜索引擎、社交網(wǎng)站、互聯(lián)網(wǎng)廣告服務(wù)提供商等)、銀行金融證券企業(yè)、電信運(yùn)營(yíng)等行業(yè),給這些行業(yè)帶來(lái)了一定的數(shù)據(jù)價(jià)值增值作用。
本次課程面向有一定的數(shù)據(jù)分析挖掘算法基礎(chǔ)的工程師,帶大家實(shí)踐大數(shù)據(jù)分析挖掘平臺(tái)的項(xiàng)目訓(xùn)練,系統(tǒng)地講解數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、挖掘模型建立、大數(shù)據(jù)分析與挖掘算法應(yīng)用在業(yè)務(wù)模型中,結(jié)合主流的Hadoop與Spark大數(shù)據(jù)分析平臺(tái)架構(gòu),實(shí)現(xiàn)項(xiàng)目訓(xùn)練。
結(jié)合業(yè)界使用廣泛的主流大數(shù)據(jù)平臺(tái)技術(shù),重點(diǎn)剖析基于大數(shù)據(jù)分析算法與BI技術(shù)應(yīng)用,包括分類(lèi)算法、聚類(lèi)算法、預(yù)測(cè)分析算法、推薦分析模型等在業(yè)務(wù)中的實(shí)踐應(yīng)用,并根據(jù)講師給定的數(shù)據(jù)集,實(shí)現(xiàn)兩個(gè)基本的日志數(shù)據(jù)分析挖掘系統(tǒng),以及電商(或內(nèi)容)推薦系統(tǒng)引擎。
本課程基本的實(shí)踐環(huán)境是Linux集群,JDK1.8, Hadoop 2.7.*,Spark 2.1.*。
學(xué)員需要準(zhǔn)備的電腦好是i5及以上CPU,4GB及以上內(nèi)存,硬盤(pán)空間預(yù)留50GB(可用移動(dòng)硬盤(pán)),基本的大數(shù)據(jù)分析平臺(tái)所依賴(lài)的軟件包和依賴(lài)庫(kù)等,講師已經(jīng)提前部署在虛擬機(jī)鏡像(VMware鏡像),學(xué)員根據(jù)講師的操作任務(wù)進(jìn)行實(shí)踐。
本課程采用技術(shù)原理與項(xiàng)目實(shí)戰(zhàn)相結(jié)合的方式進(jìn)行教學(xué),在講授原理的過(guò)程中,穿插實(shí)際的系統(tǒng)操作,本課程講師也精心準(zhǔn)備的實(shí)際的應(yīng)用案例供學(xué)員動(dòng)手訓(xùn)練。
【課程內(nèi)容】
具體安排如下:
天:
大數(shù)據(jù)分析挖掘項(xiàng)目的數(shù)據(jù)集成操作訓(xùn)練
業(yè)界主流的數(shù)據(jù)倉(cāng)庫(kù)工具和大數(shù)據(jù)分析挖掘工具
基于Hadoop的大型數(shù)據(jù)倉(cāng)庫(kù)管理平臺(tái)—HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐
Spark大數(shù)據(jù)分析挖掘平臺(tái)實(shí)踐操作訓(xùn)練
第二天:
聚類(lèi)分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用
分類(lèi)分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用
關(guān)聯(lián)分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用
第三天:
推薦分析挖掘模型與算法技術(shù)應(yīng)用
回歸分析模型與預(yù)測(cè)算法
圖關(guān)系建模與分析挖掘及其鏈接分析和社交分析操作
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法模型及其應(yīng)用實(shí)踐
項(xiàng)目實(shí)踐
培訓(xùn)總結(jié)
【培訓(xùn)目標(biāo)】
1.本課程讓學(xué)員充分掌握大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)、大數(shù)據(jù)分析的基本理論、機(jī)器學(xué)習(xí)的常用算法、國(guó)內(nèi)外主流的大數(shù)據(jù)分析與BI商業(yè)智能分析解決方案、以及大數(shù)據(jù)分析在搜索引擎、廣告服務(wù)推薦、電商數(shù)據(jù)分析、金融客戶(hù)分析方面的應(yīng)用案例。
2.本課程強(qiáng)調(diào)主流的大數(shù)據(jù)分析挖掘算法技術(shù)的應(yīng)用和分析平臺(tái)的實(shí)施,讓學(xué)員掌握主流的基于大數(shù)據(jù)Hadoop和Spark、R的大數(shù)據(jù)分析平臺(tái)架構(gòu)和實(shí)際應(yīng)用,并用結(jié)合實(shí)際的生產(chǎn)系統(tǒng)案例進(jìn)行教學(xué),掌握基于Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)分布式系統(tǒng)平臺(tái)應(yīng)用,以及商業(yè)和開(kāi)源的數(shù)據(jù)分析產(chǎn)品加上Hadoop平臺(tái)形成大數(shù)據(jù)分析平臺(tái)的應(yīng)用剖析。
3.讓學(xué)員掌握常見(jiàn)的機(jī)器學(xué)習(xí)算法,深入講解業(yè)界成熟的大數(shù)據(jù)分析挖掘與BI平臺(tái)的實(shí)踐應(yīng)用,并以客戶(hù)分析系統(tǒng)、日志分析和電商推薦系統(tǒng)為案例,串聯(lián)常用的數(shù)據(jù)挖掘技術(shù)進(jìn)行應(yīng)用教學(xué)。
【培訓(xùn)人群】
1.大數(shù)據(jù)分析應(yīng)用開(kāi)發(fā)工程師
2.大數(shù)據(jù)分析項(xiàng)目的規(guī)劃咨詢(xún)管理人員
3.大數(shù)據(jù)分析項(xiàng)目的IT項(xiàng)目高管人員
4.大數(shù)據(jù)分析與挖掘處理算法應(yīng)用工程師
5.大數(shù)據(jù)分析集群運(yùn)維工程師
6.大數(shù)據(jù)分析項(xiàng)目的售前和售后技術(shù)支持服務(wù)人員
【培訓(xùn)特色】
定制授課+ 實(shí)戰(zhàn)案例訓(xùn)練+ 互動(dòng)咨詢(xún)討論,共3天
(說(shuō)明:講師會(huì)提供虛擬機(jī)鏡像,并把Hadoop,Spark等系統(tǒng)提前部署在虛擬機(jī)中,分析挖掘平臺(tái)構(gòu)建在Hadoop與Spark之上,學(xué)員自帶筆記本,運(yùn)行虛擬機(jī),并利用同樣的鏡像啟動(dòng)多臺(tái)虛擬機(jī),構(gòu)建實(shí)驗(yàn)集群,鏡像會(huì)提前給學(xué)員)
【師資力量】
張老師:阿里大數(shù)據(jù)專(zhuān)家,國(guó)內(nèi)的Spark、Hadoop技術(shù)專(zhuān)家、虛擬化專(zhuān)家,對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究,更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用,因此在Hadoop開(kāi)發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有:某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢(xún)系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶(hù)上網(wǎng)記錄、某省交通部門(mén)違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。
鐘老師,男,博士畢業(yè)于中國(guó)科學(xué)院,獲工學(xué)博士學(xué)位(計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)方向),曾在國(guó)內(nèi)某高校和某大型通信企業(yè)工作過(guò),目前在中國(guó)科學(xué)院某研究所工作,工程師,副研究員,課題組長(zhǎng),團(tuán)隊(duì)成員二十余人。大數(shù)據(jù)、云計(jì)算系列課程建設(shè)與教學(xué)專(zhuān)家,新技術(shù)課程開(kāi)發(fā)組長(zhǎng)。近八年來(lái)帶領(lǐng)團(tuán)隊(duì)主要從事大數(shù)據(jù)管理與高性能分析處理(Hadoop、Spark、Storm)、大數(shù)據(jù)倉(cāng)庫(kù)(HIVE)和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)(SparkSQL、Shark),大數(shù)據(jù)建模挖掘與機(jī)器學(xué)習(xí)(Mahout、MLib、Oryx、Pentaho BI、SAS、SPSS、R等)、MPP并行數(shù)據(jù)倉(cāng)庫(kù)(Greenplum etc)、NoSQL與NewSQL分布式數(shù)據(jù)庫(kù)(HBase、MongoDB、Cassandra etc)、(移動(dòng))電子商務(wù)平臺(tái)、大數(shù)據(jù)搜索平臺(tái)(ElasticSearch、Solr、Lucene等)、云計(jì)算與虛擬化(OpenStack,VMware,XenServer,CloudStack,KVM,Docker,SaaS服務(wù))、云存儲(chǔ)系統(tǒng)、Swift對(duì)象存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)GIS地圖服務(wù)器、互聯(lián)網(wǎng)+在線教育云平臺(tái)方面的項(xiàng)目研發(fā)與管理工作。
【頒發(fā)證書(shū)】
參加相關(guān)培訓(xùn)并通過(guò)考試的學(xué)員,可以獲得:
1.工業(yè)和信息化部頒發(fā)的-大數(shù)據(jù)挖掘工程師職業(yè)技能證書(shū)。該證書(shū)可作為專(zhuān)業(yè)技術(shù)人員職業(yè)能力考核的證明,以及專(zhuān)業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。
注:請(qǐng)學(xué)員帶二寸彩照2張(背面注明姓名)、身份證復(fù)印件一張。
【培訓(xùn)費(fèi)用及須知】
培訓(xùn)費(fèi)7800元/人。(含培訓(xùn)費(fèi)、資料費(fèi)、考試費(fèi)、證書(shū)費(fèi)、講義費(fèi)等)。需要住宿學(xué)員請(qǐng)?zhí)崆巴ㄖ?,可統(tǒng)一安排,費(fèi)用自理。