大數(shù)據(jù)技術(shù)及行業(yè)創(chuàng)新應(yīng)用案例

模塊三：大數(shù)據(jù)技術(shù)及行業(yè)創(chuàng)新應(yīng)用案例
一、大數(shù)據(jù)系統(tǒng)平臺(tái)總體架構(gòu)及部署
1、大數(shù)據(jù)系統(tǒng)平臺(tái)總體架構(gòu)描述
（1）大數(shù)據(jù)的業(yè)務(wù)目標(biāo)
（2）大數(shù)據(jù)總體架構(gòu)模型
（3）大數(shù)據(jù)總體架構(gòu)特點(diǎn)
（4）大數(shù)據(jù)系統(tǒng)的物理架構(gòu)
（5）大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)
（6）大數(shù)據(jù)系統(tǒng)與現(xiàn)有系統(tǒng)的關(guān)系
（7）傳統(tǒng)應(yīng)用如何成為大數(shù)據(jù)系統(tǒng)的應(yīng)用
2、大數(shù)據(jù)平臺(tái)工作流程
（1）大數(shù)據(jù)采集系統(tǒng)架構(gòu)及工作流程
（2）大數(shù)據(jù)存儲(chǔ)架構(gòu)及工作流程
（3）大數(shù)據(jù)處理架構(gòu)及工作流程
（4）大數(shù)據(jù)挖掘分析架構(gòu)及工作流程
（5）大數(shù)據(jù)展現(xiàn)平臺(tái)及工作流程
3、大數(shù)據(jù)平臺(tái)技術(shù)體系構(gòu)成
（1）大數(shù)據(jù)采集技術(shù)（多樣性：多源數(shù)據(jù)融合，數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過程優(yōu)化）
（2）大數(shù)據(jù)存儲(chǔ)技術(shù)（海量：結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）
（3）大數(shù)據(jù)處理技術(shù)（快速：并行計(jì)算、流計(jì)算）
（4）大數(shù)據(jù)挖掘分析技術(shù)（價(jià)值：數(shù)據(jù)挖掘、商業(yè)智能）
（5）大數(shù)據(jù)可視化展示技術(shù)（價(jià)值：數(shù)據(jù)可視化）
（6）大數(shù)據(jù)隱私安全
4、大數(shù)據(jù)相關(guān)概念與相關(guān)技術(shù)概覽
（1）數(shù)據(jù)結(jié)構(gòu)：結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)
（2）數(shù)據(jù)庫(kù)數(shù)據(jù)模型：關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型數(shù)據(jù)庫(kù)
（3）數(shù)據(jù)處理特性：OLTP與OLAP
（4）數(shù)據(jù)一致性：強(qiáng)一致性與最終一致性
（5）數(shù)據(jù)存儲(chǔ)方式：行式存儲(chǔ)與列式存儲(chǔ)
（6）數(shù)據(jù)庫(kù)存儲(chǔ)與處理架構(gòu)：SMP與MPP
（7）數(shù)據(jù)存儲(chǔ)架構(gòu)：傳統(tǒng)分布式文件與新型分布式文件
（8）數(shù)據(jù)處理架構(gòu)：基于并行計(jì)算的分布式數(shù)據(jù)處理技術(shù)（MapReduce）
5、大數(shù)據(jù)存儲(chǔ)和處理技術(shù)
（1）分布式存儲(chǔ)和計(jì)算平臺(tái)- Hadoop
（2）分布式文件系統(tǒng)-HDFS
（3）分布式計(jì)算框架-YARN/MapReduce
（4）分布式數(shù)據(jù)庫(kù)-NoSQL
6、大數(shù)據(jù)查詢和分析技術(shù)：SQL on Hadoop
（1）Hive：基本的Hadoop 查詢和分析
（2）Hive 2.0：Hive 的優(yōu)化和升級(jí)
（3）實(shí)時(shí)互動(dòng)的SQL：Impala 和drill
（4）基于PostgreSQL 的SQL on Hadoop
（5）大數(shù)據(jù)高級(jí)分析和可視化技術(shù)
（6）傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)
（7）大數(shù)據(jù)挖掘與高級(jí)分析
（8）大數(shù)據(jù)挖掘與高級(jí)分析庫(kù)：Mahout
（9）非結(jié)構(gòu)化復(fù)雜數(shù)據(jù)分析
（10）實(shí)時(shí)預(yù)測(cè)分析
（11）開源可視化工具：R語(yǔ)言
（12）可視化技術(shù)
7、大數(shù)據(jù)Hadoop2.0平臺(tái)架構(gòu)及組件
（1）Hadoop2.0平臺(tái)總體架構(gòu)解析
Hadoop2.0平臺(tái)層次劃分及構(gòu)成
Hadoop2.0平臺(tái)軟件系統(tǒng)構(gòu)成
Hadoop2.0平臺(tái)各組件介紹
（2）Hadoop2.0平臺(tái)各組件功能描述
分布式文件系統(tǒng)-HDFS
分布式批處理計(jì)算-YARN/MapReduce
分布式數(shù)據(jù)庫(kù)-HBase分布式數(shù)據(jù)倉(cāng)庫(kù)-Hive
分布式協(xié)作服務(wù)-ZooKeeper數(shù)據(jù)分析挖掘-Pig
數(shù)據(jù)采集系統(tǒng)-Chukwa高吞吐量分布式消息系統(tǒng)-Kafka
系統(tǒng)監(jiān)控- Ambari跨語(yǔ)言服務(wù)間通信-Thrift
日志收集與轉(zhuǎn)運(yùn)工具-Flume
數(shù)據(jù)結(jié)果與線上決策的交互-Redis流計(jì)算基礎(chǔ)平臺(tái)-Storm vs Spark
流式計(jì)算框架Spark Streaming
二、大數(shù)據(jù)應(yīng)用實(shí)踐方法及行業(yè)應(yīng)用案例分析
1、大數(shù)據(jù)應(yīng)用實(shí)踐方法
（1）業(yè)務(wù)需求定義
（2）大數(shù)據(jù)應(yīng)用現(xiàn)狀分析與標(biāo)桿比較
（3）大數(shù)據(jù)系統(tǒng)平臺(tái)規(guī)劃和設(shè)計(jì)
（4）大數(shù)據(jù)技術(shù)切入與實(shí)施
（5）大數(shù)據(jù)試用和評(píng)估
（6）大數(shù)據(jù)應(yīng)用推廣
2、業(yè)務(wù)需求定義
（1）分析業(yè)務(wù)戰(zhàn)略，了解戰(zhàn)略層面的大數(shù)據(jù)需求
（2）調(diào)研業(yè)務(wù)經(jīng)營(yíng)模式、管理現(xiàn)狀、進(jìn)行大數(shù)據(jù)需求分析，發(fā)現(xiàn)應(yīng)用機(jī)會(huì)和場(chǎng)景
（3）發(fā)現(xiàn)大數(shù)據(jù)應(yīng)用對(duì)企業(yè)的機(jī)會(huì)和挑戰(zhàn)
（4）標(biāo)桿應(yīng)用研究
3、各行業(yè)大數(shù)據(jù)應(yīng)用的個(gè)性需求分析方法
（1）“互聯(lián)網(wǎng)與電子商務(wù)行業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（2）“電信運(yùn)營(yíng)業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（3）“政府”大數(shù)據(jù)應(yīng)用需求分析
（4）“金融業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（5）“零售業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（6）“教育業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（7）“醫(yī)療業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（8）“能源業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（9）“制造業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（10）“交通物流業(yè)”大數(shù)據(jù)應(yīng)用需求分析
（11）企業(yè)級(jí)大數(shù)據(jù)應(yīng)用的共性需求分析
（12）客戶分析
（13）績(jī)效分析
（14）欺詐和風(fēng)險(xiǎn)評(píng)估
4、大數(shù)據(jù)應(yīng)用現(xiàn)狀分析與標(biāo)桿比較
（1）分析數(shù)據(jù)應(yīng)用現(xiàn)狀和能力
（2）分析應(yīng)用場(chǎng)景和數(shù)據(jù)容量、種類和速度
（3）確定大數(shù)據(jù)評(píng)價(jià)指標(biāo)體系
（4）應(yīng)用場(chǎng)景的數(shù)據(jù)源和樣本分析
（5）標(biāo)桿數(shù)據(jù)分析研究
5、大數(shù)據(jù)系統(tǒng)平臺(tái)規(guī)劃和設(shè)計(jì)
（1）大數(shù)據(jù)戰(zhàn)略目標(biāo)定義
（2）大數(shù)據(jù)系統(tǒng)平臺(tái)架構(gòu)設(shè)計(jì)
提出大數(shù)據(jù)架構(gòu)
細(xì)化獲取架構(gòu)
處理和存儲(chǔ)架構(gòu)
分析架構(gòu)
信息安全架構(gòu)
大數(shù)據(jù)組織架構(gòu)
6、關(guān)鍵技術(shù)系統(tǒng)設(shè)計(jì)
7、技術(shù)選型和采購(gòu)建議
8、技術(shù)實(shí)施規(guī)劃
（1）大數(shù)據(jù)技術(shù)切入與實(shí)施
大數(shù)據(jù)技術(shù)試驗(yàn)
試點(diǎn)和數(shù)據(jù)采集、存儲(chǔ)和分析
平臺(tái)部署
（2）大數(shù)據(jù)試用和評(píng)估
大數(shù)據(jù)試用
大數(shù)據(jù)評(píng)估
9、大數(shù)據(jù)應(yīng)用推廣
（1）需求分析
（2）應(yīng)用推廣準(zhǔn)備
（3）啟動(dòng)新的項(xiàng)目
10、以電信運(yùn)營(yíng)商客戶分析為例的大數(shù)據(jù)實(shí)施案例分析
（1）大數(shù)據(jù)客戶分析業(yè)務(wù)需求
（2）大數(shù)據(jù)客戶分析現(xiàn)狀與標(biāo)桿比較（3）大數(shù)據(jù)客戶分析應(yīng)用架構(gòu)規(guī)劃與設(shè)計(jì)
（4）大數(shù)據(jù)客戶分析實(shí)施、試點(diǎn)和推廣

王老師老師的其它課程