大數(shù)據(jù)技術及應用

《大數(shù)據(jù)技術及應用》課程教學大綱
一 、課程基本信息
課程名稱
大數(shù)據(jù)技術及應用（英文名稱） Big data technology and App lic
ation
課程學時
理論 8 小時，實驗 4 小時
授課方式
多媒體+實踐
考核方式
實踐考試+課程論文
開課單位
先修課程
C 語言程序設計；Java 程序設計；數(shù)據(jù)結構；Linux 操作系統(tǒng)；
后續(xù)課程
大數(shù)據(jù)算法；
適用專業(yè)
數(shù)據(jù)科學與大數(shù)據(jù)技術、人工智能、模式識別與人工智能；信息
技術-職業(yè)技術教育方向
二 、課程的性質 、 目的和任務
《大數(shù)據(jù)技術及應用》 是大數(shù)據(jù)管理及應用專業(yè)人員一 門核心課程 ，也是 該專業(yè)的導入課程 ，以引導學生對數(shù)據(jù)科學與大數(shù)據(jù)技術與應用有一個全面和
概括性的了解。
通過本課程學習，使學生能較系統(tǒng)地掌握大數(shù)據(jù)的基本知識、原理和方法， 初步具備大數(shù)據(jù)的應用、開發(fā)的能力 ，為從事大數(shù)據(jù)分析、建模、可視化奠定 基礎 。 目的是讓學生了解并掌握四個領域即大數(shù)據(jù)系統(tǒng)的起源及系統(tǒng)特征；大 數(shù)據(jù)系統(tǒng)的架構設計及功能目標設計；大數(shù)據(jù)系統(tǒng)程序開發(fā)；企業(yè)大數(shù)據(jù)案例 分析的內容，同時利用真機實驗環(huán)節(jié)以及大數(shù)據(jù)實訓一體機來提升學生對大數(shù)
據(jù)開發(fā)的實踐能力；
本課程重點讓學生掌握三個方面的內容：
（1）基礎篇： 主要包括 HDFS 使用操作、MapReduce 開發(fā)； 、HBase 數(shù)據(jù)庫
的開發(fā)；
（2）核心篇： YARN 架構、Spark 集群計算；
（3）應用篇： 醫(yī)藥大數(shù)據(jù)案例分析。
三 、課程教學目標
（一）總體目標
掌握大數(shù)據(jù)分析的基本理論、技術， 了解大數(shù)據(jù)分析的典型應用場景、掌
握如何分析數(shù)據(jù)、解決問題、完成相關研究的方法 ，具有創(chuàng)新和獨立思意識。
（二） 具體目標
通過本課程的學習 ，學生應達到如下目標：
1．知識與技能
（1） 了解大數(shù)據(jù)平臺搭建的步驟，掌握大數(shù)據(jù)的存儲、分析的原理；
（2） 了解大數(shù)據(jù)分析的典型應用場景，例如文本挖掘、Web 廣告、聚類、
推薦系統(tǒng)、Web 鏈接分析、社交網(wǎng)絡大數(shù)據(jù)分析、頻繁項集；
（3） 理解大數(shù)據(jù)分析和挖掘的基本理論技術；
（4） 能獲取、處理、分析和應用大數(shù)據(jù)資源。
2．過程與方法
（1）經(jīng)過對大數(shù)據(jù)領域的探索，學會用大數(shù)據(jù)思維認識、分析和解決問題。
3．情感與態(tài)度
（1）通過探究活動，養(yǎng)成認真嚴謹?shù)膶W習態(tài)度；
（2）通過師生、生生互動交流 ，體驗大數(shù)據(jù)的價值和魅力。
四 、教學內容及教學基本要求
第一講 大數(shù)據(jù)概述
（一）教學目的
通過本章的學習掌握大數(shù)據(jù)基本概念 ，理解大數(shù)據(jù)的處理流程， 了解大數(shù)
據(jù)在行業(yè)中的應用和未來趨勢。
（二） 教學要求
1、解釋大數(shù)據(jù)基本概念；
2、分析大數(shù)據(jù)的分析處理流程；
3、知道大數(shù)據(jù)技術應用場景和前景。
（三）教學內容
第一節(jié)大數(shù)據(jù)的概述知識要點： 大數(shù)據(jù)的定義和特征。
第二節(jié)大數(shù)據(jù)分析的過程、技術及工具知識要點： 大數(shù)據(jù)的采集、存儲方
式、分析技術、展示及應用。
第三節(jié)大數(shù)據(jù)技術的發(fā)展前景知識要點： 大數(shù)據(jù)技術不斷發(fā)展， 出現(xiàn)更多
的應用項目。
（四）教學重點與難點
1．教學重點： 大數(shù)據(jù)的基本概念。
2．教學難點： 大數(shù)據(jù)分析處理的流程。
第二講 大數(shù)據(jù)集群系統(tǒng)基礎
（一）教學目的
能分析大數(shù)據(jù)集群 ， 闡明其基本原理； 在虛擬化計算機系統(tǒng)中安裝
CentOS 7 操作系統(tǒng) ，通過 SecureCRT/Xshell 訪問 CentOS 7 操作系統(tǒng) ， 以 三臺節(jié)點機搭建大數(shù)據(jù)集群環(huán)境。
（二）教學要求
1.掌握虛擬機軟件 VMware Workstation 10 及以上和終端仿真程序 SecureCRT/Xshell 的下載、安裝和使用方法；
2.掌握 VMware Workstation 10 中安裝 CentOS 7 的方法；
3.理解大數(shù)據(jù)集群相關組成和技術 ，部署大數(shù)據(jù)集群。
（三）教學內容
第一節(jié) CentOS 大數(shù)據(jù)集群系統(tǒng)的組成知識要點：CentOS 概念、CentOS 集群系統(tǒng)拓撲圖。
第二節(jié) 操作實踐：大數(shù)據(jù)集群的部署知識要點：集群規(guī)劃、網(wǎng)絡配置、 安全配置、時間同步、SSH 登錄。
（四）教學重點與難點
1．教學重點：VMwareWorkstation、CentOS 7、SecureCRT 的安裝和使 用。
2．教學難點： 大數(shù)據(jù)集群的部署。
第三講 Hadoop 分布式系統(tǒng)
（一）教學目的
Hadoop 的使用需要搭建一個完整的分布式系統(tǒng)，在理解 Hadoop 工作原 理的基礎上配置和運行 Hadoop。
（二）教學要求
1.說明 Hadoop 的運行原理。
2.掌握 Hadoop 環(huán)境的安裝與配置。
（三）教學內容
第一節(jié) Hadoop 相關技術及生態(tài)系統(tǒng)知識要點：構成 Hadoop 生態(tài)系統(tǒng) 的相關技術。
第二節(jié) 操作實踐： Hadoop 安裝與配置知識要點： JDK 安裝、Hadoop 安裝、Hadoop 運行、瀏覽 Hadoop 頁面。
（四）教學重點與難點
1．教學重點：Hadoop 安裝過程中 hadoop-en v.sh、yarn-en v.sh、slaves、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件 的配置。
2．教學難點： Hadoop 安裝過程中參數(shù)的配置。
第四講 HDFS 分布式文件系統(tǒng)
（一）教學目的
Hadoop 采用分布式 HDFS，通過本章學習掌握 HDFS 的基本原理，掌握 HDFS
相關的操作命令，并能夠應用 Java 對 HDFS 進行編程。（二） 教學要求
1 ． 了解 HDFS 的特點、架構、數(shù)據(jù)讀取過程、數(shù)據(jù)寫入過程。
2. 掌握 HDFS 操作。
（三）教學內容
第一節(jié) HDFS 知識要點： HDFS 設計前提和設計目標、Namenode 和 Datanode、文件系統(tǒng)的名字空間、數(shù)據(jù)復制、HDFS 讀寫流程。
第二節(jié) HDFS 操作實踐知識要點： HDFSShell、HDFS JavaAPI、Eclipse 開發(fā)環(huán)境、綜合實例。
（四）教學重點與難點
1．教學重點： HDFS 的原理、數(shù)據(jù)讀寫的原理。
2．教學難點:HDFS 綜合實例。
第五講 分布式計算系統(tǒng)—MapReduce 及其應用實例
（一）教學目的
Hadoop 采用分布式計算系統(tǒng) MapReduce，通過本章的學習，掌握 MapReduce 的基本原理、架構以及工作機制 ，并且掌握 MapReduce 的編程操作，從而運用 到實處。
（二）教學要求
1.分析 MapReduce 的基本原理、架構以及工作機制；
2.操作 MapReduce WordCount 編程和 MapReduce 倒排索引編程 ，實現(xiàn)其應 用。
（三）教學內容
第一節(jié) MapReduce 簡介知識要點： MapReduce 架構、原理、工作機制。
第二節(jié) MapReduce 操作實踐知識要點： MapReduceWordCount 編程實例、 MapReduce 倒排索引編程實例。
（四）教學重點與難點
1.教學重點： MapReduce 的基本原理、架構以及工作機制等知識內容。
2.教學難點：MapReduce WordCount 編程實例；MapReduce 倒排索引編程實 例
實踐課 醫(yī)藥大數(shù)據(jù)案例分析
（一）教學目的
根據(jù)大數(shù)據(jù)系統(tǒng)的需求分析 ，在 Hadoop 框架下 ，基于 Hbase 數(shù)據(jù)庫，綜合 應用各項關鍵技術完成大數(shù)據(jù)系統(tǒng)的功能。
（二）教學要求
能在 Hadoop 框架下，綜合大數(shù)據(jù)應用系統(tǒng)編程的原理、技術 ，呈現(xiàn)既定的 運行結果。
（三） 教學內容
第一節(jié) 項目概述知識要點： 醫(yī)藥電商大數(shù)據(jù)分析平臺的形成背景。
第二節(jié) 功能需求知識要點：流量分析、經(jīng)營狀況分析、大數(shù)據(jù)可視化系統(tǒng)。 第三節(jié) 軟件關鍵技術知識要點： 醫(yī)藥電商大數(shù)據(jù)分析平臺的關鍵技術。
第四節(jié) 效果展示知識要點： 各類分析效果圖。
第五節(jié) 系統(tǒng)構架設計知識要點：系統(tǒng)的組成、協(xié)作方式、網(wǎng)絡拓撲、建設 方案。
第六節(jié) 數(shù)據(jù)存儲設計知識要點：設計流量數(shù)據(jù)表、訂單數(shù)據(jù)表、會員評價 表。
第七節(jié) 數(shù)據(jù)分析知識要點：采集、分析數(shù)據(jù)。第八節(jié) 數(shù)據(jù)展示知識要點： 結果數(shù)據(jù)展示代碼。
（四）教學重點與難點
1.教學重點： 大數(shù)據(jù)系統(tǒng)的需求分析、Hbase 數(shù)據(jù)庫的建立、程序的設計 與實現(xiàn)。
2.教學難點： 程序的設計與實現(xiàn)。
五 、各教學環(huán)節(jié)學時分配
章節(jié)
教學內容
各教學環(huán)節(jié)學時分配
合 計
講 授
練 習
研 討
在線
學習
課 外
其 它
第一講
大數(shù)據(jù)概論
1
1
第二講
大數(shù)據(jù)集群系統(tǒng)基礎
1
1
第三講
Hadoop 分布式系統(tǒng)
2
2
第四講
HDFS 分布式文件系統(tǒng)
1
1
2
第五講
MapReduce 分布式計算
1.5
0.5
2
第 6 講
醫(yī)藥大數(shù)據(jù)案例分析
1
3
4
合計
12
六 、教學手段與方法
1.教學手段 :本課程主要采用多媒體、課件演示、實驗實訓等教學手段進行 教學。
2.教學方法 :本課程主要采用任務驅動、案例教學、講授與討論相結合等教 學方法進行教學 。課程內容主要按大數(shù)據(jù)處理任務進行組織 ，因此可以按解決 相應任務所需的方法技術進行教學組織和實踐 。在課程的授課過程中 ，對于學 生難以理解的方法技術都給與案例分析，完整展現(xiàn)相應方法技術是如何實施和 應用的 。另外 ，課程教學過程中 ，可以圍繞相關大數(shù)據(jù)處理的任務組織學生進 行討論，培養(yǎng)學生主動學習、解決問題的能力。
七 、考核方式 、考核內容及成績評定
1.考核評價方式
1）過程性考核評價方式。本課程的過程性考核評價方式主要包括：考勤、 作業(yè)、討論、隨堂提問等。
2）結果性考核評價方式。本課程的結果性考核評價方式主要是期末考查（開 卷）。根據(jù)各章知識點，設計期末考查試卷。
八 、課程教材
[1]朝樂門.數(shù)據(jù)科學[M].北京：清華大學出版社,2020.
[2]朝樂門.數(shù)據(jù)科學理論與實踐[M].北京：清華大學出版社,2019.
[3]周蘇,王文.大數(shù)據(jù)導論[M].清華大學出版社,2020 第一版
[4]許晶華.管理信息系統(tǒng)[M].廣州:華南理工大學出版社,2015.
[5]黃梯云.管理信息系統(tǒng)[M].北京:高等教育出版社,2019.
[6]薛華成.管理信息系統(tǒng)[M].北京:清華大學出版社,2020.

李海良老師的其它課程