Hadoop大數(shù)據(jù)平臺(tái)開發(fā)與案例分析高級(jí)工程師實(shí)戰(zhàn)培訓(xùn)班

時(shí)間

培訓(xùn)內(nèi)容

教學(xué)方式

第一天

上午

第一部分：移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹
第二部分：大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向

理論講授+案例分析

下午

第三部分：大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用
第四部分：Hadoop文件系統(tǒng)HDFS最佳實(shí)戰(zhàn)

理論講授+案例分析+小組討論

第二天

上午

第五部分：Hadoop運(yùn)維管理與性能調(diào)優(yōu)
第六部分：NOSQL數(shù)據(jù)庫(kù)Hbase與Redis

理論講授+案例分析+實(shí)戰(zhàn)演練

下午

第七部分：類SQL語句工具——Hive
第八部分：數(shù)據(jù)挖掘SPARK建�；A(chǔ)介紹

理論講授+案例分析+實(shí)戰(zhàn)演練

第三天

上午

第九部分：Kafka基礎(chǔ)介紹
第十部分：大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營(yíng)

理論講授+案例分析

下午

第十一部分：當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國(guó)內(nèi)外運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司為例
第十二部分：課程總結(jié)與問題答疑
評(píng)估培訓(xùn)

理論講授+案例分析+小組討論

課程模塊

課程主題

主要內(nèi)容及案例和演示

模塊一

移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹

• 數(shù)據(jù)中心與云計(jì)算技術(shù)應(yīng)用
• 智慧城市與云計(jì)算技術(shù)應(yīng)用
• 移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與云計(jì)算關(guān)聯(lián)技術(shù)
• 移動(dòng)云計(jì)算的生態(tài)系統(tǒng)及產(chǎn)業(yè)鏈
• 大數(shù)據(jù)技術(shù)在運(yùn)營(yíng)商、金融業(yè)、銀行業(yè)、電子商務(wù)行業(yè)、零售業(yè)、制造業(yè)、政務(wù)信息化、互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應(yīng)用實(shí)踐
• 國(guó)內(nèi)外主流的大數(shù)據(jù)解決方案介紹
• 當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫(kù)方案的剖析比較
• Cloudera Hadoop 大數(shù)據(jù)平臺(tái)方案剖析
• 開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺(tái)剖析

模塊二

大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向

• 大數(shù)據(jù)時(shí)代的挑戰(zhàn)
• 戰(zhàn)略決策能力
• 技術(shù)開發(fā)和數(shù)據(jù)處理能力
• 組織和運(yùn)營(yíng)能力
• 大數(shù)據(jù)時(shí)代的發(fā)展方向
• 云計(jì)算是基礎(chǔ)設(shè)施架構(gòu)
• 大數(shù)據(jù)是靈魂資產(chǎn)
• 分析、挖掘是手段
• 發(fā)現(xiàn)和預(yù)測(cè)是最終目標(biāo)
• 大數(shù)據(jù)挖掘在各行業(yè)應(yīng)用情況
• 電信行業(yè)應(yīng)用及案例分析
• 互聯(lián)網(wǎng)行業(yè)應(yīng)用及案例分析
• 金融行業(yè)應(yīng)用及案例研究
• 銷售行業(yè)應(yīng)用案例分析

模塊三

大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用

• Hadoop的發(fā)展歷程
• Hadoop大數(shù)據(jù)平臺(tái)架構(gòu)
• 基于Hadoop平臺(tái)的PB級(jí)大數(shù)據(jù)存儲(chǔ)管理與分析處理的工作原理與機(jī)制
• Hadoop 的核心組件剖析
• 分布式文件系統(tǒng)HDFS
• 概述、功能、作用、優(yōu)勢(shì)
• 應(yīng)用范疇、應(yīng)用現(xiàn)狀
• 發(fā)展趨勢(shì)
• 分布式文件系統(tǒng)HDFS架構(gòu)及原理
• 核心關(guān)鍵技術(shù)
• 設(shè)計(jì)精髓
• 基本工作原理
• 系統(tǒng)架構(gòu)
• 文件存儲(chǔ)模式
• 工作機(jī)制
• 存儲(chǔ)擴(kuò)容與吞吐性能擴(kuò)展
• 分布式文件系統(tǒng)HDFS操作
• SHELL命令操作
• I/O流式操作
• 文件數(shù)據(jù)讀取、寫入、追加、刪除
• 文件狀態(tài)查詢
• 數(shù)據(jù)塊分布機(jī)制
• 數(shù)據(jù)同步與一致性
• 元數(shù)據(jù)管理技術(shù)
• 主節(jié)點(diǎn)與從節(jié)點(diǎn)工作機(jī)制
• 大數(shù)據(jù)負(fù)載均衡技術(shù)
• HDFS大數(shù)據(jù)存儲(chǔ)集群管理技術(shù)
• Hadoop生態(tài)系統(tǒng)組件
• Storm
• HDFS
• MapReduce
• HIVE
• HBase
• Spark
• GraphX
• MLib
• Shark

模塊四

Hadoop文件系統(tǒng)HDFS最佳實(shí)戰(zhàn)

• HDFS的設(shè)計(jì)
• HDFS的概念
• 數(shù)據(jù)塊
• namenode和datanode
• 聯(lián)邦HDFS
• HDFS的高可用性
• 命令行接口
• Hadoop文件系統(tǒng)
• Java接口
• 從Hadoop URL讀取數(shù)據(jù)
• 通過FileSystem API讀取數(shù)據(jù)
• 寫入數(shù)據(jù)
• 目錄
• 查詢文件系統(tǒng)
• 刪除數(shù)據(jù)
• 數(shù)據(jù)流
• 剖析文件讀取
• 剖析文件寫入
• 一致模型
• 通過Flume和Sqoop導(dǎo)入數(shù)據(jù)
• 通過distcp并行復(fù)制
• Hadoop存檔
• 使用Hadoop存檔工具
• 不足

模塊五

Hadoop運(yùn)維管理與性能調(diào)優(yōu)

• 第二代大數(shù)據(jù)處理框架
• Yarn的工作原理及
• DAG并行執(zhí)行機(jī)制
• Yarn大數(shù)據(jù)分析處理案例分析
• Yarn 框架并行應(yīng)用程序?qū)嵺`
• 集群配置管理
• Hadoop集群配置
• Hadoop性能調(diào)優(yōu)與參數(shù)配置
• Hadoop機(jī)架感知策略與配置
• Hadoop壓縮機(jī)制
• Hadoop任務(wù)負(fù)載均衡
• Hadoop 集群維護(hù)
• Hadoop監(jiān)控管理
• HDFS的靜態(tài)調(diào)優(yōu)技巧
• HDFS 的高吞吐量I/O性能調(diào)優(yōu)技巧
• MapReduce/Yarn的并行處理性能調(diào)優(yōu)技巧
• Hadoop集群的運(yùn)行故障剖析，以及解決方案
• 基于Hadoop大數(shù)據(jù)應(yīng)用程序的性能瓶頸剖析與提
• Hadoop 大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng) HUE 平臺(tái)的安裝部署與應(yīng)用配置
• Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari平臺(tái)的安裝部配置
• Hadoop 集群運(yùn)維系統(tǒng) Ganglia, Nagios的安裝部署與應(yīng)用配置

模塊六

NOSQL數(shù)據(jù)庫(kù)Hbase與Redis

• NOSQL基礎(chǔ)
• CAP理論
• Base與ACID
• NOSQL數(shù)據(jù)庫(kù)存儲(chǔ)類型
• 鍵值存儲(chǔ)
• 列存儲(chǔ)
• 文檔存儲(chǔ)
• 圖形存儲(chǔ)
• HBase分布式數(shù)據(jù)基礎(chǔ)
• 安裝Hbase
• Hbase應(yīng)用
• HBase的邏輯數(shù)據(jù)模型，HBase的表、行、列族、列、單元格、版本、row key排序
• HBase的物理模型，命名空間（表空間）、表模式（Schema）的設(shè)計(jì)法則
• HBase 主節(jié)點(diǎn)HMaster的工作原理，HMaster的高可用配置，以及性能調(diào)優(yōu)
• HBase 從節(jié)點(diǎn)RegionServer（分區(qū)服務(wù)節(jié)點(diǎn)）的工作原理，表分區(qū)及存儲(chǔ)I/O高并發(fā)配置，以及性能調(diào)優(yōu)
• HBase的存儲(chǔ)引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲(chǔ)結(jié)構(gòu)，以及HFile存儲(chǔ)結(jié)構(gòu)剖析
• HBase表設(shè)計(jì)與數(shù)據(jù)操作以及數(shù)據(jù)庫(kù)管理操作
• HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化
• HBase分布式數(shù)據(jù)庫(kù)簡(jiǎn)介、發(fā)展歷程、應(yīng)用場(chǎng)景、工作原理、以及應(yīng)用優(yōu)勢(shì)與不足之處
• HBase分布式數(shù)據(jù)庫(kù)集群的主從式平臺(tái)架構(gòu)和關(guān)鍵技術(shù)剖析
• HBase偽分布式和物理集群分布式的控制與運(yùn)行配置
• HBase從節(jié)點(diǎn)RegionServer（分區(qū)服務(wù)節(jié)點(diǎn)）的工作原理，表分區(qū)及存儲(chǔ)I/O高并發(fā)配置，以及性能調(diào)優(yōu)
• HBase的存儲(chǔ)引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲(chǔ)結(jié)構(gòu)，以及HFile存儲(chǔ)結(jié)構(gòu)剖析
• HBase表設(shè)計(jì)與數(shù)據(jù)操作以及數(shù)據(jù)庫(kù)管理操作
• HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化
• ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理、平臺(tái)架構(gòu)、集群部署應(yīng)用實(shí)戰(zhàn)
• ZooKeeper集群的原理架構(gòu)，以及應(yīng)用配置
• Redis內(nèi)存數(shù)據(jù)庫(kù)介紹，以及業(yè)界應(yīng)用案例
• Redis內(nèi)存數(shù)據(jù)庫(kù)集群架構(gòu)以及核心技術(shù)剖析
• Redis 集群的安裝部署與應(yīng)用開發(fā)實(shí)戰(zhàn)

模塊七

類SQL語句工具——Hive

• 安裝Hive
• 示例
• 運(yùn)行Hive
• 配置Hive
• Hive服務(wù)
• Metastore
• Hive與傳統(tǒng)數(shù)據(jù)庫(kù)相比
• 讀時(shí)模式vs.寫時(shí)模式
• 更新、事務(wù)和索引
• HiveQL
• 數(shù)據(jù)類型
• 操作與函數(shù)
• 表
• 托管表和外部表
• 分區(qū)和桶
• 存儲(chǔ)格式
• 導(dǎo)入數(shù)據(jù)
• 表的修改
• 表的丟棄
• 查詢數(shù)據(jù)
• 排序和聚集
• MapReduce腳本
• 連接
• 子查詢
• 視圖
• 用戶定義函數(shù)
• 寫UDF
• 寫UDAF

模塊八

數(shù)據(jù)挖掘SPARK建模基礎(chǔ)介紹

• Spark簡(jiǎn)介
• Spark是什么
• Spark生態(tài)系統(tǒng)BDAS
• Spark架構(gòu)
• Spark分布式架構(gòu)與單機(jī)多核架構(gòu)的異同
• Spark集群的安裝與部署
• Spark的安裝與部署
• Spark集群初試
• Spark硬件配置
• Spark硬件
• Spark硬件配置流程

模塊九

Kafka基礎(chǔ)介紹

• Kafka介紹
• kafka體系結(jié)構(gòu)
• kafka設(shè)計(jì)理念簡(jiǎn)介
• kafka通信協(xié)議
• kafka的偽分布安裝、集群安裝
• kafka的shell操作、java操作
• kafka設(shè)計(jì)理念*
• kafka producer和consumer開發(fā)
• Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹、平臺(tái)架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
• Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺(tái)架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
• Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應(yīng)用實(shí)踐，
• Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)以及Sqoop集群部署與配置
• Kettle 集群的平臺(tái)架構(gòu)、核心技術(shù)、部署配置和應(yīng)用實(shí)戰(zhàn)
• 利用Sqoop實(shí)現(xiàn) MySQL 與 Hadoop 集群之間

模塊十

大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營(yíng)

• 案例1：貴州數(shù)據(jù)交易中心
• 交易所交易形式：電子交易
• 交易所服務(wù)：大數(shù)據(jù)交易、大數(shù)據(jù)清洗建模分析、大數(shù)據(jù)定向采購(gòu)、大數(shù)據(jù)平臺(tái)技術(shù)開發(fā)
• 大數(shù)據(jù)交易安全性探討分析
• 數(shù)據(jù)交易中心商業(yè)模式探討分析
• 案例2：大數(shù)據(jù)應(yīng)用案例：公共交通線路的智能規(guī)劃
• UrbanInsights：為公交公司提供基于訂閱訪問的大數(shù)據(jù)工具以及大數(shù)據(jù)咨詢服務(wù)
• Urban Insights數(shù)據(jù)源、數(shù)據(jù)收集、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析——設(shè)計(jì)運(yùn)營(yíng)線路
• Urban Insights通過互聯(lián)網(wǎng)數(shù)據(jù)的運(yùn)營(yíng)
• 討論：浙江移動(dòng)大數(shù)據(jù)應(yīng)用與開發(fā)方向

模塊十一

當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國(guó)內(nèi)外運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司為例

• 流商業(yè)大數(shù)據(jù)解決方案比較
• 主流開源云計(jì)算系統(tǒng)比較 
• 國(guó)內(nèi)外代表性大數(shù)據(jù)平臺(tái)比較 
• 各廠商最新的大數(shù)據(jù)產(chǎn)品介紹
• 案例分析
• Facebook的SNS平臺(tái)應(yīng)用
• Google的搜索引擎應(yīng)用
• Rackspace的日志處理
• Verizon成立精準(zhǔn)市場(chǎng)營(yíng)銷部
• TelefonicaDynamicInsights推出的名為“智慧足跡”的商業(yè)服務(wù)
• 中國(guó)聯(lián)通的“移動(dòng)通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”

模塊十二

課程總結(jié)與問題答疑