Python大數(shù)據(jù)核心技術(shù)實(shí)戰(zhàn)

Python大數(shù)據(jù)核心技術(shù)實(shí)戰(zhàn)(張老師)課程介紹：

課程學(xué)習(xí)目標(biāo)
1.每個算法模塊按照“原理講解→分析數(shù)據(jù)→自己動手實(shí)現(xiàn)→特征與調(diào)參”的順序。
2.“Python數(shù)據(jù)清洗和特征提取”，提升學(xué)習(xí)深度、降低學(xué)習(xí)坡度。
3.增加網(wǎng)絡(luò)爬蟲的原理和編寫，從獲取數(shù)據(jù)開始，重視將實(shí)踐問題轉(zhuǎn)換成實(shí)際模型的能力，分享工作中的實(shí)際案例或Kaggle案例：廣告銷量分析、環(huán)境數(shù)據(jù)異常檢測和分析、數(shù)字圖像手寫體識別、Titanic乘客存活率預(yù)測、用戶-電影推薦、真實(shí)新聞組數(shù)據(jù)主題分析、中文分詞、股票數(shù)據(jù)特征分析等。
4.強(qiáng)化矩陣運(yùn)算、概率論、數(shù)理統(tǒng)計(jì)的知識運(yùn)用，掌握機(jī)器學(xué)習(xí)根本。
5.闡述機(jī)器學(xué)習(xí)原理，提供配套源碼和數(shù)據(jù)。
6.以直觀解釋，增強(qiáng)感性理解。
7.對比不同的特征選擇帶來的預(yù)測效果差異。
8.重視項(xiàng)目實(shí)踐，重視落地。思考不同算法之間的區(qū)別和聯(lián)系，提高在實(shí)際工作中選擇算法的能力。
9.涉及和講解的部分Python庫有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。

課程目標(biāo)
本課程特點(diǎn)是從數(shù)學(xué)層面推導(dǎo)最經(jīng)典的機(jī)器學(xué)習(xí)算法，以及每種算法的示例和代碼實(shí)現(xiàn)（Python）、如何做算法的參數(shù)調(diào)試、以實(shí)際應(yīng)用案例分析各種算法的選擇等。

培訓(xùn)內(nèi)容介紹

模塊一 機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)1 - 數(shù)學(xué)分析
1. 機(jī)器學(xué)習(xí)的一般方法和橫向比較
2. 數(shù)學(xué)是有用的：以SVD為例
3. 機(jī)器學(xué)習(xí)的角度看數(shù)學(xué)
4. 復(fù)習(xí)數(shù)學(xué)分析
5. 直觀解釋常數(shù)e
6. 導(dǎo)數(shù)/梯度
7. 隨機(jī)梯度下降
8. Taylor展式的落地應(yīng)用
9. gini系數(shù)
10. 凸函數(shù)
11. Jensen不等式
12. 組合數(shù)與信息熵的關(guān)系

模塊二 機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)2 - 概率論與貝葉斯先驗(yàn)
1. 概率論基礎(chǔ)
2. 古典概型
3. 貝葉斯公式
4. 先驗(yàn)分布/后驗(yàn)分布/共軛分布
5. 常見概率分布
6. 泊松分布和指數(shù)分布的物理意義
7. 協(xié)方差(矩陣)和相關(guān)系數(shù)
8. 獨(dú)立和不相關(guān)
9. 大數(shù)定律和中心極限定理的實(shí)踐意義
10. 深刻理解最大似然估計(jì)MLE和最大后驗(yàn)估計(jì)MAP
11. 過擬合的數(shù)學(xué)原理與解決方案

模塊三 機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3 - 矩陣和線性代數(shù)
1. 線性代數(shù)在數(shù)學(xué)科學(xué)中的地位
2. 馬爾科夫模型
3. 矩陣乘法的直觀表達(dá)
4. 狀態(tài)轉(zhuǎn)移矩陣
5. 矩陣和向量組
6. 特征向量的思考和實(shí)踐計(jì)算
7. QR分解
8. 對稱陣、正交陣、正定陣
9. 數(shù)據(jù)白化及其應(yīng)用
10. 向量對向量求導(dǎo)
11. 標(biāo)量對向量求導(dǎo)
12. 標(biāo)量對矩陣求導(dǎo)工作機(jī)制

模塊四 Python基礎(chǔ)1 - Python及其數(shù)學(xué)庫
1. 解釋器Python2.7與IDE：Anaconda/Pycharm
2. Python基礎(chǔ)：列表/元組/字典/類/文件
3. Taylor展式的代碼實(shí)現(xiàn)
4. numpy/scipy/matplotlib/panda的介紹和典型使用
5. 多元高斯分布
6. 泊松分布、冪律分布
7. 典型圖像處理
8. 蝴蝶效應(yīng)
9. 分形與可視化

模塊五 Python基礎(chǔ)2 - 機(jī)器學(xué)習(xí)庫
1. scikit-learn的介紹和典型使用
2. 損失函數(shù)的繪制
3. 多種數(shù)學(xué)曲線
4. 多項(xiàng)式擬合
5. 快速傅里葉變換FFT
6. 奇異值分解SVD
7. Soble/Prewitt/Laplacian算子與卷積網(wǎng)絡(luò)
8. 卷積與(指數(shù))移動平均線
9. 股票數(shù)據(jù)分析

模塊六 Python基礎(chǔ)3 - 數(shù)據(jù)清洗和特征選擇
1. 實(shí)際生產(chǎn)問題中算法和特征的關(guān)系
2. 股票數(shù)據(jù)的特征提取和應(yīng)用
3. 一致性檢驗(yàn)
4. 缺失數(shù)據(jù)的處理
5. 環(huán)境數(shù)據(jù)異常檢測和分析
6. 模糊數(shù)據(jù)查詢和數(shù)據(jù)校正方法、算法、應(yīng)用
7. 樸素貝葉斯用于鳶尾花數(shù)據(jù)
8. GaussianNB/MultinomialNB/BernoulliNB
9. 樸素貝葉斯用于18000+篇/Sogou新聞文本的分類

模塊七 回歸
1. 線性回歸
2. Logistic/Softmax回歸
3. 廣義線性回歸
4. L1/L2正則化
5. Ridge與LASSO
6. Elastic Net
7. 梯度下降算法：BGD與SGD
8. 特征選擇與過擬合

模塊八 Logistic回歸
1. Sigmoid函數(shù)的直觀解釋
2. Softmax回歸的概念源頭
3. Logistic/Softmax回歸
4. 最大熵模型
5. K-L散度
6. 損失函數(shù)
7. Softmax回歸的實(shí)現(xiàn)與調(diào)參

模塊九 回歸實(shí)踐
1. 機(jī)器學(xué)習(xí)sklearn庫介紹
2. 線性回歸代碼實(shí)現(xiàn)和調(diào)參
3. Softmax回歸代碼實(shí)現(xiàn)和調(diào)參
4. Ridge回歸/LASSO/Elastic Net
5. Logistic/Softmax回歸
6. 廣告投入與銷售額回歸分析
7. 鳶尾花數(shù)據(jù)集的分類
8. 交叉驗(yàn)證
9. 數(shù)據(jù)可視化

模塊十 決策樹和隨機(jī)森林
1. 熵、聯(lián)合熵、條件熵、KL散度、互信息
2. 最大似然估計(jì)與最大熵模型
3. ID3、C4.5、CART詳解
4. 決策樹的正則化
5. 預(yù)剪枝和后剪枝
6. Bagging
7. 隨機(jī)森林
8. 不平衡數(shù)據(jù)集的處理
9. 利用隨機(jī)森林做特征選擇
10. 使用隨機(jī)森林計(jì)算樣本相似度
11. 數(shù)據(jù)異常值檢測

模塊十一 隨機(jī)森林實(shí)踐
1. 隨機(jī)森林與特征選擇
2. 決策樹應(yīng)用于回歸
3. 多標(biāo)記的決策樹回歸
4. 決策樹和隨機(jī)森林的可視化
5. 葡萄酒數(shù)據(jù)集的決策樹/隨機(jī)森林分類
6. 波士頓房價預(yù)測

模塊十二 提升
1. 提升為什么有效
2. 梯度提升決策樹GBDT
3. XGBoost算法詳解
4. Adaboost算法
5. 加法模型與指數(shù)損失

模塊十三 提升實(shí)踐
1. Adaboost用于蘑菇數(shù)據(jù)分類
2. Adaboost與隨機(jī)森林的比較
3. XGBoost庫介紹
4. Taylor展式與學(xué)習(xí)算法
5. KAGGLE簡介
6. 泰坦尼克乘客存活率估計(jì)

模塊十四 SVM
1. 線性可分支持向量機(jī)
2. 軟間隔的改進(jìn)
3. 損失函數(shù)的理解
4. 核函數(shù)的原理和選擇
5. SMO算法
6. 支持向量回歸SVR

模塊十五 SVM實(shí)踐
1. libSVM代碼庫介紹
2. 原始數(shù)據(jù)和特征提取
3. 葡萄酒數(shù)據(jù)分類
4. 數(shù)字圖像的手寫體識別
5. SVR用于時間序列曲線預(yù)測
6. SVM、Logistic回歸、隨機(jī)森林三者的橫向比較

模塊十六 聚類（一）
1. 各種相似度度量及其相互關(guān)系
2. Jaccard相似度和準(zhǔn)確率、召回率
3. Pearson相關(guān)系數(shù)與余弦相似度
4. K-means與K-Medoids及變種
5. AP算法(Sci07)/LPA算法及其應(yīng)用

模塊十七 聚類（二）
1. 密度聚類DBSCAN/DensityPeak(Sci14)
2. DensityPeak(Sci14)
3. 譜聚類SC
4. 聚類評價AMI/ARI/Silhouette
5. LPA算法及其應(yīng)用

模塊十八 聚類實(shí)踐
1. K-Means++算法原理和實(shí)現(xiàn)
2. 向量量化VQ及圖像近似
3. 并查集的實(shí)踐應(yīng)用
4. 密度聚類的代碼實(shí)現(xiàn)
5. 譜聚類用于圖片分割

模塊十九 EM算法
1. 最大似然估計(jì)
2. Jensen不等式
3. 樸素理解EM算法
4. 精確推導(dǎo)EM算法
5. EM算法的深入理解
6. 混合高斯分布
7. 主題模型pLSA

模塊二十 EM算法實(shí)踐
1. 多元高斯分布的EM實(shí)現(xiàn)
2. 分類結(jié)果的數(shù)據(jù)可視化
3. EM與聚類的比較
4. Dirichlet過程EM
5. 三維及等高線等圖件的繪制
6. 主題模型pLSA與EM算法

模塊二十一 主題模型LDA
1. 貝葉斯學(xué)派的模型認(rèn)識
2. Beta分布與二項(xiàng)分布
3. 共軛先驗(yàn)分布
4. Dirichlet分布
5. Laplace平滑
6. Gibbs采樣詳解

模塊二十二 LDA實(shí)踐
1. 網(wǎng)絡(luò)爬蟲的原理和代碼實(shí)現(xiàn)
2. 停止詞和高頻詞
3. 動手自己實(shí)現(xiàn)LDA
4. LDA開源包的使用和過程分析
5. Metropolis-Hastings算法
6. MCMC
7. LDA與word2vec的比較
8. TextRank算法與實(shí)踐

模塊二十三 隱馬爾科夫模型HMM
1. 概率計(jì)算問題
2. 前向/后向算法
3. HMM的參數(shù)學(xué)習(xí)
4. Baum-Welch算法詳解
5. Viterbi算法詳解
6. 隱馬爾科夫模型的應(yīng)用優(yōu)劣比較

模塊二十四 HMM實(shí)踐
1. 動手自己實(shí)現(xiàn)HMM用于中文分詞
2. 多個語言分詞開源包的使用和過程分析
3. 文件數(shù)據(jù)格式UFT-8、Unicode
4. 停止詞和標(biāo)點(diǎn)符號對分詞的影響
5. 前向后向算法計(jì)算概率溢出的解決方案
6. 發(fā)現(xiàn)新詞和分詞效果分析
7. 高斯混合模型HMM
8. GMM-HMM用于股票數(shù)據(jù)特征提取

模塊二十五 課堂提問與互動討論

師資介紹
張老師：阿里大數(shù)據(jù)高級專家，國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實(shí)時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項(xiàng)目等。

頒發(fā)證書
參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：
工業(yè)和信息化部頒發(fā)的-《Python大數(shù)據(jù)工程師證書》。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。注：請學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。

更多Python大數(shù)據(jù)核心技術(shù)實(shí)戰(zhàn)相關(guān)課程：