大數據模型與數據挖掘應用實戰培訓

1、掌握數據挖掘的基本過程和步驟。
2、掌握數據挖掘的預處理方法，探索數據間的相關性，為建模打下基礎。
3、理解數據挖掘的常見模型，原理及適用場景。
4、熟練掌握Modeler基本操作，能利用Modeler進行數據挖掘。

第一部分：數據挖掘標準流程
1、數據挖掘概述
2、數據挖掘的標準流程（CRISP-DM）
?商業理解
?數據準備
?數據理解
?模型建立
?模型評估
?模型應用
案例：通信客戶流失分析及預警模型
3、數據建模示例
案例：宜家IKE如何通過數據挖掘來降低營銷成本提升利潤？

第二部分：數據預處理過程
1、數據挖掘處理的一般過程
?數據源數據理解數據準備探索分析數據建模模型評估
2、數據讀入
?讀入文本文件
?讀入Excel電子表格
?讀入SPSS格式文件
?讀入數據庫數據
3、數據集成
?變量合并（增加變量）
?數據追加（添加記錄）
4、數據理解
?取值范圍限定
?重復數據處理
?缺失值處理
?無效值處理
?離群點和極端值的修正
?數據質量評估
5、數據準備：數據處理
?數據篩選：數據抽樣/選擇（減少樣本數量）
?數據精簡：數據分段/離散化（減少變量的取值）
?數據平衡：正反樣本比例均衡
?其它：排序、分類匯總
6、數據準備：變量處理
?變量變換：原變量值更新
?變量派生：生成新的變量
?變量精簡：降維，減少變量個數
7、基本分析
?單變量：數據基本描述分析
?雙變量：相關性分析
?變量精簡：特征選擇、因子分析
8、特征選擇
?特征選擇方法：選擇重要變量，剔除不重要的變量
?從變量本身考慮
?從輸入變量與目標變量的相關性考慮
9、因子分析（主成分分析）
?因子分析的原理
?因子個數如何選擇
?如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析

第三部分：因素影響分析（特征重要性分析）
問題：如何判斷一個因素對另一個因素有影響？
比如營銷費用是否會影響銷售額？產品價格是否會影響銷量？產品的陳列位置是否會影響銷量？
1、常用特征重要性分析的方法
?特征選擇（減少變量個數）：相關分析、方差分析、卡方檢驗
?因子分析（減少變量個數）：主成分分析
?確定變量個數參考表
2、相關分析（數值+數值，相關程度計算）
問題：這兩個屬性是否會相互影響？影響程度大嗎？
?相關分析概述
?相關系數計算公式
?相關性假設檢驗
案例：通信基本費用與開通月數的相關分析
3、方差分析（分類+數值，影響因素分析）
問題：哪些才是影響銷量的關鍵因素？
?方差分析原理
?方差分析的步驟
?方差分析適用場景
案例：開通月數對客戶流失的影響分析
4、列聯分析（分類+分類，影響因素分析）
?列聯表的原理
?卡方檢驗的步驟
?列聯表分析的適用場景
案例：套餐類型對對客戶流失的影響分析
第四部分：數值預測模型篇
問題：如何預測產品的銷量/銷售金額？如果產品跟隨季節性變動，該如何預測？新產品上市，如果評估銷量上限及銷售增速？
1、銷量預測與市場預測——讓你看得更遠
2、回歸預測/回歸分析
問題：如何預測未來的銷售量（定量分析）？
?回歸分析的基本原理和應用場景
?回歸分析的種類（一元/多元、線性/曲線）
?得到回歸方程的幾種常用方法
?回歸分析的五個步驟與結果解讀
?回歸預測結果評估（如何評估預測質量，如何選擇最佳回歸模型）
演練：散點圖找推廣費用與銷售額的關系（一元線性回歸）
演練：推廣費用、辦公費用與銷售額的關系（多元線性回歸）
演練：讓你的營銷費用預算更準確
演練：如何選擇最佳的回歸預測模型（曲線回歸）
?帶分類變量的回歸預測
演練：汽車季度銷量預測
演練：工齡、性別與終端銷量的關系
演練：如何評估銷售目標與資源配置（營業廳）
3、時序預測
問題：隨著時間變化，未來的銷量變化趨勢如何？
?時序分析的應用場景（基于時間的變化規律）
?移動平均MA的預測原理
?指數平滑ES的預測原理
?自回歸移動平均ARIMA模型
?如何評估預測值的準確性？
案例：銷售額的時序預測及評估
演練：汽車銷量預測及評估
演練：電視機銷量預測分析
演練：上海證券交易所綜合指數收益率序列分析
演練：服裝銷售數據季節性趨勢預測分析
4、季節性預測模型
?季節性回歸模型的參數
?常用季節性預測模型（相加、相乘）
案例：美國航空旅客里程的季節性趨勢分析
案例：產品銷售季節性趨勢預測分析
5、新產品預測模型與S曲線
?如何評估銷量增長的拐點
?珀爾曲線與龔鉑茲曲線
案例：如何預測產品的銷售增長拐點，以及銷量上限
演戲：預測IPad產品的銷量
6、自定義模型（如何利用規劃求解進行自定義模型）
案例：如何對餐廳客流量進行建模及模型優化

第五部分：回歸模型優化篇
1、回歸模型的基本原理
?三個基本概念：總變差、回歸變差、剩余變差
?方程的顯著性檢驗：是否可以做回歸分析？
?擬合優度檢驗：回歸模型的質量評估？
?因素的顯著性檢驗：自變量是否可用？
?理解標準誤差的含義：預測的準確性？
2、模型優化思路：尋找最佳回歸擬合線
?如何處理異常數據（殘差與異常值排除）
?如何剔除非顯著因素（因素顯著性檢驗）
?如何進行非線性關系檢驗
?如何進行相互作用檢驗
?如何進行多重共線性檢驗
?如何檢驗誤差項
?如何判斷模型過擬合
案例：模型優化案例

第六部分：分類預測模型
1、分類概述
?分類的基本過程
?常見分類預測模型
2、邏輯回歸分析模型
問題：如果評估用戶是否購買產品的概率？
?邏輯回歸分析
?邏輯回歸的原理
案例：客戶購買預測分析（二元邏輯回歸）
3、決策樹分類
問題：如何提取客戶流失者、拖欠貨款者的特征？如何預測其流失的概率？
?決策樹分類的原理
?決策樹的三個關鍵問題
?決策樹算法
?如何評估分類模型的性能（查準率、查全率）
案例：識別銀行欠貨風險，提取欠貨者的特征
案例：客戶流失預警與客戶挽留模型
4、神經網絡
?神經網絡概述
?神經元工作原理
?神經網絡的建立步驟
?B-P反向傳播網絡（MLP）
?徑向基函數網絡（RBF）
5、支持向量機
?SVM基本原理
?維災難與核函數
6、樸素貝葉斯分類
?條件概率
?樸素貝葉斯
?TAN貝葉斯網絡
?馬爾科夫毯網絡

第七部分：客戶細分與聚類
1、客戶細分常用方法
2、聚類分析（Clustering）
問題：如何對市場進行細分？如何提取客戶特征，從而對產品進行市場定位？
?聚類方法原理介紹
?聚類方法適用場景
?如何細分客戶群，并提取出客戶群的特征？
?K均值聚類（快速聚類）
?兩步聚類
案例：移動三大品牌細分市場合適嗎？
演練：寶潔公司如何選擇新產品試銷區域？
3、RFM模型分析
?RFM模型，更深入了解你的客戶價值
?RFM模型與市場策略
?RFM模型與活躍度
案例：淘寶客戶價值評估與促銷名單

第八部分：產品推薦與關聯分析
問題：購買面包的人是否也會購買牛奶？他們同時購買哪些產品？
?關聯規則原理介紹
?關聯規則適用場景：交叉銷售、捆綁營銷、產品布局
案例：超市商品交叉銷售與布局優化（關聯分析）

結束：課程總結與問題答疑。