大數據建模與模型優化實戰培訓

第一部分：數據建模篇
1、預測建模六步法
2、第一步：屬性篩選（降維）
?需要選擇哪些屬性？如何派生新屬性？
?常用方法：顯著性檢驗、主成分分析…
?從業務邏輯和數據邏輯來考慮
3、第二步：選擇模型
?常用模型分類
?各模型適用場景
?基于業務場景選擇合適的模型
4、第三步：訓練模型
?利用數據對模型進行計算
?模型參數優化和調整
?算法：最優求解、距離、概率、信息增益…
5、第四步：評估模型
?評價常用指標：R^2，AUC，KS，誤差率，錯誤率…
?評估方法：留出法、N拆交叉驗證、過擬合
6、第五步：優化模型
?模型優化方向：模型和數據
?優化模型：調整模型、優化公式、優化算法
?優化數據：新增屬性、重新構造屬性
7、第六步：應用模型
?模型解讀：模型含義、輸出結果
?部署模型：開發模型、模型周期維護
8、數據預測模型優化
?顯著性檢驗、線性檢驗、非線性檢驗、相互作用檢驗、共線性檢驗、誤差項檢驗、過擬合檢驗
9、分類預測模型優化
?Bagging算法
?Boosting算法

第二部分：時間序列分析篇
1、如何對趨勢和季節性建模
2、時間序列及常用模型算法
3、使用移動平均來消除季節性因素
?一次移動平均原理及其缺點
?二次移動平均原理及其公式
?加權移動平均原理及其公式
案例：平板電腦銷量分析
4、指數平滑
?一次指數平滑原理及其公式
?二次指數平滑原理及其公式
?三次指數平滑原理及其公式
案例：煤炭產量分析
5、Holt-Winters分析
?霍爾特-溫特斯原理
?HW無季節模型及公式
?HW加法模型
?HW乘法模型
6、季節性和趨勢預測模型
?相加模型
?相乘模型
7、評估模型質量的指標
?判定系數R^2
?標準誤差SER
8、評估預測值準確程度的指標
?平均偏差MAD
?均方差MSE或均方差平方根RMSE
?平均誤差率MAPE
9、
第三部分：降維技術
1、變量太多存在的問題
2、數據稀疏的問題
3、變量降維技術的類型
?利用業務知識選擇屬性
?利用數據本身特征來選擇屬性
?利用自變量和因變量的相關性來選擇屬性
?將不顯著因素合并為顯著因子（PCA）
4、利用決策樹來選擇變量
5、使用神經網絡來選擇變量
6、利用變量聚類
第四部分：優化問題建模
1、優化問題的三個特點
?可調整的參數
?產生單一目標值的目標函數
?參數的約束條件
2、解決優化問題的常用算法
?線性規劃
?遺傳算法
3、線性規劃應用建模
4、遺傳算法
?遺傳算法的基本框架
?改進及增強：選擇、交叉
第五部分：產品最優定價及定價策略分析
1、產品最優定價是一個優化問題
2、常見的定價方法
3、產品定價的理論依據
?需求曲線與利潤最大化
?如何求解最優定價
案例：產品最優定價求解
4、如何評估需求曲線
?價格彈性
?曲線方程（線性、乘冪）
5、如何做產品組合定價
6、如何做產品捆綁/套餐定價
?最大收益定價（演進規劃求解）
?避免價格反轉的套餐定價
案例：電信公司的寬帶、IPTV、移動電話套餐定價
7、非線性定價原理
?要理解支付意愿曲線
?支付意愿曲線與需求曲線的異同
案例：雙重收費如何定價（如會費+按次計費）
8、階梯定價策略
案例：電力公司如何做階梯定價
9、數量折扣定價策略
案例：如何通過折扣來實現薄利多銷
10、定價策略的評估與選擇
案例：零售公司如何選擇最優定價策略
11、航空公司的收益管理
?收益管理介紹
?如何確定機票預訂限制
?如何確定機票超售數量
?如何評估模型的收益
案例：FBN航空公司如何實現收益管理（預訂/超售）
第六部分：客戶需求與產品設計建模
1、聯合分析法
2、離散選擇模型
?如何評估客戶購買產品的概率
?如何指導產品開發？如何確定產品的重要特性
?競爭下的產品動態調價
?如何評估產品的價格彈性
案例：產品開發與設計分析
案例：品牌價值與價格敏感度分析
案例：納什均衡價格
3、品牌價值評估
4、新產品市場占有率評估

第七部分：精準推薦模型
1、從搜索引擎到推薦引擎
2、個性化推薦系統的應用場景
3、推薦系統的評測
?用戶滿意度
?預測準確度
?覆蓋率…
4、常用產品推薦模型及算法
?分類預測
?關聯分析
?協同過濾
?…
5、個性化精準營銷的推薦策略

結束：課程總結與問題答疑。