大數據分析與挖掘綜合能力提升實戰

【課程目標】

本課程為大數據分析中級課程，需要在初級課程之后學習。面向所有應用型人員，包括業務部分，以及數據分析部門，系統開發人員也同樣需要學習。

本課程核心內容為數據挖掘，預測模型，以及模型優化，幫助學員構建系統全面的業務分析思維，提升學員的數據分析綜合能力。

本課程覆蓋了如下內容：

1、 數據挖掘基礎知識。

2、 常用數值預測模型。

3、 常用時序預測模型。

4、 數據預處理的基本過程。

本系列課程從實際的業務需求出發，結合行業的典型應用特點，圍繞實際的商業問題，對數據分析及數據挖掘技術進行了全面的介紹（從數據收集與處理，到數據分析與挖掘，再到數據可視化和報告撰寫），通過大量的操作演練，幫助學員掌握數據分析和數據挖掘的思路、方法、表達、工具，從大量的企業經營數據中進行分析，挖掘客戶行為特點，幫助運營團隊深入理解業務運作，以達到提升學員的數據綜合分析能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 了解數據挖掘基礎知識，以及數據挖掘標準過程。

2、 掌握建模前的影響因素分析，學會尋找影響業務的關鍵因素。

3、 熟練使用數值預測模型，掌握回歸預測模型，學會解讀模型中業務規律。

4、 學會自定義回歸模型，能夠對回歸模型進行優化，并找到最優的回歸模型。

5、 熟練掌握預處理的基本過程，并根據業務實際情況進行處理。

【授課時間】

2-3天時間（每天6個小時）

【授課對象】

業務支撐部、運營分析部、數據分析部、大數據系統開發部等對業務數據分析有較高要求的相關人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。

3、 便攜機中事先安裝好IBM SPSS Statistics v19版本及以上。

注：講師可以提供試用版本軟件及分析數據源。

【授課方式】

數據分析基礎 + 方法講解 + 實際業務問題分析 + 工具實踐操作

采用互動式教學，圍繞業務問題，展開數據分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 數據挖掘基礎

1、 數據挖掘概述

2、 數據挖掘的標準流程（CRISP-DM）

? 商業理解

? 數據準備

? 數據理解

? 模型建立

? 模型評估

? 模型應用

案例：客戶流失預測及客戶挽留

3、 數據集概述

4、 變量的類型

? 存儲類型

? 度量類型

? 角色

5、 SPSS工具介紹

6、 數據挖掘常用模型

第二部分： 影響因素分析篇

問題：如何判斷一個因素對另一個因素有影響？比如：價格是否會影響產品銷量？產品的陳列位置是否會影響銷量？學歷是否與客戶流失有關系？影響風險的關鍵因素有哪些？

1、 影響因素分析的常見方法

2、 相關分析（衡量兩數據型變量的線性相關性）

問題：這兩個屬性是否會相互影響？影響程度大嗎？

? 相關分析簡介

? 相關分析的應用場景

? 相關分析的種類

2 簡單相關分析

2 偏相關分析

2 距離相關分析

? 相關系數的三種計算公式

2 Pearson相關系數

2 Spearman相關系數

2 Kendall相關系數

? 相關分析的假設檢驗

? 相關分析的四個基本步驟

演練：體重與腰圍的關系

演練：營銷費用會影響銷售額嗎

演練：哪些因素與汽車銷量有相關性

演練：話費與網齡的相關分析

? 偏相關分析

2 偏相關原理：排除不可控因素后的兩變量的相關性

2 偏相關系數的計算公式

2 偏相關分析的適用場景

? 距離相關分析

3、 方差分析（衡量類別變量與數值變量間的相關性）

問題：哪些才是影響銷量的關鍵因素？

? 方差分析的應用場景

? 方差分析的三個種類

2 單因素方差分析

2 多因素方差分析

2 協方差分析

? 方差分析的原理

? 方差分析的四個步驟

? 解讀方差分析結果的兩個要點

演練：終端擺放位置與終端銷量有關嗎

演練：開通月數對客戶流失的影響分析

演練：客戶學歷對消費水平的影響分析

演練：廣告和價格是影響終端銷量的關鍵因素嗎

演練：營業員的性別、技能級別對產品銷量有影響嗎

演練：尋找影響產品銷量的關鍵因素

? 多因素方差分析原理

? 多因素方差分析的作用

? 多因素方差結果的解讀

演練：廣告形式、地區對銷量的影響因素分析（多因素）

? 協方差分析原理

? 協方差分析的適用場景

演練：飼料對生豬體重的影響分析（協方差分析）

4、 列聯分析/卡方檢驗（兩類別變量的相關性分析）

? 交叉表與列聯表

? 卡方檢驗的原理

? 卡方檢驗的幾個計算公式

? 列聯表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學歷對業務套餐偏好的影響分析

案例：行業/規模對風控的影響分析

5、 相關性分析方法總結

第三部分： 回歸預測模型篇

問題：如何預測產品的銷量/銷售金額？

1、 常用預測模型

? 數值預測：回歸預測/時序預測

? 分類預測：邏輯回歸、決策樹、神經網絡、…

2、 回歸分析/回歸預測

問題：如何預測未來的銷售量（定量分析）？

? 回歸分析簡介

? 回歸分析的種類（一元/多元、線性/曲線）

? 得到回歸方程的常用工具

2 散點圖+趨勢線

2 線性回歸工具

2 規劃求解工具

演練：散點圖找營銷費用與銷售額的關系（一元回歸）

? 線性回歸分析的五個步驟

演練：營銷費用、辦公費用與銷售額的關系（線性回歸）

? 解讀線性回歸分析結果的技巧

2 定性描述：正相關/負相關

2 定量描述：自變量變化導致因變量的變化程度

? 回歸預測模型質量評估

2 評估指標：判定系數R^2、標準誤差

2 如何選擇最佳回歸模型

演練：如何選擇最佳的回歸預測模型（一元曲線回歸）

? 預測值準確性評估

2 MAD、MSE/RMSE、MAPE等

? 帶分類變量的回歸預測

演練：汽車季度銷量預測

演練：工齡、性別與終端銷量的關系

演練：如何評估銷售目標與資源配置（營業廳）

3、 自動篩選不顯著因素（自變量）

第四部分： 回歸模型優化篇

1、 回歸分析的基本原理

? 三個基本概念：總變差、回歸變差、剩余變差

? 方程的顯著性檢驗：是否可以做回歸分析？

? 因素的顯著性檢驗：自變量是否可用？

? 擬合優度檢驗：回歸模型的質量評估？

? 理解標準誤差的含義：預測的準確性？

2、 模型優化思路：尋找最佳回歸擬合線

? 如何處理預測離群值（剔除離群值）

? 如何剔除不顯著因素（剔除不顯著因素）

? 如何進行非線性關系檢驗（增加非線性自變量）

? 如何進行相互作用檢驗（增加相互作用自變量）

? 如何進行多重共線性檢驗（剔除共線性自變量）

? 如何檢驗誤差項（修改因變量）

? 如何判斷模型過擬合（模型過擬合判斷）

演練：模型優化案例

3、 規劃求解工具簡介（自定義回歸模型的工具）

4、 自定義模型（如何利用規劃求解進行自定義模型）

案例：如何對餐廳客流量進行建模及模型優化

5、 好模型都是優化出來的

第五部分： 時序預測模型篇

問題：類似于GDP這種無法找到或找全影響因素，無法進行回歸建模，怎么辦？

1、 時間序列簡介

2、 時間序列常用模型

3、 評估預測值的準確度指標

? 平均絕對誤差MAE

? 均方差MSE/RMSE

? 平均誤差率MAPE

4、 移動平均（MA）

? 應用場景及原理

? 移動平均種類

2 一次移動平均

2 二次移動平均

2 加權移動平均

2 移動平均比率法

? 移動平均關鍵問題

2 期數N的最佳選擇方法

2 最優權重系數的選取方法

演練：平板電腦銷量預測及評估

演練：快銷產品季節銷量預測及評估

5、 指數平滑（ES）

? 應用場景及原理

? 最優平滑系數的選取原則

? 指數平滑種類

2 一次指數平滑

2 二次指數平滑（Brown線性、Holt線性、Holt指數、阻尼線性、阻尼指數）

2 三次指數平滑

演練：煤炭產量預測

演練：航空旅客量預測及評估

6、 溫特斯季節預測模型

? 適用場景及原理

? Holt-Winters加法模型

? Holt-Winters乘法模型

演練：汽車銷量預測及評估

7、 回歸季節預測模型

? 回歸季節模型的參數

? 基于時期t的相加模型

? 基于時期t的相乘模型

? 怎樣解讀模型的含義

案例：美國航空旅客里程的季節性趨勢分析

8、 ARIMA模型

? 適用場景及原理

? ARIMA操作

演練：上海證券交易所綜合指數收益率序列分析

演練：服裝銷售數據季節性趨勢預測分析

9、 新產品銷量預測模型

? 新產品累計銷量的S曲線

? 如何評估銷量增長的拐點及銷量上限

? 珀爾曲線與龔鉑茲曲線

演練：預測IPad產品的銷量

演練：預測Facebook的用戶增長情況

第六部分： 數據預處理篇（了解你的數據集）

1、 數據預處理的主要任務

? 數據集成：多個數據集的合并

? 數據清理：異常值的處理

? 數據處理：數據篩選、數據精簡、數據平衡

? 變量處理：變量變換、變量派生、變量精簡

? 數據歸約：實現降維，避免維災難

2、 數據集成

? 外部數據讀入：Txt/Excel/SPSS/Database

? 數據追加（添加數據）

? 變量合并（添加變量）

3、 數據理解（異常數據處理）

? 取值范圍限定

? 重復值處理

? 無效值/錯誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數據質量評估

4、 數據準備：數據處理

? 數據篩選：數據抽樣/選擇（減少樣本數量）

? 數據精簡：數據分段/離散化（減少變量的取值個數）

? 數據平衡：正反樣本比例均衡

5、 數據準備：變量處理

? 變量變換：原變量取值更新，比如標準化

? 變量派生：根據舊變量生成新的變量

? 變量精簡：降維，減少變量個數

6、 數據降維

? 常用降維的方法

? 如何確定變量個數

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標變量的相關性考慮

2 對輸入變量進行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個數如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

7、 數據探索性分析

? 常用統計指標分析

? 單變量：數值變量/分類變量

? 雙變量：交叉分析/相關性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數、描述、探索、分類匯總）

8、 數據可視化

? 數據可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等

? 圖形的表達及適用場景

演練：各種圖形繪制

結束：課程總結與問題答疑。