十八章资料探勘技术.ppt_三一文库31doc.com

资源描述

《十八章资料探勘技术.ppt》由会员分享，可在线阅读，更多相关《十八章资料探勘技术.ppt（41页珍藏版）》请在三一文库上搜索。

1、智勝文化事業有限公司製作決策支援系統與企業智慧梁定澎編著第十八章資料探勘技術決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作本章大綱 q 第一節導論 q 第二節資料探勘的動機及程序 q 第三節資料探勘的分類技術 q 第四節資料探勘的相關分析技術 q 第五節時間相關的資料探勘技術 q 第六節資料探勘的應用 q 第七節結論決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作學習目標 q 資料探勘的基本概念 q 資料探勘的程序 q 資料探勘的常用技術，包括分類、關聯分析等 q 資料探勘技術在建立企業智慧及決策支援系統的應用決策支援系統與企業

2、智慧梁定澎編著智勝文化事業有限公司製作資料探勘的基本概念 q 建立企業智慧最主要的方法之一。 q 資料探勘是從資料中發掘知識的過程，亦有人稱為 l資料庫的知識挖掘 (Knowledge Discovery in Databases, KDD) l資料考古學 (Data Archaeology) l資料型態分析 (Data Pattern Analysis) q 資料探勘的定義 l從大量資料中，尋找事前未知(previously unknown)、有效(valid)且可以付諸行動 (actionable)之規則或知識。決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作資

3、料探勘的基本概念（續） q 資料探勘的常用技術，依其性質分為三類 l分類技術 l相關分析 l時間順序分析決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作圖18-1 資料探勘技術分類 Data Mining 技術應用分類技術相關分析時間相關時間序列分析順序相關分析鏈結分析關聯分析集群分析歸納分析購物籃分析金融信用分析決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作資料探勘的動機 q 瞭解過去經營資料中有用的可能關係 q 找出有助於未來經營決策的知識 q 分析特定顧客的行為或市場的變化 q 對影響經營的因素有深入的瞭解決策支援系統與企

4、業智慧梁定澎編著智勝文化事業有限公司製作資料探勘的程序 q 決定企業探勘資料的目的 q 資料收集與整合 q 選擇適當的資料探勘技術 q 結果分析 q 知識應用決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作圖18-2 配合企業問題與資料探勘技術的可能應用維繫客戶關係避免客戶流失穩定流動性高的客戶產品創新定義 / 預測流動性高之客戶交叉行銷企業問題資料探勘任務資料探勘技術新產品與市場開發產品搭配分類分析集群分析聯結分析次序相關分析企業策略決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作資料探勘的分類技術 q

5、歸納分類 (Classification) q 集群分析 (Clustering Analysis) 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作歸納分類 q 若一組資料共有 N 類，分別為 C1CN，而且一個案例在 Ci類的機率為 P(Ci)，則計算該組資料的公式為決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作歸納分類（續） q H (C | Competition=Low) = p (Up | Competition=Low) log2(Up | Competition=Low) p (Down | Competition=Low) log2(D

7、H (C | Competition) 0.8752 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-1 產品銷售分析案例AgeCompetitionTypeSales 1OldLowSoftwareDown 2MidlifeHighSoftwareDown 3MidlifeLowHardwareUp 4OldLowHardwareDown 5NewLowHardwareUp 6NewLowSoftwareUp 7MidlifeLowSoftwareUp 8NewHighSoftwareUp 9MidlifeHighHardwareDown 10OldHighSoft

8、wareDown 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作圖18-3 ID3產生的決策樹 Age Old New Midlife Competition Down Up Low High Up Down 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作集群分析 q K平均演算法 l步驟1：隨機初始 k個中心點 m1, m2, ., mk。 l步驟2：將物件集合中的每個物件按照與k個中心點的不相似性，將其歸屬於最相似中心點的集群中。 l步驟3：針對每一個 mi所代表的集群，計算這個集群所有物件之各屬性的平均值，並以此向量取代 mi。 l步驟4：若所

9、有中心點在步驟3中沒有更動，則此時已完成集群分析並停止執行，否則跳至步驟 2繼續執行。決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-2 業務員年齡與業績統計編號年齡業績編號年齡業績 143597.31129744.1 221288.31230984.2 326652.1133459.3 424679.61427419.1 534600.41523558.8 627402.41629275.0 731805.11734559.9 836767.61845561.6 922956.81934385.4 1026352.22046368.5 業績單位 :萬元決策

10、支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作圖18-4 業務員年齡與業績散佈圖業務員年齡與業績散佈圖 0.0 200.0 400.0 600.0 800.0 1000.0 1200.0 01020304050 年齡業績業績決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-3 三個集群的成員業績量高業績量中業績量低 (31，805.1) (36，767.6) (22，956.8) (29，744.1) (30，984.2) (45，561.6) (43，597.3) (34，559.9) (27，419.1) (23，558.8) (26，65

11、2.1) (24，679.6) (34，600.4) (29，275) (21，288.3) (27，402.4) (26，352.2) (34，59.3) (34，385.4) (46，368.5) （29.6， 851.56）（32，578.6 ）（31， 304.4）決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作資料探勘的相關分析技術 q 關聯分析 (Association Rule Analysis) l交易資料庫中每筆交易包含一些交易項目，關聯分析的目的是由這些交易資料中，找出交易項目的相關聯法則 (association rule)。 q 鏈結分析 (L

12、ink Analysis) l針對具有鏈結性的資料（如電話通信紀錄），將資料以節點（ Node，如電話號碼）及鏈結（ Link，如通話）來表達，並根據鏈結圖形找尋出具有某種特性之資料，或圖形中隱含的關係。決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作關聯法則 q 以XY表示，其中 X與Y分別為交易項目的集合，且XY。關聯法則 XY必須滿足下列兩個條件 lX和Y的所有交易項目的集合必須同時出現在至少s%的交易中（其中 s%稱之為最小支持率或minimum support）。 l在所有包含 X交易項目的交易中，至少有c%包含Y的交易項目（其中 c%稱之為最小信賴

13、度或 minimum confidence）。決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作鏈結分析 q 理論來自於圖形理論(Graph Theory) ，是屬於數學理論的一支。 q 包含兩部分 l頂點（ nodes，有時候稱為 vertices） l稜線(edges) 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作圖18-5 兩個鏈結圖形例子決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作圖18-6 John 和 Mary的通話 MOU模式 John 10MOU 150MOU 30MOU 20MOU 30MOU 5MOU5MOU 10

14、MOU20MOU 20MOU 40MOU Mary 20MOU 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作鏈結分析的優缺點 q 優點 l可以將關係資本化 l在視覺化方面很有貢獻 l創造出衍生的特性 q 缺點 l無法應用於多種類型的資料 l工具很少決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作資料探勘的相關技術 q 順序型態分析 (Sequential Pattern Analysis) l主要目的是找出事件發生的時間順序是否有某些固定的規則可循。 q 演算法共包括五個階段 l資料排序 l初步Litemset產生 l資料轉換 l順序尋找 l最大化確認

15、決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作圖18-7 順序型態分析仁寶M頭型態仁寶仁寶 M頭型態頭型態決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作資料探勘的相關技術（續） q 時間序列分析 (Time Series Analysis) l針對依時間順序所記錄的資料所做的分析工作。 l有兩個主要目的找出事件沿時間變化的情形，以便找出固定的型態（如，銷售是否有季節性）。由歷史資料中找出趨勢以便預測未來。決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-5 交易資料庫客戶代號交易時間交易項目集合 1 1 88年1月2

16、5日 88年1月30日 C I 2 2 2 2 2 88年2月10日 88年3月15日 88年3月20日 88年4月21日 88年5月10日 A, B C D, F, G H K, J 388年9月10日C, E, G 4 4 88年6月25日 88年6月30日 C D, G 4 4 4 88年7月25日 88年8月11日 88年9月11日 I H, L J 588年6月12日I 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-6 顧客交易資料庫顧客代號顧客交易順序(Sequence) 1 2 3 4 5 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作

17、表18-7 Litemsets與對應代號 Litemsets L1支持率Litemsets代號 (C) (D) (G) (D, G) (H) (I) (J) 80% 40% 60% 40% 40% 60% 40% 1 2 3 4 5 6 7 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-8 轉換後之顧客交易資料庫顧客代號轉換後之顧客交易順序以Litemset代號表示 1 2 3 4 5 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-9 Large 2-Sequence的集合 Large 2-Sequence (L2)支持率Large

18、 2-Sequence (L2)支持率 40%40% 40%40% 40%40% 40%40% 40%40% 40%40% 40% 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作 Large 3-Sequence(L3)的集合 Large 3-Sequence (L3)支持率 40% 40% 40% 40% 40% 40% 40% 40% 40% 40% 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-11 Large 4-Sequence （L4）的集合 Large 4-Sequence (L4)支持率 40% 40% 40% 決策支援系統與企業智慧

19、梁定澎編著智勝文化事業有限公司製作圖18-8 時間序列分析圖國家公園訪客人次圖國家公園訪客人次圖 0 200 400 600 800 1000 1200 1400 97Q1Q2Q3Q498Q1Q2Q3Q499Q1Q2Q3Q4 到訪人次（千人）決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作資料探勘的應用 q 購物籃分析的應用 l用來幫助零售業者瞭解客戶的消費行為 q 運作過程詳述如下 l選擇正確的物品組合 l從這些資料中產生規則 l克服現實的限制 q 金融信用分析決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作購物籃分析的優缺點 q

20、優點 l簡單明瞭的結論 l非常適合非監督式資料探勘 l適用不同型式的原始資料 l計算模式簡單易懂 q 缺點 l商品增加時，運算會成幾何級數增加 l個別特性不甚重視 l難以決定組合的適當商品數 l容易剔除罕見商品決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-12 商品及其組合的機率組合機率甲45% 乙42.5% 丙40% 甲和乙25% 甲和丙20% 乙和丙15% 甲和乙和丙5% 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-13 規則的信賴水準規則條件句機率條件句及結果句的機率信賴水準若甲和乙則丙 25%5%0.20 若甲和丙則乙 20%5%0.25 若乙和丙則甲 15%5%0.33 決策支援系統與企業智慧梁定澎編著智勝文化事業有限公司製作表18-14 三種規則的增益效果和最高增益的增益效果規則交易佔有度信賴水準增益若甲和乙則丙 5%0.200.5 若甲和丙則乙 5%0.250.59 若乙和丙則甲 5%0.330.74 若甲則乙 25%0.591.31

展开阅读全文