結構化數據>>數據庫 二維表
非結構化數據>>信息檢索 自由文本最典型 圖片 視頻 音頻 以關鍵字查詢
半結構化數據
文本挖掘的基本流程:
分詞tokenizer
文法處理 把他還原成原始單詞 linguistic modules
每個詞作為一列 變成結構化數據>>表 structured data
數據挖掘 關聯分析 異常點檢測
第一階段: 文本處理的過程 預處理
非結構化>>結構化
文本表示成向量空間模型 二維表
特徵抽取 降維
第二階段
數據挖掘 機器學習
結構化數據轉換成模式
分類器
把訓練集作為輸入
文本處理
用什麼格式 語言 字符集 --------- 文本分類的問題
複雜性 : 一個文檔可以包含多個語言 例如郵件
分詞
分詞工具
分詞結果是"token"
分完可以作為表 屬性 特徵 表裡面的列 訓練集
特徵選擇與抽取???最大謪....
訓練階段
預測階段
降維 減少特徵是為了減少訓練時間
使預測模型更快、更小
詞頻是最簡單的方法
文本挖掘 ---分類
二元分類 多元分類>>分類體系 人工設定
分類體系=知識結構
ex杜威十進制圖書分類
可能是樹型 層次結構
分類體系跟機器沒關係
分類vs.預測
分類
主要用於離散數據的預測
1根據訓練集 構造分類模型 分類體系已事先構造
2.估計分類模型的準確性 如果可接受就利用他來對未來數據進行分類
預設
用於連續數據的預測
結構化數據 訓練集
算法 (knn 決策樹 支持向量機)
分類器classifier
找出一個通用法則>>模型
用testing data來檢測準確率
準確率ok就對未來數據進行預測
Training data
前有n-1個屬性 最後有一列屬性
Testing data
同訓練集
Future data
和前兩個不同 最後一列不知道
分類器是一個函數f(x)=y 函數映射的過程 函數逼近問題
監督學習vs.無監督學習
有監督學習
有訓練集 測試集 未來數據
無監督學習
聚類
把一堆數據分組
半監督學習
訓練集很少 不足以學習 但數據給了一些限制
分類 有監督
兩歲寶寶給他看幾個水果 告訴他紅的圓的是蘋果 橘的圓的是橘子>>>建模
拿一個水果問寶寶是什麼>>用模型
聚類 無監督 沒有指導
給他一堆水果 告訴他 根據顏色分成兩堆 寶寶會將頻果分一堆橘子分一堆
分類預測相關問題
1數據預處理
數據清洗>>>去掉噪聲 缺失數據
相關分析>>>特徵選擇最重要 特徵有沒有代表性
2評價
準確性
速度 訓練時間>>較長 預測時間
魯棒性 能夠處理噪聲和缺失數據
可伸縮性 對磁盤級的數據庫有效 分部式環境
易交互性 模型容易理解 具有較好的洞察力 決策樹 貝葉思較好理解
文本分類
step1學習階段 建模階段 :
輸入
一個訓練集，包含n個文檔及其類標號
--將每個文檔轉成表中的一行
-------issue:怎樣表示這些文檔 特徵選擇 ex I am a student
-------通常採用某種類型的高維空間
bag of words 把文檔分割成詞之後看詞頻
輸出
一個分類函數 分類器
step2運用測試集看準確度
step3:預測階段:
輸入
一個新的文檔d 不知道其最後的類標籤
將d轉換成和訓練集的行一樣 屬性要和訓練集一樣
輸出
文檔d的類別
文本分類例子
支持向量機
特徵
有監督的分類方法可以使用任何特徵
現在採用bag of words
每個文檔是一個向量
每個詞是一個特徵
支持向量機support vector machine
對空間進行劃分
二維 找一條線
三維以上 找一個超平面
用來分類 擅長二元分類
往左往右各碰到不同類的一個點 中間的距離就形成空隙 這個空隙越大越好>>最大邊緣 the maximum margin linear classifier
w1x1 + w2x2 + ......+ wnxn + b =0
w = [w1 , w2 , .....wn]
x = [x1 , x2 , .......xn]
wx+b=0
w=斜率
b=截距
把m變成(W , b) 的形式
支持向量是由碰到的那些點所創造的
往上是正平面WX+b=1 ------------------(1)
往下是負平面WX+b= -1--------------------(2)
W是直線的法向量
數學推導後得知
M= 2 / ||W|| W最小時M最大
>>>QP的問題
數據有重疊 無法直接畫一條線?
仍最大化M 減少出錯點的個數
線性不可分的情況??不管怎樣都分不開?
>>>>>使用kernel方法(核函數) 升維
一維變二維 二維變三維 屬性不變 複雜的核函數理論
ex分辨文章 是1作者還是2作者
掃描
詞頻
訓練集
找出最優超平面
測試集
多元svm
把每個類別轉換成二元分類問題
分類評價指標
準確率
召回率
f-measure
作業：
比賽
搜狗－中國數據庫學術會議萬維網知識提取大賽
http://iir.ruc.edu.cn/ndbccup2016
把廣告 詐騙提取出 分開正常數據與廣告數據 到六月多
分詞 結構化處理 分類算法 二元結果