大數據自學筆記
1.大數據興起
第三次信息化浪潮。核心技術雲計算、大數據、物聯網
(第一次信心化浪潮伴隨着個人計算機的出現,第二次信息化浪潮伴隨着互聯網的普及)
2.大數據前提條件
(1)硬件支持:CPU、存儲空間、網絡帶寬的增加
(2)數據生成方式改變:運營系統生成(超市銷售記錄) -- 用戶原創內容(微博、博客) -- 感知式系統階段(物聯網)(探頭、攝像頭等每時每刻生成數據)
3.大數據定義和特徵
(1)volume:數據量大
(2)variety:數據的來源及格式多種多樣
(3)velocity:數據增長速度快
(4)value:數據價值低
4.大數據的影響
通過大量數據的分析,判斷出現了什麼問題,而不是具體問題具體分析;不再需要抽樣分析,只做全樣數據分析;更加關注數據之間的相關性
5.大數據的應用
決策與預測
6.大數據關鍵技術
(1)分佈式存儲
(2)分佈式處理
7.典型的計算模式
(1)批處理計算:mapreduce、spark
(2)流計算:數據是實時更新的,不能批處理,需要秒級響應
(3)圖計算
(4)查詢分析計算
8.物聯網基礎概念
(1)物和物相連,物和人相連。通過網絡把現實世界中的物和人連接起來。
(2)物聯網基礎架構:感知層(攝像頭、探頭)-- 傳輸層(互聯網)-- 處理層(數據處理)-- 應用層
(3)示例:掌上智能公交,通過GPS傳輸每個公交車的實時位置。
(4)關鍵技術。識別技術(識別現實中各個事物並唯一標識的能力)感知技術(公交卡芯片等依據電磁感應進行數據交互)
9.雲計算基礎概念
請參考雲計算概論
( ̄▽ ̄)