大數據概論

大數據自學筆記

1.大數據興起

第三次信息化浪潮。核心技術雲計算、大數據、物聯網

(第一次信心化浪潮伴隨着個人計算機的出現,第二次信息化浪潮伴隨着互聯網的普及)

2.大數據前提條件

(1)硬件支持:CPU、存儲空間、網絡帶寬的增加

(2)數據生成方式改變:運營系統生成(超市銷售記錄) -- 用戶原創內容(微博、博客) -- 感知式系統階段(物聯網)(探頭、攝像頭等每時每刻生成數據)

3.大數據定義和特徵

(1)volume:數據量大

(2)variety:數據的來源及格式多種多樣

(3)velocity:數據增長速度快

(4)value:數據價值低

4.大數據的影響

通過大量數據的分析,判斷出現了什麼問題,而不是具體問題具體分析;不再需要抽樣分析,只做全樣數據分析;更加關注數據之間的相關性

5.大數據的應用

決策與預測

6.大數據關鍵技術

(1)分佈式存儲

(2)分佈式處理

7.典型的計算模式

(1)批處理計算:mapreduce、spark

(2)流計算:數據是實時更新的,不能批處理,需要秒級響應

(3)圖計算

(4)查詢分析計算

8.物聯網基礎概念

(1)物和物相連,物和人相連。通過網絡把現實世界中的物和人連接起來。

(2)物聯網基礎架構:感知層(攝像頭、探頭)-- 傳輸層(互聯網)-- 處理層(數據處理)-- 應用層

(3)示例:掌上智能公交,通過GPS傳輸每個公交車的實時位置。

(4)關鍵技術。識別技術(識別現實中各個事物並唯一標識的能力)感知技術(公交卡芯片等依據電磁感應進行數據交互)
9.雲計算基礎概念
請參考雲計算概論
( ̄▽ ̄)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章