一、 數據分析概念
數據分析是把大量的數據進行統計和整理,得出結論,爲後續的決策提供數據支持。
數據分析的流程:
二、繪製折線圖
能將數據進行可視化,更直觀的呈現。使數據更加客觀、更有說服力。
matplotlib是python的頂層繪圖庫,主要做數據可視化圖標,名字取材於MATLAB,模仿MATLAB構建。
例子:繪製一天24小時的氣溫折線圖
from matplotlib import pyplot as plt
# 數據在x軸的位置,一個可迭代對象
x = range(2, 26, 2)
# 數據在y軸的位置,一個可迭代對象
y = [15, 13, 14.5, 17, 20, 25, 26, 26, 24, 22, 18, 15]
# 傳入x和y,通過plot繪製出折線圖
plt.plot(x, y)
# 展示圖形
plt.show()
我們還可以從一下幾個方面使圖形更加完善:
1、設置圖片大小
2、保存到本地
3、描述信息,x軸和y軸表示什麼,這個圖表示什麼
4、調整x或者y的刻度的間距
5、線條的樣式(比如樣式、透明度等)
6、標記出特殊的點(比如最高點、最低點)
7、給圖片添加水印等
設置圖片大小,增加清晰度
from matplotlib import pyplot as plt
x = range(2, 26, 2)
y = [15, 13, 14.5, 17, 20, 25, 26, 26, 24, 22, 18, 15]
# 設置圖片的長和寬,並設置像素點數(圖像每英寸長度內的像素點數)
plt.figure(figsize=(20, 8), dpi=80)
plt.plot(x, y)
# 保存
plt.savefig("./t1.png")
設置x軸和y軸的刻度
from matplotlib import pyplot as plt
x = range(2, 25, 2)
y = [15, 13, 14.5, 17, 20, 25, 26, 26, 24, 22, 18, 15]
plt.figure(figsize=(20, 8), dpi=80)
plt.plot(x, y)
#設置x和y的刻度
plt.xticks(range(2, 25, 2))
plt.yticks(range(min(y), max(y)+1))
plt.show()
需求:10點-12點的每一分鐘氣溫變化
from matplotlib import pyplot as plt
import random
import matplotlib
"""
調整X軸和Y軸的刻度
表示10點-12點的每一分鐘氣溫變化,繪製折線圖觀察氣溫變化
"""
# matplotlib默認不支持中文字體,需要設置
font = {'family': 'Microsoft YaHei',
'weight': 'bold'}
# 'size': 'larger'}
matplotlib.rc('font', **font) # **是應用字典,*應用元組。
x = range(121)
y = [random.randint(20, 35) for i in range(121)]
plt.figure(figsize=(20, 8), dpi=80)
plt.plot(x, y)
# 調整x軸的刻度
_xtick_lables = ["10點{}分".format(i) for i in range(60)]
_xtick_lables += ["11點{}分".format(i) for i in range(60)]
# 取步長,數字和字符串一一對應/
plt.xticks(list(x)[::5], _xtick_lables[::5], rotation=270) # rotation逆時針旋轉270度
#添加描述信息
plt.xlabel("時間")
plt.ylabel("溫度")
plt.title("10點-12點的每一分鐘氣溫變化")
plt.show()
需求:統計11-30歲之間女友的個數
from matplotlib import pyplot as plt
import matplotlib
font = {'family': 'Microsoft YaHei',
'weight': 'bold'}
# 'size': 'larger'}
matplotlib.rc('font', **font)
x = range(11,31)
y = [1,0,1,1,2,4,3,2,3,4,4,5,6,5,4,3,3,1,1,1]
#設置圖形大小
plt.figure(figsize=(20,8),dpi=80)
plt.plot(x,y)
#設置x軸刻度
_xtick_labels = ["{}歲".format(i) for i in x]
plt.xticks(x,_xtick_labels)
plt.yticks(range(0, 8))
# 繪製網格
plt.grid(alpha=0.4)
# 進行顯示
plt.xlabel("年齡")
plt.ylabel("女友個數")
plt.title("11-30歲交往的女友個數")
plt.show()
一個圖上繪製多個圖形(plt多次Plot即可)並加上圖例註釋
例子:統計小明和小剛各自從11-30歲每年交往的女朋友
繪折線圖表示,以便比較20年之間的差異,同時分析每年女友數量走勢
from matplotlib import pyplot as plt
import matplotlib
font = {'family': 'Microsoft YaHei',
'weight': 'bold'}
# 'size': 'larger'}
matplotlib.rc('font', **font)
y_a = [1,0,1,1,2,4,3,2,3,4,4,5,6,5,4,3,3,1,1,1]
y_b = [3,4,0,3,1,0,2,1,2,2,2,1,4,4,3,3,4,4,2,1]
x = range(11,31)
plt.figure(figsize=(20,8),dpi=80)
plt.plot(x,y_a,label="小明",color="#F08080")
plt.plot(x,y_b,label="小剛",color="cyan", linestyle="--")
# 設置x軸刻度
_xticks_labels = ["{}歲".format(i) for i in x]
plt.xticks(x, _xticks_labels)
plt.yticks(range(8))
#繪製網格
plt.grid() # alpha=0.4,linestyle=":"
# 添加圖例,loc表示圖例的位置
plt.legend(loc="upper left")
#展示
plt.xlabel("年齡")
plt.ylabel("女友個數")
plt.title("小明和小剛11-30歲每年交往的女友")
plt.show()
折線圖的更多應用場景:
- 呈現公司產品的每天活躍用戶數
- 呈現app每天的下載量
- 呈現產品新功能上線後,用戶點擊次數隨時間的變化
- 呈現員工每天上下班時間
三 、繪製散點圖
散點圖的應用場景:
- 不同條件(維度)之間的內在關聯關係
- 觀察數據的離散聚合程度
例子:假設通過爬蟲你獲取到了北京2016年3,10月份每天白天的最高氣溫(分別位於列表a,b),那麼此時如何尋找出氣溫和隨時間(天)變化的某種規律?
from matplotlib import pyplot as plt
import matplotlib
font = {'family': 'Microsoft YaHei',
'weight': 'normal',
'size': '10'}
matplotlib.rc('font', **font)
y_3 = [11, 17, 16, 11, 12, 11, 12, 6, 6, 7, 8, 9, 12, 15, 14, 17, 18, 21, 16, 17, 20, 14, 15, 15, 15, 19, 21, 22, 22, 22, 23]
y_10 = [26, 26, 28, 19, 21, 17, 16, 19, 18, 20, 20, 19, 22, 23, 17, 20, 21, 20, 22, 15, 11, 15, 5, 13, 17, 10, 11, 13, 12, 13, 6]
x_3 = range(1, 32)
x_10 = range(51,82)
#設置圖形大小
plt.figure(figsize=(20,8), dpi=80)
# 散點圖
plt.scatter(x_3, y_3, label="3月份")
plt.scatter(x_10, y_10, label="10月份")
#調整x軸的刻度
_x = list(x_3)+list(x_10)
_xticks_labels = ["3月{}日".format(i) for i in range(1, 32)]
_xticks_labels += ["10月{}日".format(i) for i in range(1, 32)]
plt.xticks(_x[::3], _xticks_labels[::3], rotation=270)
# 添加圖例信息
plt.legend(loc="best")
# 添加描述信息
plt.xlabel("時間")
plt.ylabel("溫度")
plt.title("3月和10月的氣溫變化")
# 顯示
plt.show()
四 、繪製條形圖
假設你獲取到了2017年內地電影票房前20的電影(列表a)和電影票房數據(列表b),那麼如何更加直觀的展示該數據?
from matplotlib import pyplot as plt
import matplotlib
font = {'family': 'Microsoft YaHei',
'weight': 'normal',
'size': '10'}
matplotlib.rc('font', **font)
x = ["戰狼2","速度與激情8","功夫瑜伽","西遊伏妖篇","變形金剛5:最後的騎士","摔跤吧!爸爸","加勒比海盜5:死無對證","金剛:骷髏島","極限特工:終極迴歸","生化危機6:終章","乘風破浪","神偷奶爸3","智取威虎山","大鬧天竺","金剛狼3:殊死一戰","蜘蛛俠:英雄歸來","悟空傳","銀河護衛隊2","情聖","新木乃伊",]
y = [56.01,26.94,17.53,16.49,15.45,12.96,11.8,11.61,11.28,11.12,10.49,10.3,8.75,7.55,7.32,6.99,6.88,6.86,6.58,6.23]
plt.figure(figsize=(20, 15), dpi=80)
# 繪製條形圖
# plt.bar(x, y, width=0.3) # 豎的條形圖
plt.barh(x, y, height=0.3, color="orange") # 橫的條形圖
plt.grid(alpha=0.3)
# 顯示
plt.ylabel("電影名")
plt.xlabel("票房")
plt.title("2017年全國電影票房統計圖")
# plt.savefig("./movie.png")
plt.show()
繪製多個圖形:
假設你知道了列表a中電影分別在2017-09-14(b_14), 2017-09-15(b_15), 2017-09-16(b_16)三天的票房,爲了展示列表中電影本身的票房以及同其他電影的數據對比情況,應該如何更加直觀的呈現該數據?
from matplotlib import pyplot as plt
import matplotlib
font = {'family': 'Microsoft YaHei',
'weight': 'normal',
'size': '10'}
matplotlib.rc('font', **font)
a = ["猩球崛起3:終極之戰", "敦刻爾克", "蜘蛛俠:英雄歸來", "戰狼2"]
b_16 = [15746, 312, 4497, 319]
b_15 = [12357, 156, 2045, 168]
b_14 = [2358, 399, 2358, 362]
bar_width = 0.2
x_14 = list(range(len(a)))
x_15 = [i+bar_width for i in x_14]
x_16 = [i+bar_width*2 for i in x_14]
# 設置分辨率
plt.figure(figsize=(20, 8), dpi=80)
# 畫條形圖
plt.bar(x_14,b_14,width=bar_width,label="14日")
plt.bar(x_15,b_15,width=bar_width,label="15日")
plt.bar(x_16,b_16,width=bar_width,label="16日")
# 設置x軸刻度
plt.xticks(x_15,a)
# 設置圖例
plt.legend(loc="best")
# 顯示
plt.xlabel("電影名稱")
plt.ylabel("票房")
plt.title("14-16日票房統計")
plt.show()
五、繪製直方圖
假設你獲取了250部電影的時長(列表a中),希望統計出這些電影時長的分佈狀態(比如時長爲100分鐘到120分鐘電影的數量,出現的頻率)等信息,你應該如何呈現這些數據?
把數據分爲多少組進行統計??? 組數要適當,太少會有較大的統計誤差,大多規律不明顯
組數:將數據分組,當數據再100個以內時,按數據多少常分爲5-12組。
組距:指每個小組的兩個端點的距離
組數=極差/組距=(max(a)-min(a))/bind_width
from matplotlib import pyplot as plt
import matplotlib
font = {'family': 'Microsoft YaHei',
'weight': 'normal',
'size': '10'}
matplotlib.rc('font', **font)
a = [131, 98, 125, 131, 124, 139, 131, 117, 128, 108, 135, 138, 131, 102, 107, 114, 119, 128, 121, 142, 127, 130, 124, 101, 110, 116, 117, 110, 128, 128, 115, 99, 136, 126, 134, 95, 138, 117, 111,78, 132, 124, 113, 150, 110, 117, 86, 95, 144, 105, 126, 130,126, 130, 126, 116, 123, 106, 112, 138, 123, 86, 101, 99, 136,123, 117, 119, 105, 137, 123, 128, 125, 104, 109, 134, 125, 127,105, 120, 107, 129, 116, 108, 132, 103, 136, 118, 102, 120, 114,105, 115, 132, 145, 119, 121, 112, 139, 125, 138, 109, 132, 134,156, 106, 117, 127, 144, 139, 139, 119, 140, 83, 110, 102,123,107, 143, 115, 136, 118, 139, 123, 112, 118, 125, 109, 119, 133,112, 114, 122, 109, 106, 123, 116, 131, 127, 115, 118, 112, 135,115, 146, 137, 116, 103, 144, 83, 123, 111, 110, 111, 100, 154,136, 100, 118, 119, 133, 134, 106, 129, 126, 110, 111, 109, 141,120, 117, 106, 149, 122, 122, 110, 118, 127, 121, 114, 125, 126,114, 140, 103, 130, 141, 117, 106, 114, 121, 114, 133, 137, 92,121, 112, 146, 97, 137, 105, 98, 117, 112, 81, 97, 139, 113,134, 106, 144, 110, 137, 137, 111, 104, 117, 100, 111, 101, 110,105, 129, 137, 112, 120, 113, 133, 112, 83, 94, 146, 133, 101,131, 116, 111, 84, 137, 115, 122, 106, 144, 109, 123, 116, 111,111, 133, 150]
plt.figure(figsize=(20, 8), dpi=80)
# 根據組距求出組數
bind_width = 3
num_binds = int((max(a)-min(a))/bind_width)
plt.hist(a, num_binds)
# 設置x軸的刻度
plt.xticks(range(min(a),max(a)+bind_width,bind_width))
plt.grid()
plt.show()
一般來說能夠使用plt.hist方法的的是那些沒有統計過的數據
直方圖更多應用場景:
- 用戶的年齡分佈狀態
- 一段時間內用戶點擊次數的分佈狀態
- 用戶活躍時間的分佈狀態