python數據科學實踐指南

數據科學

1.數據科學的過程分爲：數據採集、數據清洗、數據處理和數據查詢與可視化。
2.數據科學需要的技能：python編程語言、算法、數據庫、操作系統、概率與統計、線性代數和英語。
3.編程學習網站：codecademy、pluralsight
4.算法學習網站：

Python安裝

1.windows版本下載網址
2.在線文檔3.8,在線文檔3.8
3.版本變更3.8
4.檢查運行python: Win+R打開運行，輸入cmd打開命令行輸入python回車，運行成功會返回版本號等信息進入了shell編程模式輸入exit()可退出

IDE開發工具

pycharm、sublime Text 3 和notepad++

python基礎知識

1.python的5種基本數據類型：None,int(整數),float(浮點型),bool(布爾型),str(字符串型)
2.變量賦值：
python賦值命名是地址引用。
id(變量名) 可以顯示地址值
3. 操作符和表達式：

	算術操作符：+、-、*、**、/、//、%
    位操作符：<<、>>、&、|、^、~、
    比較操作符：<、>、<=、>=、==、!=
    邏輯操作符：and、or、not、

4.字符串：

	拼接字符串：+，*
 	分片操作：變量名[開始位置:結束位置:步長], 口訣 **左閉又開，從零開始**  如：s='abcdefg', s[1:-1:1] 輸出：bcdef
	字符串長度：len(變量名),如 len(s) 輸出：7

5.獲取鍵盤輸入：
raw_input(‘請輸入’)
6.流程控制：

	條件判斷：if x % 2 == 0:
					  	print('1')
					  elif x % 3 == 0:
					    print('2')
					   else:
					   	print('3')
	 循環：while循環：
    	            x = 5
    	 			iters = 10
    	 			ans = 0
    	 			while iters > 0:
    	 				ans = ans + x
    	 				iters -= 1
    	 			print(ans)
	 			for循環：
	 				for iters in range(10):
	 					if ans % 3 ==0:
	 						continue
	 					if ans >= 10:
	 						break	
	 					print(iters)					 	 								   	 						  

7.註釋

		#註釋一行
		"""
		註釋
		多行
		"""

python函數及異常處理

1.函數：

	定義函數：
				def my_abs(num):
					if num < 0:
						return -num
					return num
				 my_abs(-1)
      實參：flip(y=1,x=2)
      可變參數：def func(*args,**kwargs):
      						print(args,kwargs)				 		
	遞歸：
			def fact(n):
				if n > 1:
					return n * fact(n-1)
				else
					return n					

2.閉包

	閉包是引用了自由變量的函數
	def gen_counter(name):
		count=[0]
		def counter():
			counter[0]+=1
			print(name,str(count[0]))
		return counter
	c = gen_counter('master')
	c()
	c()	

3.異常處理

	def div(a,b):
		try:
			ret = a / b
		except ZeroDivsionError:
			print('0不能做被除數')
		finally:
			print('done')	
		return ret
	div(1,0)			

高級字符串處理

	s.strip()  去除字符串兩邊的空白字符
	s.capitalize() 首字母大寫
	s.lower()		字母小寫
	s.title()	每個單詞首字母大寫
	s.upper()	字母大寫
	s.isalnum()	判斷字符串中是否包含字母或數字
	s.split()	分割字符串
	s.format() 	格式化字符串
	re.compile() 創建正則表達式			

容器類型

不可變類型：元祖(tuple) s=(1,2,3)
可變類型：列表(list) s=[1,2,3]
字典(dict) s={‘a’:1,‘b’:2}
集合(set)

python標準庫

math模塊

time模塊

random模塊

fileinput和glob模塊

bz2和gzip模塊

json模塊

python IO讀寫外部數據

csv模塊

pandas模塊

MySQLdb模塊

torndb模塊

psycopg2模塊

pymongo模塊

elasticsearch模塊

數據科學的第三方庫

numpy庫

pandas庫

sklearn和scipy庫

python圖數據分析庫

networkx庫

大數據工具

hadoop工具

spark工具