原创 【pandas】[9] pandas loc、iloc
創建一個dataframe import numpy as np import pandas as pd #創建一個Dataframe data=pd.DataFrame(np.arange(16).reshape(4,4),index
2020-07-06 09:40:22
2
原创 【機器學習-模型部署】將已被存儲爲.ml的模型文件，轉化爲pmml文件
需求：將已被存儲爲.ml的模型文件，轉化爲pmml文件 #!/usr/bin/env python #! -*- coding: utf-8 -*- ''' @File: create_pmml_file.py @Author:
2020-06-30 22:11:40
1
原创 【Python】window10 python rarfile
rarfile是第三方庫。需要先安裝rarfile該第三方庫 pip install rarfile 使用rarfile解壓相應的rar文件 import rarfile path = r'C:\Users\zhengruipin
2020-06-30 22:11:40
原创 【Python】window10\Linux python unzip 中文亂碼
在zip這個包中，對文件名的 encoding 用的不是 unicode，查看源碼後，zipfile中根據文件 flag 檢測的時候，只支持 cp437 和 utf-8。具體就是查找 zipfile.py 源代碼找到下面的代碼： 第一處：
2020-06-30 22:11:39
10
原创 【風控策略】通過查全率和查準率確定cutoff
相關指標構建 如上。可以根據最後兩列。來制定cutoff。 原則： 1、可以錯殺好人，不容放過壞人的原則。就選擇查全率高的分數區間 2、不要錯殺好人，容忍放過一些壞人的原則。就選擇查準率高的分數區間 tips：如上分數的切分是
2020-06-30 22:11:39
原创 【Python】window10 python connect hive
需要在window10下，使用python去連hive，獲取在hive中的數據，然後訓練模型，將模型訓練好後，相關模型結果寫回到hive進行持久化。目的是不讓數據在本地建模環境有存儲！！！ 環境： 操作系統 window 10 pyt
2020-06-30 22:11:35
原创 【Python】window qt無法使用
緣由： 去客戶現場駐場建模。在window操作系統，python環境沒有，也不能連外網 解決方案： 將公司內部的建模環境C:\ProgramData\Anaconda3。Anaconda3整個目錄拷貝到客戶的機器上面 到客戶的機器上面
2020-06-30 22:11:35
原创 【環境】mac安裝graphviz
1、安裝graphviz brew install graphviz 2、測試使用graphviz 文件保存爲zhengruiping_test.dot digraph pic { zhengruiping -> code
2020-06-30 22:11:35
原创 【pandas】[5] DataFrame通過drop_duplicates()函數找出重複的行
1、構建測試數據 import pandas as pd df = pd.DataFrame({'k1' : ['a1','a2','a1','b1','b2'], 'k2' : ['c1','d1','c1','c2','d2
2020-06-30 22:11:35
原创 【pandas】[4] DataFrame實現sql中row_number() over(partition by column_1 order by column_2)
需求：pandas中能不能實現如sql中一樣的分組排序取值 1、構建測試數據 import pandas as pd df = pd.DataFrame({'k1' : ['a1','a2','a1','b1','b2'],
2020-06-30 22:11:35
4
原创 【pandas】pandas 寫入postgresql 比較快的方法
一種是導入sqlalchemy包，另一種是導入psycopg2包。 具體用法如下（此處以postgre數據庫舉例） postgresql://用戶名:密碼@host:port/db_name engine = create_engin
2020-06-30 22:11:35
原创 【Python】python ftplib 解決無法上傳下載中文文件及文件夾
在使用ftplib進行對ftp文件的操作過程中，出現無法上傳下載中文文件及文件夾。 經查看ftplib.py源碼。發現如下： encoding默認爲"latin-1" 修改方式： 方式一、可以直接修改ftplib.py這個源
2020-06-30 22:11:35
原创 【pandas】[8] pandas逐行(iterrows())或逐列(iteritems())處理
1、構建dataframe df = pd.DataFrame([('E146', 100.92, '[-inf ~ -999998.0]'),('E138', 107.92, '[-999998.0 ~ 2]'),('E095', 1
2020-05-14 02:55:50
原创 【mac 環境】郵箱密碼修改後，foxmail無法正常接收郵件
原因：郵箱密碼修改，max上的foxmail客戶端無法正常收郵件，網頁版的郵箱正常接收郵件 問題情況： 點擊高級設置 解決方法： 1、登陸網頁版郵箱》設置》POP3/SMTP/IMAP 2、開啓IMAP/SMTP服務
2020-05-07 23:15:59
原创 【pandas】[7] Series 判斷每個元素是否爲空
有時候需要對Series中的每個元素進行判斷，然後做下一步邏輯處理 1、Series是數值類型的時候；裏面有空值(np.nan)；value_counts()不會統計到空值。判斷時需要使用np.isnan(x) ab = pd.Se
2020-04-21 15:42:45