原创 spark Dataframe數據處理常用方法總結
以下方法使用scala, df類型爲Dataframe 常用的包： import org.apache.spark.sql.functions._ import spark.implicits._ 1. 新增一列 df = df.w
2020-07-01 12:22:32
3
原创 python數據處理之數據讀取
python數據處理簡介 在python中數據處理的庫爲：pandas, 數據讀取的類名爲read_xxx, 最常用的是read_excel，read_csv 代碼示例： import pandas as pd df = pd.read
2020-02-21 00:32:08
原创 跟我一起學python數據處理吧
從今天2020-01-13開始，總結一下這一年多使用python進行數據處理的一些心得。 對自己的這段時間的積累的一個總結吧。 點贊 收藏 分享 文章舉報 Ashley_
2020-02-21 00:32:07
原创 AttributeError: 'str' object no attribute ''items
這個錯誤發生在我進行pyinstaller打包的時候。通過更新setuptools解決了問題。 但是在更新setuptools時，又遇到了坑，pip install setuotools不起作用，又嘗試了下載setuptools whl文
2019-02-02 02:44:31
原创 python_project_mysql Python與數據庫交互
python中使用數據庫mysql 1，安裝：pip install pymysql 2, 原理： 3，代碼 1），sql語句中有參數的 def selectDataFromMysql(self,sql, parm):
2018-08-25 13:15:59
1
原创 python_project
最近做了一個爲期兩週的小項目，是一個很簡單的工作流。內容包括員工的加班申請，組長進行加班審批和公佈加班需求。 代碼實現包括： 界面（pyqt5）後臺邏輯數據庫(mysql)對這次項目做一個簡單的總結，內容分別在兩篇文章中：python_p
2018-08-25 13:15:59
3
原创 python_project_pyqt5
主要用到QWidget,QComboBox,QDialog,QTabwidget,QTableWidget,和其他一些常用的控件。 1, QWidget 1), 可以作爲獨立的界面使用，也可以加到QMainWindow中，self就是QM
2018-08-25 13:15:58
3
原创 Python_Excel_02
Python_Excel_01中提到的xlwt庫，如果你只想往Excel裏寫東西，那麼這個庫就足夠了。但是如果還要設置對Excel的格式，字體等進行設置，那麼建議換成：xlsxwriter. 使用xlsxwriter進行Excel設置：
2018-08-25 13:15:58
原创 大數據分析學習之路——Hive
大數據 什麼是大數據? 大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。換句話數據量在TB，PB，甚至更大的多元化數據集合。多，雜的數據 當今數據處理模式：離線處理（先收集數據，再處理）----Had
2018-08-25 13:15:58
原创 大數據分析學習之路—安裝數據分析常用庫
numpy, pandas,scipy,sklearn庫 一般安裝，pip install 庫名 注意：1, 我在用pip install numpy 裝完之後，import numpy時， 報錯： ImportError: cann
2018-08-25 13:15:58
1
原创 Python_re
Python正則表達式介紹： http://www.cnblogs.com/chuxiuhong/p/5885073.html http://www.cnblogs.com/yyyg/p/5498803.html
2018-08-25 13:15:56
原创 Python_Excel_01
1, 安裝xlwt第三方庫. 方法有二： 1）：直接安裝 打開cmdpip install xlwt 2)： 下載安裝 下載地址：下載地址cmd進入庫文件，安裝：python setup.py install2
2018-08-25 13:15:56
3
原创 shell 基礎
Shell其實是一個有特殊功能的程序，主要是提供用戶與內核交互操作的一個接口。它的位置介於用戶界面和內核之間，工作流程是接收用戶輸入的命令並且進行解釋(轉換爲計算機可以理解的機械碼)，然後將命令送入內核去
2018-08-25 13:15:54
3
原创 Python_matlab_01
Python調用matlab第一步； 1，安裝Python（version：2.7或者3.3 支持，3.5經驗證不能用） 2， matlab version 2014b 3, 用管理員權限打開cmd, 假設matlab裝在了假設Matla
2018-08-25 13:15:52