原创 [雲服務] 騰訊雲常見問題總結
在使用騰訊雲的過程中遇到了一些問題，這裏做一下總結 1. 登錄問題 1.1 進入控制檯 購買騰訊雲之後的第一步是進入騰訊雲官網的控制檯，然後修改密碼 1.2 密鑰登錄 常用的登錄服務器的方式有密碼登錄和密鑰登錄，密碼登錄嘗試了
2020-07-08 04:26:33
4
原创 [Python] Pandas 中 read_csv 與 read_hdf 速度對比
1. read_csv() VS read_hdf() 一般情況下, 我們習慣使用 Pandas 中的 read_csv 函數來讀取 CSV 文件, 但當 CSV 文件比較大時, read_csv 的速度會顯得有點慢, 這時可以考
2020-07-08 04:26:23
原创 [GIT] 使用方法總結
一. 基本流程 clone到本地文件夾 git clone http://10.6.46.215:88/cofco/crp-service-python.git 創建遠程倉庫 // 關聯遠程倉庫 git remote
2020-07-08 04:26:22
原创 [Linux] zip error: Invalid command arguments (cannot repeat names in zip file)
使用如下命令壓縮文件夾時, 有時會報出如標題的錯誤 zip -r -q -j zip_file to_zip_dir 先說一下命令中幾個參數的含義: -r 表示壓縮時會壓縮指定文件夾中的所有子文件夾和文件, 壓縮單個文件時可以
2020-07-08 04:26:22
原创 [Python] 使用 Pandas 向量化處理時間戳
1. 字符串日期 >> 時間戳 (單個) 對於單個的字符串格式的日期, 可以使用time模塊得到其時間戳 date = '1970-01-01 10:00:00' time.mktime(time.strptime(date, '
2020-07-08 04:26:22
原创 [Python] 讀寫 zip/hdf/rar/targz/bcolz
1. 讀寫 zip 相關模塊安裝可以參考 [Python] 讀取 rar/zip 壓縮文件 import zipfile def ls_zip(zip_file_path): '''獲取zip壓縮文件夾dir'''
2020-07-08 04:26:22
2
原创 [雲服務] 在AWS上安裝和配置PPTP
1. 安裝 PPTP sudo apt install pptpd 2. 設置 IP 在/etc/pptpd.conf中加入下面兩行, 注意localip後面要寫當前服務器的IP, 而remoteip是在localip的基礎上向
2020-07-08 04:26:21
2
原创 [Centos] 從零開始單機部署可遠程訪問的 DolphinScheduler
目錄1. 環境配置1.1 安裝 JAVA 1.81.2 安裝 MySQL 5.71.3 安裝 ZooKeeper 3.6.12. 後端部署 DolphinScheduler2.1 下載2.2 新建用戶並授權2.3 ssh免密登錄配
2020-07-08 04:26:20
31
原创 [Ubuntu] 從零開始的 Flask+Gunicorn+Nginx
下面記錄在騰訊雲服務器上配置和啓動服務的全過程 1. 安裝所需模塊 已經安裝過的模塊可以跳過 # 安裝 Python $ sudo apt install python3 # 安裝/升級 pip $ sudo apt instal
2020-06-04 10:51:10
原创 [Centos] 從零開始單機部署 DolphinScheduler
1. 環境配置 安裝 JAVA 1.8 / MySQL 5.7 / ZooKeeper 3.5.8 1.1 安裝 JAVA 1.8 檢查是否已有安裝, 有的話先刪除 rpm -qa | grep java # java-1.
2020-06-04 10:51:10
原创 [Centos] 安裝並設置遠程登錄 MySQL5.7(8.0)
1. 刪除已安裝 MySQL 首先檢查服務器上是否已裝有MySQL, 若有的話需要先刪除 rpm -qa|grep -i mysql rpm -ev --nodeps mysql-community-libs-8.0.18-1.e
2020-06-04 10:51:10
原创 VS Code 報錯 Failed to parse remote port from server output
問題描述: 在騰訊雲服務器上重裝系統之後, SSH 可以遠程連接, 但 VS Code Insider 遠程連接時報錯 Failed to parse remote port from server output 原因: VS C
2020-05-26 12:41:29
46
原创 [Ubuntu] 在安卓手機中安裝 Ubuntu
安卓系統的內核也是Linux, 所以安卓手機中是可以安裝Ubuntu系統的, 搜索下載Termux, 然後按照下面步驟操作即可安裝Ubuntu 1. 更新和配置系統 # 將安裝源修改爲 http://mirrors.tuna.ts
2020-05-23 11:07:00
14
原创 [Spark] 自定義函數 udf & pandas_udf
首先引入所需模塊 from pyspark.conf import SparkConf from pyspark.sql import SparkSession from pyspark.sql.functions import
2020-03-06 06:48:08
原创 [Centos] 快速搭建 FTP
安裝 vsftpd yum install -y vsftpd 設置FTP服務開機自啓動 systemctl enable vsftpd.service 啓動FTP服務 systemctl start vsftpd
2020-02-20 17:33:06