原创 crontab調度git報錯fatal: could not read Username for url: Device not configured
在多人合作開發的場景下，每次開發前需從Git倉庫pull最新的版本，當有多個項目同時進行（或同時關注）時，總是手動pull耗時耗力，而且還可能忘記，於是想到了用crontab定時pull所有自己關注的項目。 調試的過程中遇到如下錯誤 錯誤
2020-06-29 01:13:03
10
原创 python爬蟲-動態網站爬取
對於某些靜態網站，只要requests.get(‘url')即可獲得頁面全部內容，如鏈家使用pg代表頁面、rs代表關鍵字，https://sh.lianjia.com/ershoufang/pg2rs%E8%99%B9%E5%8F%A3/
2020-06-29 01:13:03
原创 使用selenium進行網頁爬取
有些網站的反爬機制極強，需要更真實的去模擬人訪問網站的動作纔可以爬取信息，這時就需要selenium 一、selenium是什麼 selenium是什麼呢？它是一個強大的Python庫。 它可以做什麼呢？它可以用幾行代碼，控制瀏覽器，做出
2020-06-29 01:13:03
原创 windows10安裝docker的若干坑--無法找到Hyper-V
想在電腦上裝一個docker，但是發現自己的系統是Windows10家庭版，而家庭版是不帶Hyper-V的，那要如何解決這個問題呢？ 1. 複製下列代碼到文本文件裏，重命名爲Hyper-V.cmd pushd "%~dp0" dir /
2020-06-15 18:04:51
1
原创 windows10安裝docker的若干坑--Docker Desktop requires Windows 10 Pro/Enterprise (15063+)
安裝docker for windows時報錯：Docker Desktop requires Windows 10 Pro/Enterprise (15063+) or Windows 10 Home (19018+) 原因：系統是wi
2020-06-15 18:04:51
2
原创 pycharm本地遠程關聯相關問題
配置遠程SFTP 在PyCharm中打開SFTP配置面板，路徑爲Tools => Deployment => Configuration: 配置Connection參數設置，填寫遠程服務器域名或者IP地址及用戶名密碼後，點擊T
2020-06-10 07:38:21
原创 pycharm從遠程倉庫clone時“Authentication failed for '倉庫地址'”的問題解決
背景：使用pycharm-Git-clone 時，輸錯了賬戶名，提示“Authentication failed for '倉庫地址'”，但pycharm將錯誤的賬戶名保存了，之後無論是重新clone還是重啓pycharm再克隆，均會提示
2020-05-03 09:58:37
原创 Python包設置清華源（pip, anaconda等）
原文鏈接：https://blog.csdn.net/dou3516/article/details/89071379 pip清華鏡像站 pypi 鏡像每 5 分鐘同步一次。 臨時使用
2019-08-06 15:08:23
原创 python3下使Word2Vec每次運行結果一致
如何在python3環境使Word2Vec每次運行結果一致 我們經常使用gensim的Word2Vec來進行單詞轉向量，但是這個包存在一個問題，每次訓練結果都不同，這就導致了特徵無法復現。 查閱Word2Vec的官方文檔，在see
2019-08-06 15:08:23
25
原创 服務器搭建jupyter並實現遠程訪問
一、 進入所需的conda環境 二、安裝jupyter conda install jupyter notebook 三、查看配置文件位置 jupyter notebook --generate-config 四、生成密碼 進入環
2019-07-30 15:10:53
原创 pytorch訓練出現loss=na
遇到一個很坑的情況，在pytorch訓練過程中出現loss=nan的情況 有以下幾種可能： 1.學習率太高。 2.loss函數有問題 3.對於迴歸問題，可能出現了除0 的計算，加一個很小的餘項可能可以解決 4.數據本身，是否存在N
2019-06-25 15:06:10
原创 人臉識別Face Recognition的安裝
Face Recognition是世界上最簡潔的人臉識別庫，你可以使用Python和命令行工具提取、識別、操作人臉。 Face Recognition的人臉識別是基於業內領先的C++開源庫 dlib中的深度學習模型，用Labele
2019-06-10 16:01:40
原创 python模型轉PMML
關於python模型的部署，目前有以下幾種方式 flask等python爲服務框架，無需跨語言 xgb4j,lgb4j等Java包，需跨語言，但只支持xgb/lgb PMML，跨語言，支持所有sklearn接口的模型 綜上所述
2019-05-21 15:11:21
原创 pycharm本地遠程關聯
配置遠程SFTP 在PyCharm中打開SFTP配置面板，路徑爲Tools => Deployment => Configuration: 配置Connection參數設置，填寫遠程服務器域名或者IP地址及用戶名密碼後，點擊Tes
2019-05-06 20:38:09
原创 scrapy帶帳號密碼的爬取
最近在對github和gitlab的issue進行爬取，遇到了很多坑，經過一系列的調研終於解決了問題 1、基本設置 settings.py下，設置，否則無法正常爬取網站，可能造成無返回的情況： ROBOTSTXT_OBEY = Fal
2019-04-26 17:47:22
17