原创 Python數據分析——pandas數據探索常用方法實戰

目錄 Pandas的主要方法 排序 索引和獲取數據 應用函數到單元格、列、行 分組(Groupby) 彙總表 增減DataFrame的行列 預測離網率 本篇通過分析電信運營商的客戶離網率來熟悉Pandas數據探索的常用方法,並構建一個預測

原创 Python數據分析——文本挖掘

分詞,用jiaba # 分詞 import jieba doc = '我喜歡上海東方明珠' # 全模式;精準模式;搜索引擎模式 w1 = jieba.cut(doc,cut_all=False) # 參數1:數據 參數2:模式 有三種

原创 Python網絡爬蟲——使用Cookie

Cookie是用來維持會話之間的狀態,比如,將登錄成功後的一些信息保存下來,一般常用的方式有兩種: 1、通過Cookie保存會話信息    2、通過Session保存會話信息 如果是通過Cookie保存會話信息,會將所有的信息保存在客戶端

原创 Linux基本操作

一、重要的快捷鍵 1、Tab鍵,用來補全(補全命令、補全目錄,補全命令參數)。輸入開頭部分,然後按下tab鍵 2、Ctrl+C,強制終止當前程序 其它快捷鍵 按鍵 作用 Ctrl+d 鍵盤輸入結束或者推出終端 Ctrl+s 暫停當前程序

原创 用Ping、Tcping測試網絡的連通性

1、概述 通常情況下,測試一個地址能不能訪問,通常使用Ping來判斷,如果測試端口的連通性,可以使用Tcping來判斷。 2、使用 a.用ping命令查看地址能否訪問,若可以訪問,如下圖:  b.用tcping命令查看端口能否訪問,首先

原创 Python網絡爬蟲——設置代理服務器

1、簡介 使用同一個ip頻繁爬取一個網站,久了之後會被該網站的服務器屏蔽。所以這個時候需要使用代理服務器。通過ip欺騙的方式去爬取網站 2、應用 # *-*coding:utf-8*-* from urllib import reque

原创 Python網絡爬蟲——超時設置

1、簡介 有的時候,訪問一個網頁,如果該網頁長時間未響應,那麼系統就會判斷該網頁超時了。但是,有的時候我們需要根據自己的需要來設置超時的時間值,比如,以10秒做爲判斷一個網頁是否超時的標準。 2、應用 循環99次爬蟲百度首頁的網站,將超時

原创 Python網絡爬蟲——異常處理URLError

1、簡介 爬蟲程序在執行的過程中,難免會發生異常,這個時候就需要去合理的處理異常 2、應用 # *-*coding:utf-8*-* from urllib import request # 異常處理 from urllib impor

原创 Postman中加入腳本

一、介紹postman允許在兩種事件中插入腳本,來完成動態參送發送請求和請求之前的數據傳遞。這兩種事件分別是:1、在請求發送之前,做爲預請求腳本,在下圖預請求選項卡下添加。2、在收到響應後,作爲測試腳本在測試選項卡下添加如圖:用戶可以向集

原创 Postman中的測試腳本(Test scripts)

一、postman測試腳本測試腳本是在發送請求之後運行的,並且已經從服務器接收到響應。二、測試舉例1、設置環境變量pm.environment.set("variable_key", "variable_value"); 2、將嵌套對象設

原创 Python網絡爬蟲——模擬瀏覽器

1、簡介 有些網站爲了防止別人惡意採集信息,所以進行了反爬蟲的設置。這個時候,就需要模擬成瀏覽器去訪問這些網站。 2、應用 就比如我們模擬瀏覽器去爬取百度首頁(添加User-Agent信息)。有如下兩種方式 方法一:使用build_ope

原创 Ubuntu16.04安裝Jenkins

一:Jenkins基於java, 所以需要先安裝java1、使用命令 sudo lsb_release -a 查看系統版本2、安裝Jenkins需要用到Java環境,所以先下載Java環境下載地址爲:http://www.oracle.c

原创 Robot Framework學習——Selenium2Library庫

轉自:https://blog.csdn.net/jasonliujintao/article/details/54600365 介紹: *** Settings *** Library Selenium2Libra

原创 Chromedriver、geckodriver、IEDriverServer與瀏覽器的對應版本和下載地址

chromedriver與chrome的的對應版整理: chromedriver版本 chrome版本 v2.9 v31-v34 v2.10 v33-v36 v2.11 v36-v40 v2.12 v38-v41 v2.14 v39-v4

原创 Python中的作用域和閉包

簡介:Python 裝飾器可幫助我們抽離出大量函數中與函數功能本身無關的雷同代碼,並繼續重用。1、函數的作用域LEGB首先來介紹一下什麼是LEGB:    L:(local)局部作用域。就是函數中定義的變量    E:(enclosing