原创 Pycharm配置git安裝

1、在官網https://www.git-scm.com/download/win  上下載git至本地,並配置好環境變量 2、然後在Pycharm上配置好git環境,在pycharm上點擊設置,版本控制,選擇Git,在執行path to

原创 python3 selenium的三種等待加載方式的優缺點

1、顯式等待 等待一定條件發生後再進一步執行後面的動作,與time庫合用. 現在的大多數的Web應用程序是使用Ajax技術。當一個頁面被加載到瀏覽器時, 該頁面內的元素可以在不同的時間點被加載。這使得定位元素變得困難, 如果元素不再頁面

原创 python selenium 速度優化

原文鏈接:https://blog.csdn.net/yybk426/article/details/73930944 讓瀏覽器一開始不加載圖片、css樣式,一般的爬蟲都是因爲內存消耗太大引起的

原创 oracle 啓動出現ORA-00119、ORA-00130

startup ORA-00119: invalid specification for system parameter LOCAL_LISTENER ORA-00130: invalid listener address '(ADDR

原创 Informatica常用組件

1. 表達式轉換組件 (expression)     expression 屬於被動組件類型(passive),是一種行級表達式,不改變數據行數,功能強大,操作簡單。  主要在以下情況下應用: 對流入數據的類型、內容值修改 添加、記錄變

原创 Informatica的使用

1、工具說明 R 是對部署文件進行管理(包括新增、刪除、修改等) D是在部署文件下進行ETL設計 W是在D設計好直接進行工作流調度 M是W執行的時候顯示日誌 2、對Designer部件講解 2.1、更新策略轉換組件  

原创 python 高階函數map()、filter()、reduce()

map()函數是接收兩個參數,一個是函數,一個是序列,map()把傳入的函數依次作用於序列的每個元素,並把結果作爲新的序列返回. filter()函數,接收兩個參數,一個是函數,一個是序列,filter()函數是把傳入的函數依次作用於每個

原创 Kettle 連接數據庫填坑

1、使用JDBC連接mysql的時候,出現缺失mysql driver的報錯. 下載鏈接: https://mvnrepository.com/artifact/mysql/mysql-connector-java 下載根據mysql版本

原创 內網搭建本地文件夾對應的pip源

第一步:首先搭建httpd服務, yum install httpd或者下載好httpd.**.**.rpm 再執行yum install httpd.**.**.rpm mkdir -p /var/www/packages  ##配置h

原创 python socket命令詳解

socket俗稱套接字,用於描述IP地址和端口,是一個通信鏈的句柄,應用程序通常通過"套接字"向網絡發出請求或者應答網絡請求 socket主要功能:用於兩個程序之間數據交互,負責建立連接和傳遞數據. socket(family,type[

原创 Scrapy-settings配置

# -*- coding: utf-8 -*- # Scrapy settings for step8_king project # # For simplicity, this file contains only settings c

原创 python scrapy模塊的安裝以及應用

scrapy模塊的安裝: 1、pip install lxml  -- 安裝lxml 2、下載前置模塊 預先在cmd命令下執行 pip install scrapy 要是會報錯,部分前置庫已安裝   3、升級pip       pytho

原创 Hbase常見的操作

空間的管理: create_namespace 'test'   #創建空間 drop_namespace 'test'    #刪除空間 alter_namespace 'test',{METHOD =>'set','PROPERTY_

原创 python 使用pandas計算累積求和的方法

今天小編就爲大家分享一篇python 使用pandas計算累積求和的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧 使用pandas下的cumsum函數 cumsum:計算軸向元素累積加和,返

原创 Python 爬蟲基礎

HTTP簡介: 200/OK  請求成功 201/ 請求已被發現 202 /服務器已接收請求,但尚未處理 400/ 請求無法被服務器理解 401 /當前請求需要用戶驗證 403 /服務器已理解請求,但拒絕執行 404 、NotFound