shell中使用wget命令

    wget命令用來從指定的URL下載文件。wget非常穩定,還可以加--spider選項用來檢測url是否正常。

wget (選項) (參數:url)
實例:

使用wget下載單個文件

wget http://www.linuxde.net/testfile.zip


下載並以不同的文件名保存

wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080


wget限速下載

wget --limit-rate=300k http://www.linuxde.net/testfile.zip



使用wget斷點續傳

 wget -c http://www.linuxde.net/testfile.zip


使用wget後臺下載

wget -b http://www.linuxde.net/testfile.zip

Continuing in background, pid 1840. Output will be written to `wget-log'. 對於下載非常大的文件的時候,我們可以使用參數-b進行後臺下載,你可以使用以下命令來察看下載進度:

 tail -f wget-log

僞裝代理名稱下載

 wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.linuxde.net/testfile.zip

有些網站能通過根據判斷代理名稱不是瀏覽器而拒絕你的下載請求。不過你可以通過--user-agent參數僞裝。

你可以在以下幾種情況下使用--spider參數, 使用--tries增加重試次數。

定時下載之前進行檢查 

間隔檢測網站是否可用 

檢查網站頁面的死鏈接

wget --spider URL



下載多個文件

 wget -i filelist.txt

首先,保存一份下載鏈接文件: 

cat > filelist.txt 

url1

url2 

url3

url4 

接着使用這個文件和參數-i下載。

批量下載文件:wget --input-file=wget-list --continue --directory-prefix="存放目錄"

wget --input-file=ftp://ftp.lfs-matrix.net/pub/lfs/lfs-packages/7.7-systemd/ --continue --directory-prefix=/root/toot/

鏡像網站

wget --mirror -p --convert-links -P ./LOCAL URL

下載整個網站到本地。 --miror開戶鏡像下載。 -p下載所有爲了html頁面顯示正常的文件。 --convert-links下載後,轉換成本地的鏈接。 -P ./LOCAL保存所有文件和目錄到本地指定目錄。

過濾指定格式下載

wget --reject=gif url

下載一個網站,但你不希望下載圖片,可以使用這條命令。

把下載信息存入日誌文件 wget -o download.log URL 不希望下載信息直接顯示在終端而是在一個日誌文件,可以使用。

限制總下載文件大小

 wget -Q5m -i filelist.txt

當你想要下載的文件超過5M而退出下載,你可以使用。注意:這個參數對單個文件下載不起作用,只能遞歸下載時纔有效。

下載指定格式文件

wget -r -A.pdf url

可以在以下情況使用該功能: 下載一個網站的所有圖片。 下載一個網站的所有視頻。 下載一個網站的所有PDF文件。

FTP下載 ;可以使用wget來完成ftp鏈接的下載。 

使用wget匿名ftp下載:

wget ftp-url

 

使用wget用戶名和密碼認證的ftp下載:

 wget --ftp-user=USERNAME --ftp-password=PASSWORD url



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章