WGET 的使用

 


# wget -r -p -np -k http://xxx.edu.cn

 


-r 表示遞歸下載,會下載所有的鏈接,不過要注意的是,不要單獨使用這個參數,因爲如果你要下載的網站也有別的網站的鏈接,wget也會把別的網站的東西下載下來,所以要加上-np這個參數,表示不下載別的站點的鏈接. 

-np 表示不下載別的站點的鏈接. 

-k 表示將下載的網頁裏的鏈接修改爲本地鏈接.

-p 獲得所有顯示網頁所需的元素,比如圖片什麼的.

-E  或 --html-extension   將保存的URL的文件後綴名設定爲“.html”

==================================================================

# wget -c -t 0 -O rhel6_x86_64.iso http://zs.kan115.com:8080/rhel6_x86_64.iso


-c 斷點續傳

-t 0 反覆嘗試的次數,0爲不限次數

-O rhel6_x86_64.iso 把下載的文件命名爲rhel6_x86_64.iso

http://zs.kan115.com:8080/rhel6_x86_64.iso 要下載的文件的網址


===================================================================


wget高級用法


http://blog168.chinaunix.net/space.php?uid=26050273&do=blog&id=1742503


摘要:本文講述了wget的一些高級用法,比如另存爲,後臺下載,斷點下載。批量下載。

增加下載嘗試次數和測試下載鏈接是否生效。

記錄下載日誌,下載和排除指定類型文件。



1、下載單個文件

wget url+filename


下載過程中同時可以看到四項信息

已經下載的比例

已經下載的大小

當前下載的速度

剩餘的時間


2、使用一個大寫O做參數表示另存爲

wget -O save_name url


這種方法適用於對應鏈接中沒有顯式文件名的情況。


例如: wget -O xx.zip http://www.vim.org/scripts/download_script.php?src_id=7701


再用不帶-O參數的下載一次。


ls -al

總計 132

drwxr-xr-x 2 root root  4096 07-12 10:43 .

drwxr-xr-x 4 root root  4096 07-11 16:26 ..

-rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701

-rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip


我們發現,下載的大小都是一樣。但是不帶-O參數的,文件名還要轉換一次。不如用-O參數方便。


mv "download_script.php?src_id=7701" yy.zip


3、指定下載速率

方法是使用wget --limit-rate


wget程序默認是使用所有的帶寬,如果

是在生產服務器上下載很大的文件就不可接受了。

爲了避免這種情況使用--limit-rate參數

wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2



4、斷點下載


使用wget -c完成未完成的下載


下載到一半需要停下來幹別的事情,用^c就可以停頓住。


回來後,繼續下載可以加一個-c參數。


注意:如果不加入-c,那麼下載的文件會多出一個.1的後綴。



5、在後臺下載

方法:加一個-b的參數


wget -b url/filename

爲後臺下載。下載經過寫入到wget-log文件中。


用tail -f wget-log查看下載日誌


6、模擬在瀏覽器下下載


有的網站不允許客戶在非瀏覽器環境下下載。使用--user-agent來設置


wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD


7、測試下載鏈接

方法:使用--spider


試圖做計劃下載時候,需要先檢查一下下載鏈接是否有效。


wget --spider DOWNLOAD-URL


如果返回OK,則表示下載鏈接是正確的!


例如

wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"

Spider mode enabled. Check if remote file exists.

--2010-07-12 11:36:32--  http://ip138.com/ips.asp?ip=58.251.193.137&action=2

正在解析主機 ip138.com... 221.5.47.136

Connecting to ip138.com|221.5.47.136|:80... 已連接。

已發出 HTTP 請求,正在等待迴應... 200 OK

長度:7817 (7.6K) [text/html]

Remote file exists and could contain further links,

but recursion is disabled -- not retrieving.



8、增加嘗試次數

方法:--tries=1000

如果網速有問題,下載大文件的時候可能會發生錯誤,

默認wget嘗試20次鏈接。


如果嘗試75次,可以

wget --tires=75 DOWNLOAD-URL



9、下載多個文件使用wget -i

將多個下載鏈接寫入到一個download-file-list.txt文件中,而後用


wget -i download-file-list.txt


10、下載整站

方法:用--mirror參數


當你要下載一個完整站點並實現本地瀏覽的時候,

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL


參數講解:

--mirror:設置這個參數用來建立本地鏡像

-p:下載所有html文件適合顯示的元素

--convert-links:下載完成後,將文檔鏈接都轉換成本地的

-P ./LOCAL-DIR:保存所有的文件和目錄到指定文件夾下


11、下載時候禁止下載指定類型的文件


例如下載站點時候,不打算下載gif動畫圖片。


wget --reject=gif WEBSITE-TO-BE-DOWNLOADED



12、記錄下載日誌

方法:使用小寫字母o


wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"


檢查一下日誌:

[root@localhost opt]# cat xx.html.log

--2010-07-12 11:57:22--  http://ip138.com/ips.asp?ip=58.251.193.137&action=2

正在解析主機 ip138.com... 221.5.47.136

Connecting to ip138.com|221.5.47.136|:80... 已連接。

已發出 HTTP 請求,正在等待迴應... 200 OK

長度:7817 (7.6K) [text/html]

Saving to: `xx.html'


     0K .......                                               100% 65.5K=0.1s


2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817]





13、是第9條的增強版。可以限制下載容量


wget -Q5m -i FILE-WHICH-HAS-URLS


當下載的文件達到5兆的時候,停止下載。

注意:如果不是對一個文件下載鏈接清單,對單個文件,

這個限制不會生效的。



14、和第11條正好相反,

這條技巧是講述如何僅僅下載指定類型的文件


從一個網站中下載所有的pdf文件


wget -r -A.pdf http://url-to-webpage-with-pdfs/



15、使用wget完成ftp下載


匿名ftp下載類似於http下載

wget ftp-url即可。


如果是需要輸入用戶名和密碼,則是


wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL



WEB採集研究之 WGET 使用手冊

http://stream2080.blog.163.com/blog/static/299032852008769409368/


WEB採集也快3年了,多多少少碰到不少問題,總結總結牢騷一下~有用人得到那更好


今天上經典工具wget的使用吧(奇怪blog的附件該怎麼放?)


http://www.gnu.org/software/wget/


WGET 手冊

適用於版本 wget 1.1


1. WGet的功能

(1) 後臺工作

(2) 支持HTTP、HTTPS、FTP

(3) 支持HTTP Proxy

(4) 跟蹤HTML、XHTML中的超鏈接

(5) 創建遠程站點爲本地鏡像

(6) 轉換下載後HTML文件的鏈接

(7) 下載FTP文件時支持含通配符的文件名

(8) 慢網速、不穩定網絡支持

(9) 支持IPv6

2. WGet命令 wget [option]... [URL]...

(1) URL格式

http://host[:port]/directory/file

ftp://host[:port]/directory/file

ftp://user:password@host/path

http://user:password@host/path

*可以對URL中的不安全字符進行“%編碼”

ftp://host/directory/file;type=a

*“type=a”表示以ASCII格式下載FTP文件

*“type=i”表示以Binary格式下載FTP文件

(2) Option語法

使用GNU getopt處理命令行參數,每個選項都有簡寫形式(以“-”開頭)和完

×××式(以“--”開頭),如:

wget -r --tries=10 http://fly.srk.fer.hr/ -o log

可以將不需要額外參數的選項連接在一起,如:

wget -drc URL 等效於 wget -d -r -c URL

可以用“--”來結束選項,如:

wget -o log -- -x

中的“-x”被當作URL來解析。

大多數選項因爲是開關參數而不接受參數

(3) WGet基本啓動選項

-V

--version

顯示wget的版本號

-h

--help

打印描述wget所有選項的幫助信息

-b

--background

啓動後立即轉到後臺執行;若未使用“-o”選項指定輸出文件名,則輸出重定向到

2 / 13

“wget-log”文件中

-e command

--execute command

執行.wgetrc配置文件中的命令,關於.wgetrc配置文件的詳細內容見後面的“啓動文

件”部分

(4) 日誌記錄及輸入文件選項

-o logfile

--output-file=logfile

將所有信息記錄到日誌文件logfile中

-a logfile

--append-output=logfile

將日誌內容添加到logfile尾部,而不是覆蓋舊的logfile

-d

--debug

打開調試輸出信息,該選項對於wget的開發者非常有用。若wget編譯時未打開調試

支持,則此選項無效

-q

--quiet

關閉wget的輸出

-v

--verbose

打開詳細輸出,顯示所有變化信息,默認此選項是打開的

-nv

--non-verbose

關閉詳細輸出,但仍然會輸出錯誤信息和基本信息

-i file

--input-file=file

從文件file中讀URL,若這裏“file”=“-”,則URL從標準輸入讀取,請使用“./-”來讀取

文件名爲“-”的文件

-F

--force-html

當URL輸入是從一個文件中讀取時,可以強制指定該文件爲HTML文件,而不管此

文件實際是什麼格式的。這樣使您可以下載現有HTML文件中的相對鏈接到本地,

但需要添加“<base href="url">”到HTML中,或使用--base command-line選項。

-B URL

--base=URL

與“-F”選項協同工作,相當於添加“<base href="url">”到“-i”指定的文件中

(5) 下載選項

--bind-address=ADDRESS

當建立客戶端TCP/IP連接時,將ADDRESS綁定到本地機器,ADDRESS可以是主機

名或IP地址,當您的主機綁定了多個IP時,該選項非常有用

-t number

--tries=number

設定網絡不好時wget的重連次數,默認是20次,當number =0時代表無限次重連,

3 / 13

當遇到致命錯誤如“connection refused”或“not found”(404),則停止自動重連

-O file

--output-document=file

將下載的文件全部連接在一起寫入文件file

-nc

--no-clobber

若同一路徑下存在相同文件名的文件則不再下載,這裏clobber有點用詞不當

-c

--continue

繼續下載未完成的下載,例如

wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z

如果本地存在的ls-lR.Z這個文件的長度小於對應的遠程文件,則wget將從本地文件

長度的偏移量處開始下載遠程同名文件

--progress=type

選擇下載進度條的形式,合法的type有“dot”和“bar”(默認)兩種

-N

--timestamping

打開時戳,詳見“時戳”部分

-S

--server-response

打印HTTP服務器發送的HTTP頭部及FTP服務器發送的響應

--spider

當打開此選項,wget將工作在Web Spider模式下。Wget不下載頁面,僅僅是檢查這

些頁面是否還存在。例如,可以使用wget來檢查您的書籤:

wget --spider --force-html -i bookmarks.html

-T seconds

--timeout=seconds

設定網絡超時時間爲seconds秒,等效於同時設定“--dns-timeout”,“--connect-timeout”

以及“--read-timeout”。默認是900秒讀超時,超時相關選項僅接受十進制數值,支

持小數(如0.1秒)

--dns-timeout=seconds

設定DNS查詢超時時間,默認無DNS超時時間

--connect-timeout=seconds

設定連接超時時間,默認無DNS超時時間

--read-timeout=seconds

設定讀寫超時時間(即進程掛起時間),該選項不直接影響整個下載過程,默認讀

超時時間是900秒

waitretry=seconds

若不需要在重新獲取頁面時等待,而僅當下載失敗時等待指定時間。在默認的

wgetrc配置文件中此選項是關閉的

--random-wait

在0~2倍等待時間之間隨機選擇重新獲取文件的等待時間,以躲過網站日誌分析。

--no-proxy

不使用代理(即使定義了*_proxy環境變量)

4 / 13

-Q quota

--quota=quota

指定自動下載的限額,quota值是字節數;配額不影響單個文件的下載,主要用於

迴歸下載和URL輸入是文件時

--no-dns-cache

關閉DNS查詢緩衝

--restrict-file-names=mode

替換遠端URL中在本機受限制的字符,例如,用%編碼替換。默認情況下,wget

是跳過這些字符(包括控制字符)。當設定mode爲“unix”時,wget跳過字符“/”以及

ASCII值在0–31和128–159之間的控制字符,這在unix類操作系統中的默認規定;當

設定mode爲“windows”時,wget跳過的字符包括“\”、“|”、“/”、“:”、“?”“"”、“*”、“<”、

“>”,以及與unix系統中相同的控制字符。在windows模式中,wget使用“+”代替“:”

以分隔本地文件名中的主機和端口;使用“@”代替“?”以分隔文件名中的查詢參數。

例如:在unix模式下的URL:www.xemacs.org:4300/search.pl?input=blah,在windows

模式下則表示爲:www.xemacs.org+4300/search.pl@input=blah。若要跳過控制字符,

則可以使用:--restrict-file-names=nocontrol

-4

--inet4-only

-6

--inet6-only

強制連接IPv4地址或IPv6地址

--prefer-family=IPv4/IPv6/none

指定優先考慮特定地址族,默認是IPv4

--retry-connrefused

把“connection refused”當成是暫態錯誤並再次嘗試

--user=user

--password=password

爲HTTP或FTP文件獲取指定用戶名密碼

(6) 目錄選項

-nd

--no-directories

當遞歸地獲取文件是,不創建分層的目錄

-x

--force-directories

強迫創建一個分層目錄,即使該目錄本地不存在

-nH

--no-host-directories

禁用主機名前綴的目錄

--protocol-directories

使用協議名作爲本地文件名的一個路徑項

--cut-dirs=number

忽略number部分的目錄成分,例如:

無選項 -> ftp.xemacs.org/pub/xemacs/

-nH -> pub/xemacs/

5 / 13

-nH --cut-dirs=1 -> xemacs/

-nH --cut-dirs=2 -> .

無選項 -> ftp.xemacs.org/pub/xemacs/

--cut-dirs=1 -> ftp.xemacs.org/xemacs/

-P prefix

--directory-prefix=prefix

設定目錄前綴爲prefix。默認是“.”

(7) HTTP選項

-E

--html-extension

將保存的URL的文件後綴名設定爲“.html”

--http-user=user

--http-password=password

指定某個HTTP服務器上的用戶名和密碼,wget使用基本授權方案或消息摘要方案

對用戶名和密碼進行加密

--no-cache

禁用Server端的cache,這對從代理服務器上重新獲取本地已經過期的文檔非常有效。

wget默認是允許使用cache

--no-cookies

禁用cookie;wget默認允許使用cookie

--load-cookies file

在第一次的HTTP重新獲取前,從txt文件file中加載cookie

--save-cookies file

退出前將cookie保存到file文件中,但不保存已過期的cookie和無有效期的cookie(會

話cookie)

--keep-session-cookies

若設定此項,則--save-cookies file也保存會話cookie

--ignore-length

忽略HTTP中的Content-Length頭,不僅僅下載Content-Length指定的長度

--header=header-line

在下載的HTML文件中添加頭部header-line,例如:

wget --header='Accept-Charset: iso-8859-2' \

--header='Accept-Language: hr' \

http://fly.srk.fer.hr/

wget --header="Host: foo.bar" http://localhost/意義是:

wget連接到localhost,但是在Host頭部指定foo.bar

--proxy-user=user

--proxy-password=password

爲代理服務器的授權指定用戶名和密碼,wget採用基本授權方法對用戶名和密碼編

--referer=url

在HTTP請求中添加“Referer: url”

--save-headers

6 / 13

保存HTTP發送的頭部到文件中

-U agent-string

--user-agent=agent-string

將自己標識爲agent-string

--post-data=string

--post-file=file

使用POST方法在HTTP請求中發送特定數據。注意,wget需要事先知道數據長度應

用舉例:

#登陸到服務器

wget --save-cookies cookies.txt \

--post-data 'user=foo&password=bar' \

http://server.com/auth.php

#開始“爬”網頁

wget --load-cookies cookies.txt \

-p http://server.com/interesting/article.php

(8) HTTPS (SSL/TLS)選項

--secure-protocol=protocol

選擇使用的安全協議,protocol合法值包括:auto,SSLv2,SSLv3及TLSv1

--no-check-certificate

不按照有效證書授權檢查服務器授權證書

--certificate=file

使用客戶端保存在file中的證書

--certificate-type=type

設定客戶端認證方式,默認方式是PEM以及DER(也就是ASN1)

--private-key=file

從文件中讀取私鑰

--private-key-type=type

設定私鑰類型,合法值包括:PEM(默認)和DER

--ca-certificate=file

用指定文件對對等端(peer)進行CA(certificate authorities)認證

--ca-directory=directory

指定包含PEM格式的CA認證目錄

--random-file=file

指定特定文件爲僞隨機數生成器的數據源

--egd-file=file

指定特定文件爲EGD(Entropy Gathering Daemon) socket

(9) FTP選項

--ftp-user=user

--ftp-password=password

指定某個FTP服務器上的用戶名和密碼

--no-remove-listing

不刪除在獲取FTP文件時生成的臨時的.listing文件

--no-glob

關閉FTP通配符,默認允許使用通配符

7 / 13

--no-passive-ftp

禁用被動FTP傳輸模式

--retr-symlinks

轉換符號鏈接,並指向下載的文件

--no-http-keep-alive

關閉HTTP下載的“keep-alive”特性

(10) 遞歸獲取選項

-r

--recursive

打開遞歸獲取選項

-l depth

--level=depth

指定遞歸的最大深度,默認最大深度是5

--delete-after

在單一文檔下載後立即刪除

-k

--convert-links

下載完成後,轉換頁面中的鏈接以方便本地瀏覽

鏈接轉換的兩種方式:

a. 指向已下載文件的鏈接,則轉換爲相對鏈接

b. 指向未能下載成功的文件的鏈接,轉換爲“http://localhost/...”形式

-K

--backup-converted

轉換鏈接前將原始文件備份(後綴爲.orig)

-m

--mirror

打開適合與做鏡像的選項(recursion、time-stamping等)

-p

--page-requisites

下載能夠完全顯示一個給定的HTML網頁的所有文件

--strict-comments

精確解析HTML註釋,默認是遇到第一個“-->”即終止解析

(11) 遞歸接受/拒絕選項

-A acclist

--accept acclist

-R rejlist

--reject rejlist

設定接受/拒絕遞歸下載以逗號分開的文件名前綴或模式列表

-D domain-list

--domains=domain-list

設定要追蹤的域

--exclude-domains domain-list

指定不要求追蹤的域

8 / 13

--follow-ftp

追蹤HTML文檔中的FTP鏈接,默認忽略所有FTP鏈接

--follow-tags=list

Wget包含一個HTML標記/屬性對列表,按照list列表文件追蹤HTML標記

--ignore-tags=list

不追蹤list列表文件指定的HTML標記

-H

--span-hosts

允許跨越服務器進行遞歸下載

-L

--relative

僅追蹤相對鏈接

-I list

--include-directories=list

指定追蹤目錄

-X list

--exclude-directories=list

指定不追蹤的目錄

-np

--no-parent

不向上追蹤到父目錄

3. 遞歸下載

(1) 遍歷萬維網的一部分或一臺HTTP服務器或FTP服務器

(2) 追蹤鏈接或目錄結構

(3) 利用輸入的URL或文件解析HTML

(4) HTTP遞歸下載採用廣度優先算法,最大深度可以設定(默認爲5)

(5) FTP遞歸下載採用深度優先算法,能夠下載FTP服務器直到給定深度的所有數據

(6) 能夠鏡像FTP站點

(7) 默認按照遠程站點目錄結構創建本地目錄

(8) 使用遞歸下載時注意使用延時操作

(9) 一些例子

? 下載單一網頁,使用--page-requisites選項

? 下載單一目錄下的某些文件,使用-np選項

? 下載單一目錄下的所有文件,使用-l 1選項

4. 鏈接追蹤 如何避免下載不想要的鏈接

(1) 訪問主機的樹型擴展(默認情況下,每次下載僅訪問一臺主機)

? 擴展至任何關聯主機XX-H選項

? 限制擴展至某些域XX-D選項

例如:wget -rH -Dserver.com http://www.server.com/

可以從所有*.server.com域下載文件

? 禁止擴展至某些域XX--exclude-domains選項

例如:wget -rH -Dfoo.edu --exclude-domains sunsite.foo.edu \

9 / 13

http://www.foo.edu/

從所有foo.edu域下載文件,而禁止從sunsite.foo.edu下載文件

(2) 文件類型限制

-A acclist

--accept acclist

accept = acclist

--accept選項的參數是一個文件名後綴(如gif或.gif)或字符串模式列表(如czy*

or czyBear*196[0-9]*)

-R rejlist

--reject rejlist

reject = rejlist

--reject選項與--accept選項工作方式相同,但邏輯相反

注意:這兩個選項不影響HTML文件下載

(3) 基於目錄的限制

-I list

--include list

include_directories = list

下載目錄列表中的目錄

-X list

--exclude list

exclude_directories = list

禁止下載目錄列表中的目錄

-np

--no-parent

no_parent = on

禁止訪問遠端當前目錄的上層

(4) 相對鏈接

打開-L選項可以僅下載超鏈接中的相對鏈接,而不下載絕對鏈接

(5) 追蹤FTP鏈接

由於FTP與HTTP協議的不同,所以要追蹤FTP鏈接請使用--follow-ftp選項

5. 使用時戳對下載的文件進行增量更新

使用-S選項可以在本地保留頁面對應的時戳,進行增量下載是使用-N選項,例如:

初次下載網頁使用:wget -S http://www.gnu.ai.mit.edu/

以後更新網頁使用:wget -N http://www.gnu.ai.mit.edu/

對於HTTP協議,時戳需要“Last-Modified”頭部支持,而對於FTP協議,取決於wget

能夠解析獲得目錄列表中包含的日期的格式

6. 啓動文件(wgetrc)

(1) Wgetrc的位置

wget啓動時,將查找全局的啓動配置文件,默認情況下,這個文件位於:

“/usr/local/etc/wgetrc”;若該位置不存在此文件,則查找環境變量WGETRC指定的

位置;若WGETRC環境變量未設定,wget會加載$HOME/.wgetrc;否則報錯!

10 / 13

(2) Wgetrc語法

wgetrc命令行的語法非常簡單:“variable = value”。wgetcrc命令行語法不區分

大小寫,不區分有無下劃線,忽略空行和以“#”開頭的行

(3) Wgetrc命令

wgetrc命令全集如下表:

一些說明: 合法值都列在“=”後面;

Bool值得設定可以用on/off或1/0;

某些命令使用了僞隨機數;

“address”可以是主機名或以點分十進制表示的IP地址;

“n”可以是正整數或無窮大(inf)

“string”可以是任何非空字符串

命令 說明

accept/reject = string 相當於-A/-R

add_hostdir = on/off 允許/禁止使用主機名前綴的文件名;可以用-nH禁用

continue = on/off 允許/禁止繼續完成下載部分完成的文件

background = on/off 允許/禁止後臺運行;相當於-b

backup_converted =

on/off

允許/禁止用後綴名.orig保存轉換前的文件;相當於-K

base = string 用於絕對地址於相對地址的替換;相當於--base=string

bind_address = address 地址綁定;相當於--bind-address=address

ca_certificate = file 設定權限認證文件;相當於--ca-certificate=file

ca_directory = directory 設定權限認證文件的目錄;相當於--ca-directory=directory

cache = on/off 打開/關閉服務器cache;相當於--no-cache

certificate = file 設定客戶端認證文件;相當於--certificate=file

certificate_type = string 設定認證類型;相當於--certificate-type=string

check_certificate =

on/off

設定是否進行授權確認;相當於--check-certificate

convert_links = on/off 是否轉換非相對鏈接;相當於-k

cookies = on/off 是否允許cookies;相當於--cookies

connect_timeout = n 設定連接超時時間;相當於--connect-timeout

cut_dirs = n 忽略遠程第n層目錄成分;相當於--cut-dirs=n

debug = on/off 調試模式;相當於-d

delete_after = on/off 下載後是否刪除;相當於--delete-after

dir_prefix = string 設定目錄樹的最頂級目錄名;相當於-P string

dirstruct = on/off 打開/關閉目錄結構;相當於-x 或 -nd

dns_cache = on/off 打開/關閉DNS cache;相當於--no-dns-cache

dns_timeout = n 設定DNS超時時間;相當於--dns-timeout

domains = string 相當於-D

dot_bytes = n 進度條使用點時,設定每個點代表的Byte數(默認1024)

dots_in_line = n 進度條使用點時,設定每行的點數(默認50)

11 / 13

dot_spacing = n 設定一串中點的個數(默認10)

egd_file = file 設定EGD socket文件名爲file;相當於--egd-file=file

exclude_directories =

string

設定不用下載的目錄;相當於-X

exclude_domains =

string

相當於--exclude-domains=string

follow_ftp = on/off 是否追蹤HTML文件中的FTP鏈接;相當於--follow-ftp

follow_tags = string 僅追蹤指定的HTML標記;相當於--follow-tags=string

force_html = on/off 是否強制將輸入文件名的對應文件當成HTML文件(-F)

ftp_password = string 設定FTP密碼

ftp_proxy = string 將string當作FTP下載的代理

ftp_user = string 設定FTP用戶名

glob = on/off 打開或關閉成團下載;相當於--glob和--no-glob

header = string 爲下載的HTTP文件添加頭部;相當於--header=string

html_extension = on/off 在text/html或application/xhtml+xml類無後綴名的文件名後添加

“.html”後綴;相當於-E

http_keep_alive = on/off 是否保持HTTP鏈接活躍;相當於--no-http-keep-alive

http_password = string 設定HTTP下載用的密碼;相當於--http-password=string

http_proxy = string 設定HTTP代理

http_user = string 設定HTTP 下載用戶名;相當於--http-user=string

ignore_length = on/off 是否忽略Content-Length頭部;相當於--ignore-length

ignore_tags = string 遞歸下載時忽略某些標記;相當於--ignore-tags=string

include_directories =

string

設定下載時追蹤的目錄;相當於-I string

inet4_only = on/off 強制連接IPv4地址;相當於--inet4-only或-4

inet6_only = on/off 強制連接IPv6地址;相當於--inet6-only或-6

input = file 從文件中讀取URL;相當於-i file

kill_longer = on/off 是否將超出Content-Length頭部值的數據當作無效數據

limit_rate = rate 限定下載速率;相當於--limit-rate=rate

load_cookies = file 從文件中加載cookie;相當於--load-cookies file

logfile = file 設定日誌文件;相當於-o file

mirror = on/off 打開/關閉鏡像功能;相當於-m

netrc = on/off 是否讀netrc文件

noclobber = on/off 相當於-nc

no_parent = on/off 是否允許下載當前目錄的上層;相當於--no-parent

no_proxy = string 避免某些代理的加載

output_document = file 設定輸出文件名;相當於-O file

page_requisites = on/off 是否下載用於完全顯示頁面的元素;相當於-p

passive_ftp =

on/off/always/never

更改被動FTP的設定;相當於--passive-ftp

password = string 同時設定FTP和HTTP下載的密碼

12 / 13

post_data = string 用POST方法發送所有HTTP請求,此請求的內容爲一個字符串;

相當於--post-data=string

post_file = file 用POST方法發送所有HTTP請求,此請求的內容爲一個文件;相

當於--post-file=file

prefer_family =

IPv4/IPv6/none

設定優先考慮的地址族;相當於--prefer-family

private_key = file 設定私鑰文件;相當於--private-key=file

private_key_type =

string

設定私鑰類型;相當於--private-type=string

progress = string 設定進度條類型;相當於--progress=string

protocol_directories =

on/off

是否用協議名作爲目錄成分;相當於--protocol-directories

proxy_user = string 設定代理授權用戶名;相當於--proxy-user=string

proxy_password = string 設定代理授權密碼;相當於--proxy-password=string

quiet = on/off 是否打開安靜模式;相當於-q

quota = quota 設定下載限額

random_file = file 在系統無/dev/random的情況下,設定隨機數生成目錄

read_timeout = n 設定讀超時時間;相當於--read-timeout=n

reclevel = n 設定遞歸下載的深度;相當於-l n

recursive = on/off 打開或關閉遞歸下載;相當於-r

referer = string 設定HTTP Referer,相當於--referer=string

relative_only = on/off 是否僅追蹤相對鏈接;相當於-L

remove_listing = on/off 是否刪除wget 下載過程中生成的 FTP 列表; 相當於

--no-remove-listing

restrict_file_names =

unix/windows

相當於--restrict-file-names

retr_symlinks = on/off 當下在普通頁面文件時, 是否獲取符號鏈接; 相當於

--retr-symlinks

retry_connrefused =

on/off

是否將“connection refused” 當作暫時錯誤; 相當於

--retry-connrefused

robots = on/off 設定是否參考智能機器人的設定,默認是啓用

save_cookies = file 將cookies保存到文件中;相當於--save-cookies file

secure_protocol = string 設定使用的安全協議;相當於--secure-protocol=string

server_response = on/off 設定是否打印服務器響應;相當於-S

span_hosts = on/off 是否對主機名進行擴展;相當於-H

strict_comments = on/off 相當於--strict-comments

timeout = n 設定超時時間;相當於-T n

timestamping = on/off 設定是否打開時戳功能;相當於-N

tries = n 設定下載每個URL的最大嘗試次數;相當於-t n

use_proxy = on/off 設定是否使用代理;相當於--no-proxy

user = string 同時設定下載HTTP和FTP文件的用戶名

verbose = on/off 打開或關閉詳細輸出結果;相當於-v/-nv

13 / 13

wait = n 設定兩次下載之間的間隔;相當於-w n

waitretry = n 設定下載嘗試失敗時等待的時間;相當於--waitretry=n

randomwait = on/off 是否設定請求之間的等待時間爲隨機數

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章