Linux系統下載文件工具
wget命令 用來從指定的URL下載文件。wget非常穩定，它在帶寬很窄的情況下和不穩定網絡中有很強的適應性，如果是由于網絡的原因下載失敗，wget會不斷的嘗試，直到整個文件下載完畢。如果是服務器打斷下載過程，它會再次聯到服務器上從停止的地方繼續下載。這對從那些限定了鏈接時間的服務器上下載大文件非常有用。
wget支持HTTP，HTTPS和FTP協議，可以使用HTTP代理。所謂的自動下載是指，wget可以在用戶退出系統的之后在后臺執行。這意味這你可以登錄系統，啟動一個wget下載任務，然后退出系統，wget將在后臺執行直到任務完成，相對于其它大部分瀏覽器在下載大量數據時需要用戶一直的參與，這省去了極大的麻煩。
用于從網絡上下載資源，沒有指定目錄，下載資源回默認為當前目錄。wget雖然功能強大，但是使用起來還是比較簡單：
wget [參數] [URL地址]
啟動參數：
-V, –-version 顯示wget的版本后退出
-h, –-help 打印語法幫助
-b, –-background 啟動后轉入后臺執行
-e, –-execute=COMMAND 執行 `.wgetrc’格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc
記錄和輸入文件參數：
-o, –-output-file=FILE 把記錄寫到FILE文件中
-a, –-append-output=FILE 把記錄追加到FILE文件中
-d, –-debug 打印調試輸出
-q, –-quiet 安靜模式(沒有輸出)
-v, –-verbose 冗長模式(這是缺省設置)
-nv, –-non-verbose 關掉冗長模式，但不是安靜模式
-i, –-input-file=FILE 下載在FILE文件中出現的URLs
-F, –-force-html 把輸入文件當作HTML格式文件對待
-B, –-base=URL 將URL作為在-F -i參數指定的文件中出現的相對鏈接的前綴
–-sslcertfile=FILE 可選客戶端證書
–-sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
–-egd-file=FILE 指定EGD socket的文件名
下載參數：
–-bind-address=ADDRESS 指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用)
-t, –-tries=NUMBER 設定最大嘗試鏈接次數(0 表示無限制).
-O –-output-document=FILE 把文檔寫到FILE文件中
-nc, –-no-clobber 不要覆蓋存在的文件或使用.#前綴
-c, –-continue 接著下載沒下載完的文件
–progress=TYPE 設定進程條標記
-N, –-timestamping 不要重新下載文件除非比本地文件新
-S, –-server-response 打印服務器的回應
–-spider 不下載任何東西
-T, –-timeout=SECONDS 設定響應超時的秒數
-w, –-wait=SECONDS 兩次嘗試之間間隔SECONDS秒
–waitretry=SECONDS 在重新鏈接之間等待1…SECONDS秒
–random-wait 在下載之間等待0…2*WAIT秒
-Y, –-proxy=on/off 打開或關閉代理
-Q, –-quota=NUMBER 設置下載的容量限制
-–limit-rate=RATE 限定下載輸率
目錄參數：
-nd –-no-directories 不創建目錄
-x, –-force-directories 強制創建目錄
-nH, –-no-host-directories 不創建主機目錄
-P, –-directory-prefix=PREFIX 將文件保存到目錄 PREFIX/…
–cut-dirs=NUMBER 忽略 NUMBER層遠程目錄
HTTP 選項參數：
-–http-user=USER 設定HTTP用戶名為 USER.
-–http-passwd=PASS 設定http密碼為 PASS
-C, –-cache=on/off 允許/不允許服務器端的數據緩存 (一般情況下允許)
-E, –-html-extension 將所有text/html文檔以.html擴展名保存
-–ignore-length 忽略 `Content-Length’頭域
-–header=STRING 在headers中插入字符串 STRING
-–proxy-user=USER 設定代理的用戶名為 USER
-–proxy-passwd=PASS 設定代理的密碼為 PASS
-–referer=URL 在HTTP請求中包含 `Referer: URL’頭
-s, –-save-headers 保存HTTP頭到文件
-U, –-user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION
-–no-http-keep-alive 關閉 HTTP活動鏈接 (永遠鏈接)
–-cookies=off 不使用 cookies
–-load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
-–save-cookies=FILE 在會話結束后將 cookies保存到 FILE文件中
FTP 選項參數：
-nr, -–dont-remove-listing 不移走 `.listing’文件
-g, -–glob=on/off 打開或關閉文件名的 globbing機制
-–passive-ftp 使用被動傳輸模式 (缺省值).
-–active-ftp 使用主動傳輸模式
-–retr-symlinks 在遞歸的時候，將鏈接指向文件(而不是目錄)
遞歸下載參數：
-r, -–recursive 遞歸下載－－慎用!
-l, -–level=NUMBER 最大遞歸深度 (inf 或 0 代表無窮)
–-delete-after 在現在完畢后局部刪除文件
-k, –-convert-links 轉換非相對鏈接為相對鏈接
-K, –-backup-converted 在轉換文件X之前，將之備份為 X.orig
-m, –-mirror 等價于 -r -N -l inf -nr
-p, –-page-requisites 下載顯示HTML文件的所有圖片
遞歸下載中的包含和不包含(accept/reject)：
-A, –-accept=LIST 分號分隔的被接受擴展名的列表
-R, –-reject=LIST 分號分隔的不被接受的擴展名的列表
-D, –-domains=LIST 分號分隔的被接受域的列表
–-exclude-domains=LIST 分號分隔的不被接受的域的列表
–-follow-ftp 跟蹤HTML文檔中的FTP鏈接
–-follow-tags=LIST 分號分隔的被跟蹤的HTML標簽的列表
-G, –-ignore-tags=LIST 分號分隔的被忽略的HTML標簽的列表
-H, –-span-hosts 當遞歸時轉到外部主機
-L, –-relative 僅僅跟蹤相對鏈接
-I, –-include-directories=LIST 允許目錄的列表
-X, –-exclude-directories=LIST 不被包含目錄的列表
-np, –-no-parent 不要追溯到父目錄
wget -S –-spider url 不下載只顯示過程
URL：下載指定的URL地址。
使用wget下載單個文件
wget http://www.jsdig.com/testfile.zip
以下的例子是從網絡下載一個文件并保存在當前目錄，在下載的過程中會顯示進度條，包含（下載完成百分比，已經下載的字節，當前下載速度，剩余下載時間）。
下載并以不同的文件名保存
wget -O wordpress.zip http://www.jsdig.com/download.aspx?id=1080
wget默認會以最后一個符合/的后面的字符來命令，對于動態鏈接的下載通常文件名會不正確。
錯誤：下面的例子會下載一個文件并以名稱download.aspx?id=1080保存:
wget http://www.jsdig.com/download?id=1
即使下載的文件是zip格式，它仍然以download.php?id=1080命名。
正確：為了解決這個問題，我們可以使用參數-O來指定一個文件名：
wget -O wordpress.zip http://www.jsdig.com/download.aspx?id=1080
wget限速下載
wget --limit-rate=300k http://www.jsdig.com/testfile.zip
當你執行wget的時候，它默認會占用全部可能的寬帶下載。但是當你準備下載一個大文件，而你還需要下載其它文件時就有必要限速了。
使用wget斷點續傳
wget -c http://www.jsdig.com/testfile.zip
使用wget?-c重新啟動下載中斷的文件，對于我們下載大文件時突然由于網絡等原因中斷非常有幫助，我們可以繼續接著下載而不是重新下載一個文件。需要繼續中斷的下載時可以使用-c參數。
使用wget后臺下載
wget -b http://www.jsdig.com/testfile.zip
Continuing in background, pid 1840.
Output will be written to `wget-log'.
對于下載非常大的文件的時候，我們可以使用參數-b進行后臺下載，你可以使用以下命令來察看下載進度：
tail -f wget-log
偽裝代理名稱下載
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.jsdig.com/testfile.zip
有些網站能通過根據判斷代理名稱不是瀏覽器而拒絕你的下載請求。不過你可以通過--user-agent參數偽裝。
測試下載鏈接
當你打算進行定時下載，你應該在預定時間測試下載鏈接是否有效。我們可以增加--spider參數進行檢查。
wget --spider URL
如果下載鏈接正確，將會顯示:
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.
這保證了下載能在預定的時間進行，但當你給錯了一個鏈接，將會顯示如下錯誤:
wget --spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 404 Not Found
Remote file does not exist -- broken link!!!
你可以在以下幾種情況下使用--spider參數：
增加重試次數
wget --tries=40 URL
如果網絡有問題或下載一個大文件也有可能失敗。wget默認重試20次連接下載文件。如果需要，你可以使用--tries增加重試次數。
下載多個文件
wget -i filelist.txt
首先，保存一份下載鏈接文件：
cat > filelist.txt
url1
url2
url3
url4
接著使用這個文件和參數-i下載。
鏡像網站
wget --mirror -p --convert-links -P ./LOCAL URL
下載整個網站到本地。
--miror開戶鏡像下載。-p下載所有為了html頁面顯示正常的文件。--convert-links下載后，轉換成本地的鏈接。-P?./LOCAL保存所有文件和目錄到本地指定目錄。過濾指定格式下載
wget --reject=gif ur
下載一個網站，但你不希望下載圖片，可以使用這條命令。
把下載信息存入日志文件
wget -o download.log URL
不希望下載信息直接顯示在終端而是在一個日志文件，可以使用。
限制總下載文件大小
wget -Q5m -i filelist.txt
當你想要下載的文件超過5M而退出下載，你可以使用。注意：這個參數對單個文件下載不起作用，只能遞歸下載時才有效。
下載指定格式文件
wget -r -A.pdf url
可以在以下情況使用該功能：
FTP下載
wget ftp-url
wget --ftp-user=USERNAME --ftp-password=PASSWORD url
可以使用wget來完成ftp鏈接的下載。
使用wget匿名ftp下載：
wget ftp-url
使用wget用戶名和密碼認證的ftp下載：
wget --ftp-user=USERNAME --ftp-password=PASSWORD url