久久精品精选,精品九九视频,www久久只有这里有精品,亚洲熟女乱色综合一区
    分享

    Wget 的使用

     天邢者 2011-06-27
    (1)支持斷點下傳功能(2)同時支持FTP和HTTP下載方式(3)支持代理服務器(4)設置方便簡單;(5)程序小,完全免費;

    命令格式:

    wget [參數(shù)列表] [目標軟件、網(wǎng)頁的網(wǎng)址]

    1、啟動類參數(shù)

    這一類參數(shù)主要提供軟件的一些基本信息;

    -V,--version 顯示軟件版本號然后退出;
    -h,--help顯示軟件幫助信息;
    -e,--execute=COMMAND 執(zhí)行一個 “.wgetrc”命令

    以上每一個功能有長短兩個參數(shù),長短功能一樣,都可以使用。需要注意的是,這里的-e參數(shù)是執(zhí)行一個.wgettrc的命令,.wgettrc命令其實是一個參數(shù)列表,直接將軟件需要的參數(shù)寫在一起就可以了。

    2、文件處理參數(shù)

    這類參數(shù)定義軟件log文件的輸出方式等;

    -o,--output-file=FILE 將軟件輸出信息保存到文件;
    -a,--append-output=FILE將軟件輸出信息追加到文件;
    -d,--debug顯示輸出信息;
    -q,--quiet 不顯示輸出信息;
    -i,--input-file=FILE 從文件中取得URL;

    以上參數(shù)對于攻擊者比較有用,我們來看看具體使用;


    例1:下載192.168.1.168首頁并且顯示下載信息
    wget -dhttp://192.168.1.168

    例2:下載192.168.1.168首頁并且不顯示任何信息
    wget -qhttp://192.168.1.168

    例3:下載filelist.txt中所包含的鏈接的所有文件
    wget -i filelist.txt


    wget -np -m -l5 http://jpstone. //不下載本站所鏈接的其它站點內容,5級目錄結構
    3、下載參數(shù)

    下載參數(shù)定義下載重復次數(shù)、保存文件名等;

    -t,--tries=NUMBER 是否下載次數(shù)(0表示無窮次)
    -O --output-document=FILE下載文件保存為別的文件名
    -nc, --no-clobber 不要覆蓋已經(jīng)存在的文件
    -N,--timestamping只下載比本地新的文件
    -T,--timeout=SECONDS 設置超時時間
    -Y,--proxy=on/off 關閉代理

    例:下載192.168.1.168的首頁并將下載過程中的的輸入信息保存到test.htm文件中
    wget -o test.htmhttp://192.168.1.168

    4、目錄參數(shù)

    目錄參數(shù)主要設置下載文件保存目錄與原來文件(服務器文件)的目錄對應關系;

    -nd --no-directories 不建立目錄
    -x,--force-directories 強制建立目錄
    可能現(xiàn)在我們對這里的目錄還不是很了解,我們來看一個舉例

    例:下載192.168.1.168的首頁,并且保持網(wǎng)站結構
    wget -xhttp://192.168.1.168


    5、HTTP參數(shù)

    HTTP參數(shù)設置一些與HTTP下載有關的屬性;

    --http-user=USER設置HTTP用戶
    --http-passwd=PASS設置HTTP密碼
    --proxy-user=USER設置代理用戶
    --proxy-passwd=PASS設置代理密碼

    以上參數(shù)主要設置HTTP和代理的用戶、密碼;

    6、遞歸參數(shù)設置

    在下載一個網(wǎng)站或者網(wǎng)站的一個目錄的時候,我們需要知道的下載的層次,這些參數(shù)就可以設置;
    -r,--recursive 下載整個網(wǎng)站、目錄(小心使用)
    -l,--level=NUMBER 下載層次

    例:下載整個網(wǎng)站
    wget -rhttp://192.168.1.168

    7、遞歸允許與拒絕選項參數(shù)

    下載一個網(wǎng)站的時候,為了盡量快,有些文件可以選擇下載,比如圖片和聲音,在這里可以設置;

    -A,--accept=LIST 可以接受的文件類型
    -R,--reject=LIST拒絕接受的文件類型
    -D,--domains=LIST可以接受的域名
    --exclude-domains=LIST拒絕的域名
    -L,--relative 下載關聯(lián)鏈接
    --follow-ftp 只下載FTP鏈接
    -H,--span-hosts 可以下載外面的主機
    -I,--include-directories=LIST允許的目錄
    -X,--exclude-directories=LIST 拒絕的目錄


    如何設定wget所使用的代理服務器
    wget可以使用用戶設置文件".wgetrc"來讀取很多設置,我們這里主要利用這個文件來是
    設置代理服務器。使用者用什么用戶登錄,那么什么用戶主目錄下的".wgetrc"文件就起
    作用。例如,"root"用戶如果想使用".wgetrc"來設置代理服務器,"/root/.wgetrc"就起
    作用,下面給出一個".wgetrc"文件的內容,讀者可以參照這個例子來編寫自己的"wgetrc"文件:
    http-proxy = 111.111.111.111:8080
    ftp-proxy = 111.111.111.111:8080
    這兩行的含義是,代理服務器IP地址為:111.111.111.111,端口號為:80。第一行指定
    HTTP協(xié)議所使用的代理服務器,第二行指定FTP協(xié)議所使用的代理服務器。



    WGet使用指南
    wget是一個從網(wǎng)絡上自動下載文件的自由工具。它支持HTTP,HTTPS和FTP協(xié)議,可以使用HTTP代理.

    所謂的自動下載是指,wget可以在用戶退出系統(tǒng)的之后在后臺執(zhí)行。這意味這你可以登錄系統(tǒng),啟動一個wget下載任務,然后退出系統(tǒng),wget將在后臺執(zhí)行直到任務完成,相對于其它大部分瀏覽器在下載大量數(shù)據(jù)時需要用戶一直的參與,這省去了極大的麻煩。

    wget 可以跟蹤HTML頁面上的鏈接依次下載來創(chuàng)建遠程服務器的本地版本,完全重建原始站點的目錄結構。這又常被稱作”遞歸下載”。在遞歸下載的時候,wget 遵循Robot Exclusion標準(/robots.txt). wget可以在下載的同時,將鏈接轉換成指向本地文件,以方便離線瀏覽。

    wget 非常穩(wěn)定,它在帶寬很窄的情況下和不穩(wěn)定網(wǎng)絡中有很強的適應性.如果是由于網(wǎng)絡的原因下載失敗,wget會不斷的嘗試,直到整個文件下載完畢。如果是服務器打斷下載過程,它會再次聯(lián)到服務器上從停止的地方繼續(xù)下載。這對從那些限定了鏈接時間的服務器上下載大文件非常有用。

    wget的常見用法
    wget的使用格式

    Usage: wget [OPTION]... [URL]...用wget做站點鏡像:
    wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
    # 或者
    wget -mhttp://www./LDP/ab...在不穩(wěn)定的網(wǎng)絡上下載一個部分下載的文件,以及在空閑時段下載
    wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
    # 或者從filelist讀入要下載的文件列表
    wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &上面的代碼還可以用來在網(wǎng)絡比較空閑的時段進行下載。我的用法是:在mozilla中將不方便當時下載的URL鏈接拷貝到內存中然后粘貼到文件 filelist.txt中,在晚上要出去系統(tǒng)前執(zhí)行上面代碼的第二條。

    使用代理下載
    wget -Y on -p -khttps:///pr...代理可以在環(huán)境變量或wgetrc文件中設定

    # 在環(huán)境變量中設定代理
    export PROXY=http://211.90.168.94:8080/
    # 在~/.wgetrc中設定代理
    http_proxy =http://proxy.:..
    ftp_proxy =http://proxy.:...各種選項分類列表
    啟動
    -V, --version 顯示wget的版本后退出
    -h, --help 打印語法幫助
    -b, --background 啟動后轉入后臺執(zhí)行
    -e, --execute=COMMAND 執(zhí)行`.wgetrc"格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc記錄和輸入文件
    -o, --output-file=FILE 把記錄寫到FILE文件中
    -a, --append-output=FILE 把記錄追加到FILE文件中
    -d, --debug 打印調試輸出
    -q, --quiet 安靜模式(沒有輸出)
    -v, --verbose 冗長模式(這是缺省設置)
    -nv, --non-verbose 關掉冗長模式,但不是安靜模式
    -i, --input-file=FILE 下載在FILE文件中出現(xiàn)的URLs
    -F, --force-html 把輸入文件當作HTML格式文件對待
    -B, --base=URL 將URL作為在-F -i參數(shù)指定的文件中出現(xiàn)的相對鏈接的前綴
    --sslcertfile=FILE 可選客戶端證書
    --sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
    --egd-file=FILE 指定EGD socket的文件名下載
    --bind-address=ADDRESS 指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)
    -t, --tries=NUMBER 設定最大嘗試鏈接次數(shù)(0 表示無限制).
    -O --output-document=FILE 把文檔寫到FILE文件中
    -nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
    -c, --continue 接著下載沒下載完的文件
    --progress=TYPE 設定進程條標記
    -N, --timestamping 不要重新下載文件除非比本地文件新
    -S, --server-response 打印服務器的回應
    --spider 不下載任何東西
    -T, --timeout=SECONDS 設定響應超時的秒數(shù)
    -w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
    --waitretry=SECONDS 在重新鏈接之間等待1...SECONDS秒
    --random-wait 在下載之間等待0...2*WAIT秒
    -Y, --proxy=on/off 打開或關閉代理
    -Q, --quota=NUMBER 設置下載的容量限制
    --limit-rate=RATE 限定下載輸率目錄
    -nd --no-directories 不創(chuàng)建目錄
    -x, --force-directories 強制創(chuàng)建目錄
    -nH, --no-host-directories 不創(chuàng)建主機目錄
    -P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
    --cut-dirs=NUMBER 忽略 NUMBER層遠程目錄HTTP 選項
    --http-user=USER 設定HTTP用戶名為 USER.
    --http-passwd=PASS 設定http密碼為 PASS.
    -C, --cache=on/off 允許/不允許服務器端的數(shù)據(jù)緩存 (一般情況下允許).
    -E, --html-extension 將所有text/html文檔以.html擴展名保存
    --ignore-length 忽略 `Content-Length"頭域
    --header=STRING 在headers中插入字符串 STRING
    --proxy-user=USER 設定代理的用戶名為 USER
    --proxy-passwd=PASS 設定代理的密碼為 PASS
    --referer=URL 在HTTP請求中包含 `Referer: URL"頭
    -s, --save-headers 保存HTTP頭到文件
    -U, --user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION.
    --no-http-keep-alive 關閉 HTTP活動鏈接 (永遠鏈接).
    --cookies=off 不使用 cookies.
    --load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
    --save-cookies=FILE 在會話結束后將 cookies保存到 FILE文件中FTP 選項
    -nr, --dont-remove-listing 不移走 `.listing"文件
    -g, --glob=on/off 打開或關閉文件名的 globbing機制
    --passive-ftp 使用被動傳輸模式 (缺省值).
    --active-ftp 使用主動傳輸模式
    --retr-symlinks 在遞歸的時候,將鏈接指向文件(而不是目錄)遞歸下載
    -r, --recursive 遞歸下載--慎用!
    -l, --level=NUMBER 最大遞歸深度 (inf 或 0 代表無窮).
    --delete-after 在現(xiàn)在完畢后局部刪除文件
    -k, --convert-links 轉換非相對鏈接為相對鏈接
    -K, --backup-converted 在轉換文件X之前,將之備份為 X.orig
    -m, --mirror 等價于 -r -N -l inf -nr.
    -p, --page-requisites 下載顯示HTML文件的所有圖片遞歸下載中的包含和不包含(accept/reject)
    -A, --accept=LIST 分號分隔的被接受擴展名的列表
    -R, --reject=LIST 分號分隔的不被接受的擴展名的列表
    -D, --domains=LIST 分號分隔的被接受域的列表
    --exclude-domains=LIST 分號分隔的不被接受的域的列表
    --follow-ftp 跟蹤HTML文檔中的FTP鏈接
    --follow-tags=LIST 分號分隔的被跟蹤的HTML標簽的列表
    -G, --ignore-tags=LIST 分號分隔的被忽略的HTML標簽的列表
    -H, --span-hosts 當遞歸時轉到外部主機
    -L, --relative 僅僅跟蹤相對鏈接
    -I, --include-directories=LIST 允許目錄的列表
    -X, --exclude-directories=LIST 不被包含目錄的列表
    -np, --no-parent 不要追溯到父目錄


    Wget使用技巧

    來源:Linux技術中堅站



    wget的使用形式是:
    wget [參數(shù)列表] URL
    首先來介紹一下wget的主要參數(shù):
    -b:讓wget在后臺運行,記錄文件寫在當前目錄下"wget-log"文件中;
    -t [nuber of times]:嘗試次數(shù),當wget無法與服務器建立連接時,嘗試連接多少次
    。比如"-t
    120"表示嘗試120次。當這一項為"0"的時候,指定嘗試無窮多次直到連接成功為止,這個
    設置非常有用,當對方服務器突然關機或者網(wǎng)絡突然中斷的時候,可以在恢復正常后繼續(xù)
    下載沒有傳完的文件;
    -c:斷點續(xù)傳,這也是個非常有用的設置,特別當下載比較大的文件的時候,如果中
    途意外中斷,那么連接恢復的時候會從上次沒傳完的地方接著傳,而不是又從頭開始,使
    用這一項需要遠程服務器也支持斷點續(xù)傳,一般來講,基于UNIX/Linux的Web/FTP服務器
    都支持斷點續(xù)傳;
    -T [number of seconds]:超時時間,指定多長時間遠程服務器沒有響應就中斷連接
    ,開始下一次嘗試。比如"-T
    120"表示如果120秒以后遠程服務器沒有發(fā)過來數(shù)據(jù),就重新嘗試連接。如果網(wǎng)絡速度比
    較快,這個時間可以設置的短些,相反,可以設置的長一些,一般最多不超過900,通常
    也不少于60,一般設置在120左右比較合適;
    -w [number of seconds]:在兩次嘗試之間等待多少秒,比如"-w 100"表示兩次嘗試
    之間等待100秒;
    -Y on/off:通過/不通過代理服務器進行連接;
    -Q [byetes]:限制下載文件的總大小最多不能超過多少,比如"-Q2k"表示不能超過2K
    字節(jié),"-Q3m"表示最多不能超過3M字節(jié),如果數(shù)字后面什么都不加,就表示是以字節(jié)為單
    位,比如"-Q200"表示最多不能超過200字節(jié);
    -nd:不下載目錄結構,把從服務器所有指定目錄下載的文件都堆到當前目錄里;
    -x:與"-nd"設置剛好相反,創(chuàng)建完整的目錄結構,例如"wget -ndhttp://www."將創(chuàng)建在當前目錄下創(chuàng)建"w...,然后按照服務器
    實際的目錄結構一級一級建下去,直到所有的文件都傳完為止;
    -nH:不創(chuàng)建以目標主機域名為目錄名的目錄,將目標主機的目錄結構直接下到當前目
    錄下;
    --http-user=username
    --http-passwd=password:如果Web服務器需要指定用戶名和口令,用這兩項來設定;
    --proxy-user=username
    --proxy-passwd=password:如果代理服務器需要輸入用戶名和口令,使用這兩個選項

    -r:在本機建立服務器端目錄結構;
    -l [depth]:下載遠程服務器目錄結構的深度,例如"-l 5"下載目錄深度小于或者等
    于5以內的目錄結構或者文件;
    -m:做站點鏡像時的選項,如果你想做一個站點的鏡像,使用這個選項,它將自動設
    定其他合適的選項以便于站點鏡像;
    -np:只下載目標站點指定目錄及其子目錄的內容。這也是一個非常有用的選項,我們
    假設某個人的個人主頁里面有一個指向這個站點其他人個人主頁的連接,而我們只想下載
    這個人的個人主頁,如果不設置這個選項,甚至--有可能把整個站點給抓下來,這顯然是
    我們通常不希望的;
    ü 如何設定wget所使用的代理服務器
    wget可以使用用戶設置文件".wgetrc"來讀取很多設置,我們這里主要利用這個文件來是
    設置代理服務器。使用者用什么用戶登錄,那么什么用戶主目錄下的".wgetrc"文件就起
    作用。例如,"root"用戶如果想使用".wgetrc"來設置代理服務器,"/root/.wgert"就起
    作用,下面給出一個".wge
    trc"文件的內容,讀者可以參照這個例子來編寫自己的"wgetrc"文件:
    http-proxy = 111.111.111.111:8080
    ftp-proxy = 111.111.111.111:8080
    這兩行的含義是,代理服務器IP地址為:111.111.111.111,端口號為:80。第一行指定
    HTTP協(xié)議所使用的代理服務器,第二行指定FTP協(xié)議所使用的代理服務器。




    wget 使用實例:
    wget是一個命令行工具,用于批量下載文件,支持HTTP和FTP。究竟比其他的工具好在哪里?看看內容吧 smile.gif

    wget基本上所有的Linux版本都自己帶了,但是有多少人在用呢?呵呵,如果你沒有用過,不妨試試。Windows下面的用戶可以使用GNUwin32的項目,wget,基本功能完全一致。好吧,我們來以幾個簡單的例子看看wget的威力。

    如果我們想下載ftp里面某個目錄里面的所有文件,我們也可以不用ftp這個笨蛋,呵呵,可以享受cute ftp等圖形化工具的拖一個目錄的輕松了。如


    wget -rftp://10.8.8.8/movie/

    呵呵,等吧!下完了,發(fā)覺有些不對勁,怎么出來個10.8.8.8的目錄,進去看看,又是一個movie,哦,wget將目錄結構和網(wǎng)站標題都給記錄下來了,不要??沒有問題!比如說還是這個例子

    wget -r -ndftp://10.8.8.8/movie/

    結果什么目錄都沒有了,faint!怎么會這樣?呵呵,你如果想要這樣就讓它這樣吧,否則使用

    wget -r -nHftp://10.8.8.8/movie/

    恩?movie也不要?OK,那就這樣

    wget -r -nH --cut-dirs=1ftp://10.8.8.8/movie/

    這有什么用啊?cuteftp比他好用多了,而且,你這斷了線能連嗎?呵呵,不好意思,可以連

    wget -c -r -nH --cut-dirs=1ftp://10.8.8.8/movie/


    但是cuteftp能做下面的事情嗎?比如,現(xiàn)在很多網(wǎng)站使用Apache建站,并不提供ftp服務,但是Apache有一個indexing功能,可以提供一個類似于ftp的界面,好多文件我想下啊,怎么辦?由于是HTTP協(xié)議,CuteFTP無能為力了,倒是flash get等有什么get all這種功能,不知道他們對于目錄處理怎么樣。但是wget一點問題都沒有,不信?我們拿CTAN為例(例子并不恰當,CTAN有FTP服務),我們下載這里面所有的宏包,呵呵

    wget -r -khttp://www./blog

    -k表示將連接轉換為本地連接。但是現(xiàn)在同樣有上面的問題啊,那就把你需要的加上吧,另外也許你根本不需要向下走那么多層,比如,我們就要到第二層,那么

    wget -r -l2 -khttp://www./blog

    現(xiàn)在新的問題是,由于網(wǎng)頁有一個排序功能,很討厭,因為下載的時候把網(wǎng)頁重復了好多次,那么我們可使用-A和-R開關控制下載類型,并且可以使用通配符,呵呵,現(xiàn)在隨心所欲了吧

    wget -r -R "*.htm*?*" -khttp://www./blog

    這次沒有那種網(wǎng)頁了吧?-R的意義在于拒絕下載匹配類型的文件,-A表示僅僅接受的文件類型,如-A "*.gif"將僅下載gif圖片,如果有多個允許或者不允許,可以使用,分開。

    那么,我們現(xiàn)在在使用代理服務器,怎么辦呢?呵呵,很高興你選擇了wget,你可以使用它的配置文件,環(huán)境變量來利用代理。這里推薦使用環(huán)境變量,如在 bash里面我們可以把天天用的proxy加到.bash_profile里面,這是Linux標準寫法(很多軟件都用的,什么apt-get,yum等等)

    export http_proxy=http://10.20.30.40:8080

    然后,proxy就默認打開了,如果需要暫時關閉,可以使用

    wget --proxy=off -r -khttp://www./blog

    當然,寫一個.wgetrc文件也可以,該文件可以從/usr/local/etc里面找到,里面有很詳細的注釋,我就不多說了。

    下載網(wǎng)頁的時候比較麻煩的事情是,有的網(wǎng)頁被同時指向了很多遍,那么為了避免多次下載,我們使用

    wget -nc -r -khttp://www./blog

    可以避免這件事情。為了不被有的連接指向非http://www./blog內層目錄,我們還應該加上

    wget -nc -np -r -khttp://www./blog

    避免下載非該目錄里面的文件,這也避免了到不同的host上面去。當然,如果你希望有這個功能,在多個host之間跳來跳去的下載,可以使用

    wget -nc -np -H -r -khttp://www./blog

    使得可以在多個host之間span,同時-I和-X可以使得我們僅僅跟蹤某些目錄或者不跟蹤某些目錄。如果某些HTML里面你需要的東西不是由這種東西作出來的,你就得使用--follow-tags和--ignore-tags了。

    嘿,我有個文件里面都是連接,怎么辦?要是不是html你只需要

    wget -i your.file

    如果是,那也不繁

    wget -F -i your.file



    wget 使用指南
    wget是一個從網(wǎng)絡上自動下載文件的自由工具。它支持HTTP,HTTPS和FTP協(xié)議,可以使用HTTP代理.

    所謂的自動下載是指,wget可以在用戶退出系統(tǒng)的之后在后臺執(zhí)行。這意味這你可以登錄系統(tǒng),啟動一個wget下載任務,然后退出系統(tǒng),wget將在后臺執(zhí)行直到任務完成,相對于其它大部分瀏覽器在下載大量數(shù)據(jù)時需要用戶一直的參與,這省去了極大的麻煩。

    wget 可以跟蹤HTML頁面上的鏈接依次下載來創(chuàng)建遠程服務器的本地版本,完全重建原始站點的目錄結構。這又常被稱作"遞歸下載"。在遞歸下載的時候,wget 遵循Robot Exclusion標準(/robots.txt). wget可以在下載的同時,將鏈接轉換成指向本地文件,以方便離線瀏覽。

    wget 非常穩(wěn)定,它在帶寬很窄的情況下和不穩(wěn)定網(wǎng)絡中有很強的適應性.如果是由于網(wǎng)絡的原因下載失敗,wget會不斷的嘗試,直到整個文件下載完畢。如果是服務器打斷下載過程,它會再次聯(lián)到服務器上從停止的地方繼續(xù)下載。這對從那些限定了鏈接時間的服務器上下載大文件非常有用。

    wget的常見用法
    wget的使用格式

    Usage: wget [OPTION]... [URL]...

    用wget做站點鏡像:
    wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
    -r 表示遞歸下載,會下載所有的鏈接,不過要注意的是,不要單獨使用這個參數(shù),因為如果你要下載的網(wǎng)站也有別的網(wǎng)站的鏈接,wget也會把別的網(wǎng)站的東西下載下來,所以要加上 -np這個參數(shù),表示不下載別的站點的鏈接. -k表示將下載的網(wǎng)頁里的鏈接修改為本地鏈接.-p獲得所有顯示網(wǎng)頁所需的元素,比如圖片什么的.

    # 或者
    wget -mhttp://www./LDP/ab..


    在不穩(wěn)定的網(wǎng)絡上下載一個部分下載的文件,以及在空閑時段下載
    wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
    # 或者從filelist讀入要下載的文件列表
    wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &

    上面的代碼還可以用來在網(wǎng)絡比較空閑的時段進行下載。我的用法是:在mozilla中將不方便當時下載的URL鏈接拷貝到內存中然后粘貼到文件filelist.txt中,在晚上要出去系統(tǒng)前執(zhí)行上面代碼的第二條。

    使用代理下載
    wget -Y on -p -khttps:///pr..

    代理可以在環(huán)境變量或wgetrc文件中設定
    # 在環(huán)境變量中設定代理
    export PROXY=http://211.90.168.94:8080/
    # 在~/.wgetrc中設定代理
    http_proxy =http://proxy.:..
    ftp_proxy =http://proxy.:..

    wget各種選項分類列表
    啟動
    -V, --version 顯示wget的版本后退出
    -h, --help 打印語法幫助
    -b, --background 啟動后轉入后臺執(zhí)行
    -e, --execute=COMMAND 執(zhí)行`.wgetrc"格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc

    記錄和輸入文件
    -o, --output-file=FILE 把記錄寫到FILE文件中
    -a, --append-output=FILE 把記錄追加到FILE文件中
    -d, --debug 打印調試輸出
    -q, --quiet 安靜模式(沒有輸出)
    -v, --verbose 冗長模式(這是缺省設置)
    -nv, --non-verbose 關掉冗長模式,但不是安靜模式
    -i, --input-file=FILE 下載在FILE文件中出現(xiàn)的URLs
    -F, --force-html 把輸入文件當作HTML格式文件對待
    -B, --base=URL 將URL作為在-F -i參數(shù)指定的文件中出現(xiàn)的相對鏈接的前綴
    --sslcertfile=FILE 可選客戶端證書
    --sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
    --egd-file=FILE 指定EGD socket的文件名

    下載
    --bind-address=ADDRESS 指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)
    -t, --tries=NUMBER 設定最大嘗試鏈接次數(shù)(0 表示無限制).
    -O --output-document=FILE 把文檔寫到FILE文件中
    -nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
    -c, --continue 接著下載沒下載完的文件
    --progress=TYPE 設定進程條標記
    -N, --timestamping 不要重新下載文件除非比本地文件新
    -S, --server-response 打印服務器的回應
    --spider 不下載任何東西
    -T, --timeout=SECONDS 設定響應超時的秒數(shù)
    -w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
    --waitretry=SECONDS 在重新鏈接之間等待1...SECONDS秒
    --random-wait 在下載之間等待0...2*WAIT秒
    -Y, --proxy=on/off 打開或關閉代理
    -Q, --quota=NUMBER 設置下載的容量限制
    --limit-rate=RATE 限定下載輸率

    目錄
    -nd --no-directories 不創(chuàng)建目錄
    -x, --force-directories 強制創(chuàng)建目錄
    -nH, --no-host-directories 不創(chuàng)建主機目錄
    -P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
    --cut-dirs=NUMBER 忽略 NUMBER層遠程目錄

    HTTP 選項
    --http-user=USER 設定HTTP用戶名為 USER.
    --http-passwd=PASS 設定http密碼為 PASS.
    -C, --cache=on/off 允許/不允許服務器端的數(shù)據(jù)緩存 (一般情況下允許).
    -E, --html-extension 將所有text/html文檔以.html擴展名保存
    --ignore-length 忽略 `Content-Length"頭域
    --header=STRING 在headers中插入字符串 STRING
    --proxy-user=USER 設定代理的用戶名為 USER
    --proxy-passwd=PASS 設定代理的密碼為 PASS
    --referer=URL 在HTTP請求中包含 `Referer: URL"頭
    -s, --save-headers 保存HTTP頭到文件
    -U, --user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION.
    --no-http-keep-alive 關閉 HTTP活動鏈接 (永遠鏈接).
    --cookies=off 不使用 cookies.
    --load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
    --save-cookies=FILE 在會話結束后將 cookies保存到 FILE文件中

    FTP 選項
    -nr, --dont-remove-listing 不移走 `.listing"文件
    -g, --glob=on/off 打開或關閉文件名的 globbing機制
    --passive-ftp 使用被動傳輸模式 (缺省值).
    --active-ftp 使用主動傳輸模式
    --retr-symlinks 在遞歸的時候,將鏈接指向文件(而不是目錄)

    遞歸下載
    -r, --recursive 遞歸下載--慎用!
    -l, --level=NUMBER 最大遞歸深度 (inf 或 0 代表無窮).
    --delete-after 在現(xiàn)在完畢后局部刪除文件
    -k, --convert-links 轉換非相對鏈接為相對鏈接
    -K, --backup-converted 在轉換文件X之前,將之備份為 X.orig
    -m, --mirror 等價于 -r -N -l inf -nr.
    -p, --page-requisites 下載顯示HTML文件的所有圖片

    遞歸下載中的包含和不包含(accept/reject)
    -A, --accept=LIST 分號分隔的被接受擴展名的列表
    -R, --reject=LIST 分號分隔的不被接受的擴展名的列表
    -D, --domains=LIST 分號分隔的被接受域的列表
    --exclude-domains=LIST 分號分隔的不被接受的域的列表
    --follow-ftp 跟蹤HTML文檔中的FTP鏈接
    --follow-tags=LIST 分號分隔的被跟蹤的HTML標簽的列表
    -G, --ignore-tags=LIST 分號分隔的被忽略的HTML標簽的列表
    -H, --span-hosts 當遞歸時轉到外部主機
    -L, --relative 僅僅跟蹤相對鏈接
    -I, --include-directories=LIST 允許目錄的列表
    -X, --exclude-directories=LIST 不被包含目錄的列表
    -np, --no-parent 不要追溯到父目錄

    問題
    在遞歸下載的時候,遇到目錄中有中文的時候,wget創(chuàng)建的本地目錄名會用URL編碼規(guī)則處理。如"天網(wǎng)防火墻"會被存為"%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD",這造成閱讀上的極大不方便。

      本站是提供個人知識管理的網(wǎng)絡存儲空間,所有內容均由用戶發(fā)布,不代表本站觀點。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報。
      轉藏 分享 獻花(0

      0條評論

      發(fā)表

      請遵守用戶 評論公約

      類似文章 更多

      主站蜘蛛池模板: 精品人妻av区乱码| 熟妇人妻中文字幕| 久久伊人精品青青草原APP | 久久免费精品国自产拍网站| 另类 专区 欧美 制服| 50岁熟妇的呻吟声对白| 少妇激情AV一区二区三区| 欧洲免费一区二区三区视频| 久久久这里只有免费精品| 九九在线精品国产| 精品久久香蕉国产线看观看亚洲| 少妇无套内射中出视频| 亚洲中文字幕无码不卡电影| 亚洲欧美人成网站在线观看看| 成在线人永久免费视频播放| 东方四虎在线观看av| 六月丁香婷婷色狠狠久久| 麻豆国产成人AV在线播放| 人妻丰满AV无码中文字幕| 日本一区二区在线高清观看| 思思久久96热在精品国产| 成人爽A毛片在线视频淮北| 2019亚洲午夜无码天堂| 亚洲男人的天堂一区二区| 亚洲精品日韩在线观看| 亚洲码欧美码一区二区三区| 人妻系列无码专区免费| 国产初高中生视频在线观看| 一道本AV免费不卡播放| 精品日韩人妻中文字幕| 亚洲一区二区三区无码久久| 欧美中文字幕无线码视频| 精品人妻日韩中文字幕| 3D动漫精品啪啪一区二区免费| 国产精品美脚玉足脚交欧美| 国产超碰无码最新上传| 波多野结AV衣东京热无码专区 | 国产精品视频一区不卡| 亚洲AV无码不卡私人影院| 韩国午夜理论在线观看| 亚洲国产在一区二区三区|