七個使用 wget 命令的技巧
wget
是一個下載網頁文件的免費工具。它將互聯網上的數據保存到一個文件或展示在終端上。實際上這也是像 Firefox 或 Chromium 這樣的網頁瀏覽器的工作原理。有一個區別是,網頁瀏覽器默認將網頁 渲染 在圖形窗口中,並且通常需要用戶主動來操作它們。而 wget
工具是無交互的使用方式,也就是說你可以使用腳本或定期使用 wget
來下載文件,不論你人是否在電腦面前。
使用 wget 下載文件
你可以通過提供一個特定 URL 的鏈接,用 wget
下載一個文件。如果你提供一個默認為 index.html
的 URL,那麼就會下載該索引頁。默認情況下,文件會被下載到你當前的工作目錄,並保持原來的名字。
$ wget http://example.com
--2021-09-20 17:23:47-- http://example.com/
Resolving example.com... 93.184.216.34, 2606:2800:220:1:248:1893:25c8:1946
Connecting to example.com|93.184.216.34|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1256 (1.2K) [text/html]
Saving to: 'index.html'
通過使用 --output-document
和 -
符號,你可以指示 wget
將數據發送到 標準輸出 :
$ wget http://example.com --output-document - | head -n4
<!doctype html>
<html>
<head>
<title>Example Domain</title>
你可以使用 --output-document
選項(簡寫為 -O
)將下載文件命名為任何你想要的名稱:
$ wget http://example.com --output-document foo.html
斷點續傳
如果你正在下載一個超大文件,你可能會遇到中斷下載的情況。使用 --continue
(簡寫為 -c
),wget
可以確定從文件的哪個位置開始繼續下載。也就是說,下次你在下載一個 4 GB 的 Linux 發行版 ISO 時,如果出現了錯誤導致中斷,你不必重新從頭開始。
$ wget --continue https://example.com/linux-distro.iso
下載一系列的文件
如果你要下載的不是單個大文件,而是一系列的文件,wget
也能提供很好的幫助。假如你知道要下載文件的路徑以及文件名的通用範式,你可以使用 Bash 語法指示一個數字範圍的起始和終點來表示這一系列文件名:
$ wget http://example.com/file_{1..4}.webp
鏡像整個站點
使用 --mirror
選項你可以下載整個站點,包括它的目錄結構。這與使用選項 --recursive --level inf --timestamping --no-remove-listing
的效果是一樣的,該選項表明可以進行無限制的遞歸,得到你指定域下的所有內容。但你也可能會得到比預期多得多的內容,這取決於站點本身的老舊程度。
如果你正在使用 wget
來打包整個站點,選項 --no-cookies --page-requisites --convert-links
非常有用,它可以確保打包的站點是全新且完整的,站點副本或多或少是 自包含的 。
修改 HTML 標頭
在計算機發送的通信報文里含有大量用於數據交換的 元數據 。HTTP 標頭是初始數據的組成部分。當你瀏覽某個站點時,你的瀏覽器會發送 HTTP 請求標頭。使用 --debug
選項可以查看 wget
為每個請求發送了什麼樣的標頭信息:
$ wget --debug example.com
---request beginGET / HTTP/1.1
User-Agent: Wget/1.19.5 (linux-gnu)
Accept: */*
Accept-Encoding: identity
Host: example.com
Connection: Keep-Alive
---request end
你可以使用 --header
選項修改請求標頭。實際上經常使用這種方式來模仿某特定瀏覽器,來測試或兼容某些編碼糟糕、只能與特定代理通信的站點。
讓請求被識別為來自 Windows 系統的 Microsoft Edge:
$ wget --debug --header="User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.59" http://example.com
你也可以假裝為某個移動設備:
$ wget --debug --header="User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari/604.1" http://example.com
查看響應標頭
與瀏覽器發送請求標頭的方式一樣,響應也包含有標頭信息。你可以使用 --debug
選項來查看響應中的標頭信息:
$ wget --debug example.com
[...]
---response beginHTTP/1.1 200 OK
Accept-Ranges: bytes
Age: 188102
Cache-Control: max-age=604800
Content-Type: text/html; charset=UTF-8
Etag: "3147526947"
Server: ECS (sab/574F)
Vary: Accept-Encoding
X-Cache: HIT
Content-Length: 1256
---response end200 OK
Registered socket 3 for persistent reuse.
URI content encoding = 'UTF-8'
Length: 1256 (1.2K) [text/html]
Saving to: 'index.html'
處理 301 響應
200 響應碼意味著一切都在預料之中。而 301 響應則表示 URL 已經被永久遷移到了另外一個地方。這是站點管理員的一種常用手段,內容遷移後,為訪問舊地址的用戶留下尋找新地址的「線索」。wget
會默認跟隨 重定向 ,這也是大部分情況下用戶所希望的。
當然,你可以使用 --max-redirect
選項,用於控制 wget
默認處理 301 響應重定向的次數。設置為 0
意味著不會自動重定向到新的地址:
$ wget --max-redirect 0 http://iana.org
--2021-09-21 11:01:35-- http://iana.org/
Resolving iana.org... 192.0.43.8, 2001:500:88:200::8
Connecting to iana.org|192.0.43.8|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://www.iana.org/ [following]
0 redirections exceeded.
同時,你也可以設置為其他的數值來控制 wget
能重定向多少次。
展開 URL 縮寫
使用--max-redirect
選項用於在實際訪問之前查看 URL 縮寫 非常有用。縮寫 URL 可用於用戶無法完整拷貝和粘貼一個長 URL 時的 印刷媒體 ,或是具有字數限制的社交網路(在類似 Mastondon 這種現代開源的社交網路上這並不是一個問題)。這種縮寫具有一定的風險,因為本質上這些目的地是隱藏的。組合使用 --head
選項和 --location
選項來來查看 HTTP 頭部並解開最終的目的地,你可以在不載入整個資源的情況下查看到縮寫 URL 的完整內容:
$ wget --max-redirect 0 "https://bit.ly/2yDyS4T"
--2021-09-21 11:32:04-- https://bit.ly/2yDyS4T
Resolving bit.ly... 67.199.248.10, 67.199.248.11
Connecting to bit.ly|67.199.248.10|:443... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: http://example.com/ [following]
0 redirections exceeded.
從 Location
開始的倒數第二行輸出,展示了實際的目的地。
使用 wget
若你開始考慮使用單個命令來實現整個網站訪問的過程,wget
可以快速高效的幫你獲取互聯網上的信息,而不用在圖形界面上耗費精力。為了幫你將它構造在你平常的工作流中,我們創建了一個 wget
常用使用方式和語法清單,包括使用它來查詢 API 的概述。在這裡下載 Linux wget 速查表。
來源: https://opensource.com/article/21/10/linux-wget-command
作者:Seth Kenlon 選題:lujun9972 譯者:zengyi1001 校對:wxy
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive