如何使用curl從命令行訪問互聯網

$ curl "http://example.com" | tail -n 4    
Example Domain
    
This domain is for use in illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.
    
More information...

由于某些 URL 包含特殊字符，shell 通常會將其解釋，因此最安全的做法用引號將 URL 包起來。

某些文件無法很好的在終端中轉換顯示。你可以使用 --remote-name 選項使文件根據服務器上的命名進行保存：

$ curl --remote-name "https://example.com/linux-distro.iso"$ lslinux-distro.iso

或者，你可以使用 --output 選項來命名你想要下載的內容：

curl "http://example.com/foo.html" --output bar.html

使用 curl 列出帶有遠程目錄的內容

因為 curl 不是交互式的，所以很難瀏覽頁面上的可下載元素。如果你要連接的遠程服務器允許，可以使用 curl 來列出目錄的內容：

$ curl --list-only "https://example.com/foo/"

繼續中斷下載

如果你正在下載一個非常大的文件，你可能會發現有時候必須中斷下載。curl 非常智能，可以確定下載從何處中斷并繼續下載。這意味著，下一次當你下載一個 4GB 的 Linux 發行版的 ISO 出現問題時，就不必重新開始了。--continue-at 的語法有點不尋常：如果你知道下載中斷時的字節數，你可以提供給 curl；否則，你可以使用單獨的一個破折號（-）指示 curl 自動檢測：

$ curl --remote-name --continue-at - "https://example.com/linux-distro.iso"

下載文件序列

如果你需要下載多個文件而不是一個大文件，那么 curl 可以幫助你解決這個問題。假設你知道要下載的文件的位置和文件名模式，則可以使用 curl 的序列標記：中括號里是整數范圍的起點和終點。對于輸出文件名，使用 #1 表示第一個變量：

$ curl "https://example.com/file_[1-4].webp" --output "file_#1.webp"

如果你需要使用其它變量來表示另一個序列，按照每個變量在命令中出現的順序表示它們。例如，在這個命令中，#1 指目錄 images_000 到 images_009，而 #2 指目錄 file_1.webp 至 file_4.webp：

$ curl "https://example.com/images_00[0-9]/file_[1-4].webp" --output "file_#1-#2.webp"

從站點下載所有 PNG 文件

你也可以僅使用 curl 和 grep 進行一些基本的 Web 抓取操作，以找到想要下載的內容。例如，假設你需要下載與正在歸檔網頁關聯的所有圖像，首先，下載引用了圖像的頁面。將頁面內通過管道傳輸到 grep，搜索所需的圖片類型（在此示例中為 PNG）。最后，創建一個 while 循環來構造下載 URL，并將文件保存到你的計算機：

$ curl https://example.com |\grep --only-matching 'src="[^"]*.[png]"' |\cut -d\" -f2 |\while read i; do \curl https://example.com/"${i}" -o "${i##*/}"; \done

這只是一個示例，但它展示了 curl 與 Unix 管道和一些基本而巧妙的解析結合使用時是多么的靈活。

獲取 HTML 頭

用于數據交換的協議在計算機發送通信的數據包中嵌入了大量元數據。HTTP 頭是數據初始部分的組件。在連接一個網站出現問題時，查看這些報文頭（尤其是響應碼）會有所幫助：

curl --head "https://example.com"HTTP/2 200accept-ranges: bytesage: 485487cache-control: max-age=604800content-type: text/html; charset=UTF-8date: Sun, 26 Apr 2020 09:02:09 GMTetag: "3147526947"expires: Sun, 03 May 2020 09:02:09 GMTlast-modified: Thu, 17 Oct 2019 07:18:26 GMTserver: ECS (sjc/4E76)x-cache: HITcontent-length: 1256

快速失敗

響應 200 通常是 HTTP 成功指示符，這是你與服務器連接時通常期望的結果。著名的 404 響應表示找不到頁面，而 500 則表示服務器在處理請求時出現了錯誤。

要查看協商過程中發生了什么錯誤，添加 --show-error 選項：

$ curl --head --show-error "http://opensource.ga"

除非你可以訪問要連接的服務器，否則這些問題將很難解決，但是 curl 通常會盡力連接你指定的地址。有時在網絡上進行測試時，無休止的重試似乎只會浪費時間，因此你可以使用 --fail-early 選項來強制 curl 在失敗時迅速退出：

curl --fail-early "http://opensource.ga"

由 3xx 響應指定的重定向查詢

300 這個系列的響應更加靈活。具體來說，301 響應意味著一個 URL 已被永久移動到其它位置。對于網站管理員來說，重新定位內容并留下“痕跡”是一種常見的方式，這樣訪問舊地址的人們仍然可以找到它。默認情況下，curl 不會進行 301 重定向，但你可以使用 --localtion 選項使其繼續進入 301 響應指向的目標：

$ curl "https://iana.org" | grep title$ curl --location "https://iana.org"

展開短網址

如果你想要在訪問短網址之前先查看它們，那么 --location 選項非常有用。短網址對于有字符限制的社交網絡（當然，如果你使用現代和開源的社交網絡的話，這可能不是問題），或者對于用戶不能復制粘貼長地址的印刷媒體來說是有用處的。但是，它們也可能存在風險，因為其目的地址本質上是隱藏的。通過結合使用 --head 選項僅查看 HTTP 頭，--location 選項可以查看一個 URL 的最終地址，你可以查看一個短網址而無需加載其完整的資源：

$ curl --head --location ""

下載我們的 curl 備忘錄

一旦你開始考慮了將探索 web 由一條命令來完成，那么 curl 就成為一種快速有效的方式，可以從互聯網上獲取所需的信息，而無需麻煩圖形界面。為了幫助你適應到工作流中，我們創建了一個 curl 備忘錄，它包含常見的 curl 用法和語法，包括使用它查詢 API 的概述。

到此，關于“如何使用curl從命令行訪問互聯網”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注創新互聯網站，小編會繼續努力為大家帶來更多實用的文章！