使用 parallel 利用起你的所有 CPU 資源

bash 命令通常單線程運行。這意味著所有的處理工作只在單個 CPU 上執行。隨著 CPU 規模的擴大以及核心數目的增加，這意味著只有一小部分的 CPU 資源用於處理你的工作。

當我們的工作受制於 CPU 處理數據的速度時，這些未使用的 CPU 資源能產生很大的效用。這種情況在進行多媒體轉換（比如圖片和視頻轉換）以及數據壓縮中經常遇到。

本文中，我們將會使用 parallel 程序。parallel 會接受一個列表作為輸入，然後在所有 CPU 核上並行地執行命令來處理該列表。Parallel 甚至會按順序將結果輸出到標準輸出中，因此它可以用在管道中作為其他命令的標準輸入。

如何使用 parallel

parallel 在標準輸入中讀取一個列表作為輸入，然後創建多個指定命令的進程來處理這個列表，其格式為：

list | parallel command

這裡的 list 可以由任何常見的 bash 命令創建，例如：cat、grep、find。這些命令的結果通過管道從它們的標準輸出傳遞到 parallel 的標準輸入，像這樣：

find . -type f -name "*.log" | parallel

跟 find 中使用 -exec 類似，parallel 使用 {} 來表示輸入列表中的每個元素。下面這個例子中，parallel 會使用 gzip 壓縮所有 find 命令輸出的文件：

find . -type f -name "*.log" | parallel gzip {}

下面這些實際的使用 parallel 的例子可能會更容易理解一些。

使用 parallel 來進行 JPEG 壓縮

在這個例子中，我收集了一些比較大的 .jpg 文件（大約 10MB 大小），要用 Mozilla 出品的 JPEG 圖像壓縮工具 MozJPEG 來進行處理。該工具會在嘗試保持圖像質量的同時減少 JPEG 圖像文件的大小。這對降低網頁載入時間很重要。

下面是一個普通的 find 命令，用來找出當前目錄中的所有 .jpg 文件，然後通過 MozJPEG 包中提供的圖像壓縮工具 （cjpeg） 對其進行處理：

find . -type f -name "*.jpg" -exec cjpeg -outfile LoRes/{} {} ';'

總共耗時 0m44.114s。該命令運行時的 top 看起來是這樣的：

你可以看到，雖然有 8 個核可用，但實際只有單個線程在用單個核。

下面用 parallel 來運行相同的命令：

find . -type f -name "*.jpg" | parallel cjpeg -outfile LoRes/{} {}

這次壓縮所有圖像的時間縮減到了 0m10.814s。從 top 顯示中可以很清楚地看出不同：

所有 CPU 核都滿負荷運行，有 8 個線程對應使用 8 個 CPU 核。

parallel 與 gzip 連用

如果你需要壓縮多個文件而不是一個大文件，那麼 parallel 就能用來提高處理速度。如果你需要壓縮單個文件而同時又想要利用所有的 CPU 核的話，那麼你應該 gzip 的多線程替代品 pigz。

首先，我用隨機數據創建了 100 個大約 1GB 的文件：

for i in {1..100}; do dd if=/dev/urandom of=file-$i bs=1MB count=10; done

然而我用 find -exec 命令來進行壓縮：

find . -type f -name "file*" -exec gzip {} ';'

總共耗時 0m28.028s，而且也是只利用了單核。

換成 parallel 版本：

find . -type f -name "file*" | parallel gzip {}

耗時減少到了 0m5.774s。

parallel 是一款非常好用的工具，應該加入到你的系統管理工具包中，在合適的場合它能幫你節省大量的時間。

via: https://bash-prompt.net/guides/parallell-bash/

作者：Elliot Cooper 譯者：lujun9972 校對：wxy

本文由 LCTT 原創編譯，Linux中國 榮譽推出

本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive