Linux中國

LXD 2.0 系列（四）：資源控制

217 views0
By
Share

因為 LXD 容器管理有很多命令，因此這篇文章會很長。 如果你想要快速地瀏覽這些相同的命令，你可以嘗試下我們的在線演示！

可用資源限制

LXD 提供了各種資源限制。其中一些與容器本身相關，如內存配額、CPU 限制和 I/O 優先順序。而另外一些則與特定設備相關，如 I/O 帶寬或磁碟用量限制。

與所有 LXD 配置一樣，資源限制可以在容器運行時動態更改。某些可能無法啟用，例如，如果設置的內存值小於當前內存用量，但 LXD 將會試著設置並且報告失敗。

所有的限制也可以通過配置文件繼承，在這種情況下每個受影響的容器將受到該限制的約束。也就是說，如果在默認配置文件中設置 limits.memory=256MB，則使用默認配置文件（通常是全都使用）的每個容器的內存限制為 256MB。

我們不支持資源限制池，將其中的限制由一組容器共享，因為我們沒有什麼好的方法通過現有的內核 API 實現這些功能。

磁碟

這或許是最需要和最明顯的需求。只需設置容器文件系統的大小限制，並對容器強制執行。

LXD 確實可以讓你這樣做！

不幸的是，這比它聽起來複雜得多。 Linux 沒有基於路徑的配額，而大多數文件系統只有基於用戶和組的配額，這對容器沒有什麼用處。

如果你正在使用 ZFS 或 btrfs 存儲後端，這意味著現在 LXD 只能支持磁碟限制。也有可能為 LVM 實現此功能，但這取決於與它一起使用的文件系統，並且如果結合實時更新那會變得棘手起來，因為並不是所有的文件系統都允許在線增長，而幾乎沒有一個允許在線收縮。

CPU

當涉及到 CPU 的限制，我們支持 4 種不同的東西：

  • 只給我 X 個 CPU 核心

在這種模式下，你讓 LXD 為你選擇一組核心，然後為更多的容器和 CPU 的上線/下線提供負載均衡。

容器只看到這個數量的 CPU 核心。

  • 給我一組特定的 CPU 核心（例如，核心1、3 和 5）

類似於第一種模式，但是不會做負載均衡，你會被限制在那些核心上，無論它們有多忙。

  • 給我你擁有的 20％ 處理能力

在這種模式下，你可以看到所有的 CPU，但調度程序將限制你使用 20％ 的 CPU 時間，但這隻有在負載狀態才會這樣！所以如果系統不忙，你的容器可以跑得很歡。而當其他的容器也開始使用 CPU 時，它會被限制用量。

  • 每測量 200ms，給我 50ms（並且不超過）

此模式與上一個模式類似，你可以看到所有的 CPU，但這一次，無論系統可能是多麼空閑，你只能使用你設置的極限時間下的儘可能多的 CPU 時間。在沒有過量使用的系統上，這可使你可以非常整齊地分割 CPU，並確保這些容器的持續性能。

另外還可以將前兩個中的一個與最後兩個之一相結合，即請求一組 CPU，然後進一步限制這些 CPU 的 CPU 時間。

除此之外，我們還有一個通用的優先順序調節方式，可以告訴調度器當你處於負載狀態時，兩個爭奪資源的容器誰會取得勝利。

內存

內存聽起來很簡單，就是給我多少 MB 的內存！

它絕對可以那麼簡單。 我們支持這種限制以及基於百分比的請求，比如給我 10％ 的主機內存！

另外我們在上層支持一些額外的東西。 例如，你可以選擇在每個容器上打開或者關閉 swap，如果打開，還可以設置優先順序，以便你可以選擇哪些容器先將內存交換到磁碟！

內存限制默認是「hard」。 也就是說，當內存耗盡時，內核將會開始殺掉你的那些進程。

或者，你可以將強制策略設置為「soft」，在這種情況下，只要沒有別的進程的情況下，你將被允許使用儘可能多的內存。一旦別的進程想要這塊內存，你將無法分配任何內存，直到你低於你的限制或者主機內存再次有空餘。

網路 I/O

網路 I/O 可能是我們看起來最簡單的限制，但是相信我，實現真的不簡單！

我們支持兩種限制。 第一個是對網路介面的速率限制。你可以設置入口和出口的限制，或者只是設置「最大」限制然後應用到出口和入口。這個只支持「橋接」和「p2p」類型介面。

第二種是全局網路 I/O 優先順序，僅當你的網路介面趨於飽和的時候再使用。

塊 I/O

我把最古怪的放在最後。對於用戶看起來它可能簡單，但有一些情況下，它的結果並不會和你的預期一樣。

我們在這裡支持的基本上與我在網路 I/O 中描述的相同。

你可以直接設置磁碟的讀寫 IO 的頻率和速率，並且有一個全局的塊 I/O 優先順序，它會通知 I/O 調度程序更傾向哪個。

古怪的是如何設置以及在哪裡應用這些限制。不幸的是，我們用於實現這些功能的底層使用的是完整的塊設備。這意味著我們不能為每個路徑設置每個分區的 I/O 限制。

這也意味著當使用可以支持多個塊設備映射到指定的路徑（帶或者不帶 RAID）的 ZFS 或 btrfs 時，我們並不知道這個路徑是哪個塊設備提供的。

這意味著，完全有可能，實際上確實有可能，容器使用的多個磁碟掛載點（綁定掛載或直接掛載）可能來自於同一個物理磁碟。

這就使限制變得很奇怪。為了使限制生效，LXD 具有猜測給定路徑所對應塊設備的邏輯，這其中包括詢問 ZFS 和 btrfs 工具，甚至可以在發現一個文件系統中循環掛載的文件時遞歸地找出它們。

這個邏輯雖然不完美，但通常會找到一組應該應用限制的塊設備。LXD 接著記錄並移動到下一個路徑。當遍歷完所有的路徑，然後到了非常奇怪的部分。它會平均你為相應塊設備設置的限制，然後應用這些。

這意味著你將在容器中「平均」地獲得正確的速度，但這也意味著你不能對來自同一個物理磁碟的「/fast」和一個「/slow」目錄應用不同的速度限制。 LXD 允許你設置它，但最後，它會給你這兩個值的平均值。

它怎麼工作？

除了網路限制是通過較舊但是良好的「tc」實現的，上述大多數限制是通過 Linux 內核的 cgroup API 來實現的。

LXD 在啟動時會檢測你在內核中啟用了哪些 cgroup，並且將只應用你的內核支持的限制。如果你缺少一些 cgroup，守護進程會輸出警告，接著你的 init 系統將會記錄這些。

在 Ubuntu 16.04 上，默認情況下除了內存交換審計外將會啟用所有限制，內存交換審計需要你通過swapaccount = 1這個內核引導參數來啟用。

應用這些限制

上述所有限制都能夠直接或者用某個配置文件應用於容器。容器範圍的限制可以使用：

lxc config set CONTAINER KEY VALUE

或對於配置文件設置：

lxc profile set PROFILE KEY VALUE

當指定特定設備時：

lxc config device set CONTAINER DEVICE KEY VALUE

或對於配置文件設置：

lxc profile device set PROFILE DEVICE KEY VALUE

有效配置鍵、設備類型和設備鍵的完整列表可以看這裡。

CPU

要限制使用任意兩個 CPU 核心可以這麼做：

lxc config set my-container limits.cpu 2

要指定特定的 CPU 核心，比如說第二和第四個：

lxc config set my-container limits.cpu 1,3

更加複雜的情況還可以設置範圍：

lxc config set my-container limits.cpu 0-3,7-11

限制實時生效，你可以看下面的例子：

stgraber@dakara:~$ lxc exec zerotier -- cat /proc/cpuinfo | grep ^proces
processor : 0
processor : 1
processor : 2
processor : 3
stgraber@dakara:~$ lxc config set zerotier limits.cpu 2
stgraber@dakara:~$ lxc exec zerotier -- cat /proc/cpuinfo | grep ^proces
processor : 0
processor : 1

注意，為了避免完全混淆用戶空間，lxcfs 會重排 /proc/cpuinfo 中的條目，以便沒有錯誤。

就像 LXD 中的一切，這些設置也可以應用在配置文件中：

stgraber@dakara:~$ lxc exec snappy -- cat /proc/cpuinfo | grep ^proces
processor : 0
processor : 1
processor : 2
processor : 3
stgraber@dakara:~$ lxc profile set default limits.cpu 3
stgraber@dakara:~$ lxc exec snappy -- cat /proc/cpuinfo | grep ^proces
processor : 0
processor : 1
processor : 2

要限制容器使用 10% 的 CPU 時間，要設置下 CPU allowance：

lxc config set my-container limits.cpu.allowance 10%

或者給它一個固定的 CPU 時間切片：

lxc config set my-container limits.cpu.allowance 25ms/200ms

最後，要將容器的 CPU 優先順序調到最低：

lxc config set my-container limits.cpu.priority 0

內存

要直接應用內存限制運行下面的命令：

lxc config set my-container limits.memory 256MB

（支持的後綴是 KB、MB、GB、TB、PB、EB）

要關閉容器的內存交換（默認啟用）：

lxc config set my-container limits.memory.swap false

告訴內核首先交換指定容器的內存：

lxc config set my-container limits.memory.swap.priority 0

如果你不想要強制的內存限制：

lxc config set my-container limits.memory.enforce soft

磁碟和塊 I/O

不像 CPU 和內存，磁碟和 I/O 限制是直接作用在實際的設備上的，因此你需要編輯原始設備或者屏蔽某個具體的設備。

要設置磁碟限制（需要 btrfs 或者 ZFS）：

lxc config device set my-container root size 20GB

比如：

stgraber@dakara:~$ lxc exec zerotier -- df -h /
Filesystem                        Size Used Avail Use% Mounted on
encrypted/lxd/containers/zerotier 179G 542M  178G   1% /
stgraber@dakara:~$ lxc config device set zerotier root size 20GB
stgraber@dakara:~$ lxc exec zerotier -- df -h /
Filesystem                       Size  Used Avail Use% Mounted on
encrypted/lxd/containers/zerotier 20G  542M   20G   3% /

要限制速度，你可以：

lxc config device set my-container root limits.read 30MB
lxc config device set my-container root.limits.write 10MB

或者限制 IO 頻率：

lxc config device set my-container root limits.read 20Iops
lxc config device set my-container root limits.write 10Iops

最後你在一個過量使用的繁忙系統上，你或許想要：

lxc config set my-container limits.disk.priority 10

將那個容器的 I/O 優先順序調到最高。

網路 I/O

只要機制可用，網路 I/O 基本等同於塊 I/O。

比如：

stgraber@dakara:~$ lxc exec zerotier -- wget http://speedtest.newark.linode.com/100MB-newark.bin -O /dev/null
--2016-03-26 22:17:34-- http://speedtest.newark.linode.com/100MB-newark.bin
Resolving speedtest.newark.linode.com (speedtest.newark.linode.com)... 50.116.57.237, 2600:3c03::4b
Connecting to speedtest.newark.linode.com (speedtest.newark.linode.com)|50.116.57.237|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 104857600 (100M) [application/octet-stream]
Saving to: '/dev/null'

/dev/null 100%[===================>] 100.00M 58.7MB/s in 1.7s 

2016-03-26 22:17:36 (58.7 MB/s) - '/dev/null' saved [104857600/104857600]

stgraber@dakara:~$ lxc profile device set default eth0 limits.ingress 100Mbit
stgraber@dakara:~$ lxc profile device set default eth0 limits.egress 100Mbit
stgraber@dakara:~$ lxc exec zerotier -- wget http://speedtest.newark.linode.com/100MB-newark.bin -O /dev/null
--2016-03-26 22:17:47-- http://speedtest.newark.linode.com/100MB-newark.bin
Resolving speedtest.newark.linode.com (speedtest.newark.linode.com)... 50.116.57.237, 2600:3c03::4b
Connecting to speedtest.newark.linode.com (speedtest.newark.linode.com)|50.116.57.237|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 104857600 (100M) [application/octet-stream]
Saving to: '/dev/null'

/dev/null 100%[===================>] 100.00M 11.4MB/s in 8.8s 

2016-03-26 22:17:56 (11.4 MB/s) - '/dev/null' saved [104857600/104857600]

這就是如何將一個千兆網的連接速度限制到僅僅 100Mbit/s 的！

和塊 I/O 一樣，你可以設置一個總體的網路優先順序：

lxc config set my-container limits.network.priority 5

獲取當前資源使用率

LXD API 可以導出目前容器資源使用情況的一點信息，你可以得到：

  • 內存：當前、峰值、目前內存交換和峰值內存交換
  • 磁碟：當前磁碟使用率
  • 網路：每個介面傳輸的位元組和包數。

另外如果你使用的是非常新的 LXD（在寫這篇文章時的 git 版本），你還可以在lxc info中得到這些信息：

stgraber@dakara:~$ lxc info zerotier
Name: zerotier
Architecture: x86_64
Created: 2016/02/20 20:01 UTC
Status: Running
Type: persistent
Profiles: default
Pid: 29258
Ips:
 eth0: inet 172.17.0.101
 eth0: inet6 2607:f2c0:f00f:2700:216:3eff:feec:65a8
 eth0: inet6 fe80::216:3eff:feec:65a8
 lo: inet 127.0.0.1
 lo: inet6 ::1
 lxcbr0: inet 10.0.3.1
 lxcbr0: inet6 fe80::f0bd:55ff:feee:97a2
 zt0: inet 29.17.181.59
 zt0: inet6 fd80:56c2:e21c:0:199:9379:e711:b3e1
 zt0: inet6 fe80::79:e7ff:fe0d:5123
Resources:
 Processes: 33
 Disk usage:
  root: 808.07MB
 Memory usage:
  Memory (current): 106.79MB
  Memory (peak): 195.51MB
  Swap (current): 124.00kB
  Swap (peak): 124.00kB
 Network usage:
  lxcbr0:
   Bytes received: 0 bytes
   Bytes sent: 570 bytes
   Packets received: 0
   Packets sent: 0
  zt0:
   Bytes received: 1.10MB
   Bytes sent: 806 bytes
   Packets received: 10957
   Packets sent: 10957
  eth0:
   Bytes received: 99.35MB
   Bytes sent: 5.88MB
   Packets received: 64481
   Packets sent: 64481
  lo:
   Bytes received: 9.57kB
   Bytes sent: 9.57kB
   Packets received: 81
   Packets sent: 81
Snapshots:
 zerotier/blah (taken at 2016/03/08 23:55 UTC) (stateless)

總結

LXD 團隊花費了幾個月的時間來迭代我們使用的這些限制的語言。 它是為了在保持強大和功能明確的基礎上同時保持簡單。

實時地應用這些限制和通過配置文件繼承，使其成為一種非常強大的工具，可以在不影響正在運行的服務的情況下實時管理伺服器上的負載。

更多信息

LXD 的主站在： https://linuxcontainers.org/lxd

LXD 的 GitHub 倉庫： https://github.com/lxc/lxd

LXD 的郵件列表：https://lists.linuxcontainers.org

LXD 的 IRC 頻道：#lxcontainers on irc.freenode.net

如果你不想在你的機器上安裝LXD，你可以在線嘗試下。

作者簡介：我是 Stéphane Graber。我是 LXC 和 LXD 項目的領導者，目前在加拿大魁北克蒙特利爾的家所在的Canonical 有限公司擔任 LXD 的技術主管。

via: https://www.stgraber.org/2016/03/26/lxd-2-0-resource-control-412/

作者：Stéphane Graber 譯者：geekpi 校對：wxy

本文由 LCTT 組織翻譯，Linux中國 榮譽推出

本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive

對這篇文章感覺如何？

太棒了
0
不錯
0
愛死了
0
不太好
0
感覺很糟
0
雨落清風。心向陽
    Previous
    Next

    You may also like

    Leave a reply

    您的電子郵箱地址不會被公開。 必填項已用 * 標註

    此站點使用Akismet來減少垃圾評論。了解我們如何處理您的評論數據。

    More in:Linux中國