探索 Linux 內核:Kconfig/kbuild 的秘密
自從 Linux 內核代碼遷移到 Git 以來,Linux 內核配置/構建系統(也稱為 Kconfig/kbuild)已存在很長時間了。然而,作為支持基礎設施,它很少成為人們關注的焦點;甚至在日常工作中使用它的內核開發人員也從未真正思考過它。
為了探索如何編譯 Linux 內核,本文將深入介紹 Kconfig/kbuild 內部的過程,解釋如何生成 .config
文件和 vmlinux
/bzImage
文件,並介紹一個巧妙的依賴性跟蹤技巧。
Kconfig
構建內核的第一步始終是配置。Kconfig 有助於使 Linux 內核高度模塊化和可定製。Kconfig 為用戶提供了許多配置目標:
配置目標 | 解釋 |
---|---|
config |
利用命令行程序更新當前配置 |
nconfig |
利用基於 ncurses 菜單的程序更新當前配置 |
menuconfig |
利用基於菜單的程序更新當前配置 |
xconfig |
利用基於 Qt 的前端程序更新當前配置 |
gconfig |
利用基於 GTK+ 的前端程序更新當前配置 |
oldconfig |
基於提供的 .config 更新當前配置 |
localmodconfig |
更新當前配置,禁用沒有載入的模塊 |
localyesconfig |
更新當前配置,轉換本地模塊到核心 |
defconfig |
帶有來自架構提供的 defconcig 默認值的新配置 |
savedefconfig |
保存當前配置為 ./defconfig (最小配置) |
allnoconfig |
所有選項回答為 no 的新配置 |
allyesconfig |
所有選項回答為 yes 的新配置 |
allmodconfig |
儘可能選擇所有模塊的新配置 |
alldefconfig |
所有符號(選項)設置為默認值的新配置 |
randconfig |
所有選項隨機選擇的新配置 |
listnewconfig |
列出新選項 |
olddefconfig |
同 oldconfig 一樣,但設置新符號(選項)為其默認值而無須提問 |
kvmconfig |
啟用支持 KVM 訪客內核模塊的附加選項 |
xenconfig |
啟用支持 xen 的 dom0 和 訪客內核模塊的附加選項 |
tinyconfig |
配置儘可能小的內核 |
我認為 menuconfig
是這些目標中最受歡迎的。這些目標由不同的 主程序 處理,這些程序由內核提供並在內核構建期間構建。一些目標有 GUI(為了方便用戶),而大多數沒有。與 Kconfig 相關的工具和源代碼主要位於內核源代碼中的 scripts/kconfig/
下。從 scripts/kconfig/Makefile
中可以看到,這裡有幾個主程序,包括 conf
、mconf
和 nconf
。除了 conf
之外,每個都負責一個基於 GUI 的配置目標,因此,conf
處理大多數目標。
從邏輯上講,Kconfig 的基礎結構有兩部分:一部分實現一種新語言來定義配置項(參見內核源代碼下的 Kconfig 文件),另一部分解析 Kconfig 語言並處理配置操作。
大多數配置目標具有大致相同的內部過程(如下所示):
請注意,所有配置項都具有默認值。
第一步讀取源代碼根目錄下的 Kconfig 文件,構建初始配置資料庫;然後它根據如下優先順序讀取現有配置文件來更新初始資料庫:
.config
/lib/modules/$(shell,uname -r)/.config
/etc/kernel-config
/boot/config-$(shell,uname -r)
ARCH_DEFCONFIG
arch/$(ARCH)/defconfig
如果你通過 menuconfig
進行基於 GUI 的配置或通過 oldconfig
進行基於命令行的配置,則根據你的自定義更新資料庫。最後,該配置資料庫被轉儲到 .config
文件中。
但 .config
文件不是內核構建的最終素材;這就是 syncconfig
目標存在的原因。syncconfig
曾經是一個名為 silentoldconfig
的配置目標,但它沒有做到其舊名稱所說的工作,所以它被重命名。此外,因為它是供內部使用的(不適用於用戶),所以它已從上述列表中刪除。
以下是 syncconfig
的作用:
syncconfig
將 .config
作為輸入並輸出許多其他文件,這些文件分為三類:
auto.conf
&tristate.conf
用於 makefile 文本處理。例如,你可以在組件的 makefile 中看到這樣的語句:obj-$(CONFIG_GENERIC_CALIBRATE_DELAY) += calibrate.o
。autoconf.h
用於 C 語言的源文件。include/config/
下空的頭文件用於 kbuild 期間的配置依賴性跟蹤。下面會解釋。
配置完成後,我們將知道哪些文件和代碼片段未編譯。
kbuild
組件式構建,稱為遞歸 make,是 GNU make
管理大型項目的常用方法。kbuild 是遞歸 make 的一個很好的例子。通過將源文件劃分為不同的模塊/組件,每個組件都由其自己的 makefile 管理。當你開始構建時,頂級 makefile 以正確的順序調用每個組件的 makefile、構建組件,並將它們收集到最終的執行程序中。
kbuild 指向到不同類型的 makefile:
Makefile
位於源代碼根目錄的頂級 makefile。.config
是內核配置文件。arch/$(ARCH)/Makefile
是架構的 makefile,它用於補充頂級 makefile。scripts/Makefile.*
描述所有的 kbuild makefile 的通用規則。- 最後,大約有 500 個 kbuild makefile。
頂級 makefile 會將架構 makefile 包含進去,讀取 .config
文件,下到子目錄,在 scripts/ Makefile.*
中定義的常式的幫助下,在每個組件的 makefile 上調用 make
,構建每個中間對象,並將所有的中間對象鏈接為 vmlinux
。內核文檔 Documentation/kbuild/makefiles.txt 描述了這些 makefile 的方方面面。
作為一個例子,讓我們看看如何在 x86-64 上生成 vmlinux
:
![vmlinux overview](/data/attachment/album/201908/15/094008erqyz6d6cttg6tz2.png "vmlinux overview")
(此插圖基於 Richard Y. Steven 的博客。有過更新,並在作者允許的情況下使用。)
進入 vmlinux
的所有 .o
文件首先進入它們自己的 built-in.a
,它通過變數KBUILD_VMLINUX_INIT
、KBUILD_VMLINUX_MAIN
、KBUILD_VMLINUX_LIBS
表示,然後被收集到 vmlinux
文件中。
在下面這個簡化的 makefile 代碼的幫助下,了解如何在 Linux 內核中實現遞歸 make:
# In top Makefile
vmlinux: scripts/link-vmlinux.sh $(vmlinux-deps)
+$(call if_changed,link-vmlinux)
# Variable assignments
vmlinux-deps := $(KBUILD_LDS) $(KBUILD_VMLINUX_INIT) $(KBUILD_VMLINUX_MAIN) $(KBUILD_VMLINUX_LIBS)
export KBUILD_VMLINUX_INIT := $(head-y) $(init-y)
export KBUILD_VMLINUX_MAIN := $(core-y) $(libs-y2) $(drivers-y) $(net-y) $(virt-y)
export KBUILD_VMLINUX_LIBS := $(libs-y1)
export KBUILD_LDS := arch/$(SRCARCH)/kernel/vmlinux.lds
init-y := init/
drivers-y := drivers/ sound/ firmware/
net-y := net/
libs-y := lib/
core-y := usr/
virt-y := virt/
# Transform to corresponding built-in.a
init-y := $(patsubst %/, %/built-in.a, $(init-y))
core-y := $(patsubst %/, %/built-in.a, $(core-y))
drivers-y := $(patsubst %/, %/built-in.a, $(drivers-y))
net-y := $(patsubst %/, %/built-in.a, $(net-y))
libs-y1 := $(patsubst %/, %/lib.a, $(libs-y))
libs-y2 := $(patsubst %/, %/built-in.a, $(filter-out %.a, $(libs-y)))
virt-y := $(patsubst %/, %/built-in.a, $(virt-y))
# Setup the dependency. vmlinux-deps are all intermediate objects, vmlinux-dirs
# are phony targets, so every time comes to this rule, the recipe of vmlinux-dirs
# will be executed. Refer "4.6 Phony Targets" of `info make`
$(sort $(vmlinux-deps)): $(vmlinux-dirs) ;
# Variable vmlinux-dirs is the directory part of each built-in.a
vmlinux-dirs := $(patsubst %/,%,$(filter %/, $(init-y) $(init-m)
$(core-y) $(core-m) $(drivers-y) $(drivers-m)
$(net-y) $(net-m) $(libs-y) $(libs-m) $(virt-y)))
# The entry of recursive make
$(vmlinux-dirs):
$(Q)$(MAKE) $(build)=$@ need-builtin=1
遞歸 make 的 配方 被擴展開是這樣的:
make -f scripts/Makefile.build obj=init need-builtin=1
這意味著 make
將進入 scripts/Makefile.build
以繼續構建每個 built-in.a
。在scripts/link-vmlinux.sh
的幫助下,vmlinux
文件最終位於源根目錄下。
vmlinux 與 bzImage 對比
許多 Linux 內核開發人員可能不清楚 vmlinux
和 bzImage
之間的關係。例如,這是他們在 x86-64 中的關係:
源代碼根目錄下的 vmlinux
被剝離、壓縮後,放入 piggy.S
,然後與其他對等對象鏈接到 arch/x86/boot/compressed/vmlinux
。同時,在 arch/x86/boot
下生成一個名為 setup.bin
的文件。可能有一個可選的第三個文件,它帶有重定位信息,具體取決於 CONFIG_X86_NEED_RELOCS
的配置。
由內核提供的稱為 build
的宿主程序將這兩個(或三個)部分構建到最終的 bzImage
文件中。
依賴跟蹤
kbuild 跟蹤三種依賴關係:
- 所有必備文件(
*.c
和*.h
) - 所有必備文件中使用的
CONFIG_
選項 - 用於編譯該目標的命令行依賴項
第一個很容易理解,但第二個和第三個呢? 內核開發人員經常會看到如下代碼:
#ifdef CONFIG_SMP
__boot_cpu_id = cpu;
#endif
當 CONFIG_SMP
改變時,這段代碼應該重新編譯。編譯源文件的命令行也很重要,因為不同的命令行可能會導致不同的目標文件。
當 .c
文件通過 #include
指令使用頭文件時,你需要編寫如下規則:
main.o: defs.h
recipe...
管理大型項目時,需要大量的這些規則;把它們全部寫下來會很乏味無聊。幸運的是,大多數現代 C 編譯器都可以通過查看源文件中的 #include
行來為你編寫這些規則。對於 GNU 編譯器集合(GCC),只需添加一個命令行參數:-MD depfile
# In scripts/Makefile.lib
c_flags = -Wp,-MD,$(depfile) $(NOSTDINC_FLAGS) $(LINUXINCLUDE)
-include $(srctree)/include/linux/compiler_types.h
$(__c_flags) $(modkern_cflags)
$(basename_flags) $(modname_flags)
這將生成一個 .d
文件,內容如下:
init_task.o: init/init_task.c include/linux/kconfig.h
include/generated/autoconf.h include/linux/init_task.h
include/linux/rcupdate.h include/linux/types.h
...
然後主程序 fixdep 通過將 depfile 文件和命令行作為輸入來處理其他兩個依賴項,然後以 makefile 格式輸出一個 .<target>.cmd
文件,它記錄命令行和目標的所有先決條件(包括配置)。 它看起來像這樣:
# The command line used to compile the target
cmd_init/init_task.o := gcc -Wp,-MD,init/.init_task.o.d -nostdinc ...
...
# The dependency files
deps_init/init_task.o :=
$(wildcard include/config/posix/timers.h)
$(wildcard include/config/arch/task/struct/on/stack.h)
$(wildcard include/config/thread/info/in/task.h)
...
include/uapi/linux/types.h
arch/x86/include/uapi/asm/types.h
include/uapi/asm-generic/types.h
...
在遞歸 make 中,.<target>.cmd
文件將被包含,以提供所有依賴關係信息並幫助決定是否重建目標。
這背後的秘密是 fixdep
將解析 depfile(.d
文件),然後解析裡面的所有依賴文件,搜索所有 CONFIG_
字元串的文本,將它們轉換為相應的空的頭文件,並將它們添加到目標的先決條件。每次配置更改時,相應的空的頭文件也將更新,因此 kbuild 可以檢測到該更改並重建依賴於它的目標。因為還記錄了命令行,所以很容易比較最後和當前的編譯參數。
展望未來
Kconfig/kbuild 在很長一段時間內沒有什麼變化,直到新的維護者 Masahiro Yamada 於 2017 年初加入,現在 kbuild 正在再次積極開發中。如果你不久後看到與本文中的內容不同的內容,請不要感到驚訝。
via: https://opensource.com/article/18/10/kbuild-and-kconfig
作者:Cao Jin 選題:lujun9972 譯者:wxy 校對:wxy
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive