你需要了解的 Go 中的模糊測試
Go 的應用越來越廣泛。現在它是雲原生軟體、容器軟體、命令行工具和資料庫等等的首選語言。Go 很早之前就已經有了內建的 對測試的支持。這使得寫測試代碼和運行都相當簡單。
什麼是模糊測試?
模糊測試 (fuzzing)是指向你的軟體輸入非預期的數據。理想情況下,這種測試會讓你的應用程序崩潰或有非預期的表現。拋開最終的結果,從程序對非預期的輸入數據的處理結果中你可以得到很多信息,這樣你就可以增加一些合適的錯誤處理。
任何一個軟體都有對不同來源的輸入或數據的接收說明,軟體會對這些數據進行處理並返回適當的結果。軟體開發後,測試工程師團隊對其進行測試,找出軟體中的錯誤,給出測試報告,並(由開發者)修復。通常測試的目的是驗證軟體的行為是否符合預期。測試又可以細分為不同的類型,如功能測試、集成測試、性能測試等等。每種測試方法關注軟體功能的某一個方面,以便發現錯誤或者提升可靠性或性能。
模糊測試在這一測試過程上更進一步,嘗試向軟體程序輸入一些「無效」或「隨機」的數據。這種輸入是故意的,期望得到的結果就是程序崩潰或輸出異常,這樣就可以暴露程序中的錯誤以便由開發者來修復它們。與其他測試類似,很少需要手動進行模糊測試,業界有大量的模糊測試工具可以將這個過程自動化。
Go 中的軟體測試
舉個例子,假如你想測試 add.go
中的 Add()
函數,你可以在 add_test.go
中導入 testing
包並把測試體寫在以 TestXXX()
開頭的函數內。
考慮如下代碼:
func Add(num1, num2 int) int {
}
在 add_test.go
文件中,你可能有如下測試代碼:
import "testing"
func TestAdd(t *testing.T) {
}
運行測試:
$ go test
新增對模糊測試的支持
Go 團隊已經接受了 新增對模糊測試的支持的提議,以進一步推動這項工作。這涉及到新增一個 testing.F
類型,在 _test.go
文件中新增 FuzzXXX()
函數,在 Go 工具中會新增一個 -fuzz
選項來執行這些測試。
在 add_test.go
文件中:
func FuzzAdd(f *testing.F) {
}
執行以下代碼:
$ go test -fuzz
在本文編寫時,這個 功能還是試驗性的,但是應該會在 1.18 發布版本中包含。(LCTT 譯註:Go 1.18 剛剛發布,已經包含了對模糊測試的支持)目前很多功能如 -keepfuzzing
、-race
等也還沒有支持。Go 團隊最近發布了一篇 模糊測試教程,值得讀一下。
安裝 gotip 來獲取最新的功能
如果你極度渴望在正式發布之前嘗試這些功能,你可以使用 gotip
來測試即將正式發布的 Go 功能並反饋給他們。你可以使用下面的命令來安裝 gotip
。安裝之後,你可以用 gotip
程序代替以前的 go
程序來編譯和運行程序。
$ go install golang.org/dl/gotip@latest
$ gotip download
$ gotip version
go version devel go1.18-f009910 Thu Jan 6 16:22:21 2022 +0000 linux/amd64
社區對於模糊測試的觀點
軟體社區中經常會討論模糊測試,不同的人對模糊測試有不同的看法。有些人認為這是一種有用的技術,可以找到錯誤,尤其是在安全方面。然而考慮到模糊測試所需要的資源(CPU、內存),有人就認為這是一種浪費,而他們更願意用其他的測試方法。即使在 Go 團隊內部,意見也不統一。我們可以看到 Go 的聯合創始人 Rob Pike 對模糊測試的使用和在 Go 中的實現是持輕微的懷疑態度的。
...雖然模糊測試有助於發現某類錯誤,但是它會佔用大量的 CPU 和存儲資源,並且效益成本比率也不明確。我擔心為了寫模糊測試浪費精力,或者 git 倉庫中充斥大量無用的測試數據
然而,Go 安全團隊的另一個成員,Filo Sottile,似乎對 Go 新增支持模糊測試很樂觀,舉了很多例子來支持,也希望模糊測試能成為開發過程中的一部分。
我想說模糊測試可以發現極端情況下的錯誤。這是我們作為安全團隊對其感興趣的原因:在極端情況下發現的錯誤可以避免在生產環境中成為弱點。
我們希望模糊測試能成為開發的一部分 —— 不只是構建或安全方面 —— 而是整個開發過程:它能提升相關代碼的質量...
現實中的模糊測試
對我而言,模糊測試在發現錯誤以及讓系統變得更安全和更有彈性方面似乎非常有效。舉個例子,Linux 內核也會使用名為 syzkaller 的工具進行模糊測試,這個工具已經發現了 大量 錯誤。
AFL 也是比較流行的模糊測試工具,用來測試 C/C++ 寫的程序。
之前也有對 Go 程序進行模糊測試的觀點,其中之一就是 Filo 在 GitHub 評論中提到的 go-fuzz。
go-fuzz 的記錄提供了相當驚人的證據,證明模糊處理能很好地找到人類沒有發現的錯誤。根據我的經驗,我們只需要消耗一點點 CPU 的時間就可以得到極端情況下非常高效的測試結果。
為什麼在 Go 中新增對模糊測試的原生支持
如果我們的需求是對 Go 程序進行模糊測試,之前的工具像 go-fuzz
就可以完成,那麼為什麼要在這種語言中增加原生支持呢?Go 模糊測試設計草案 中說明了這樣做的一些根本原因。設計的思路是讓開發過程更簡單,因為前面說的工具增加了開發者的工作量,還有功能缺失。如果你沒有接觸過模糊測試,那麼我建議你讀一下設計草案文檔。
開發者可以使用諸如
go-fuzz
或fzgo
(基於go-fuzz
)來解決某些需求。然而,已有的每種解決方案都需要在典型的 Go 測試上做更多的事,而且還缺少關鍵的功能。相比於其他的 Go 測試(如基準測試和單元測試),模糊測試不應該比它們複雜,功能也不應該比它們少。已有的解決方案增加了額外的開銷,比如自定義命令行工具。
模糊測試工具
在大家期望 Go 語言新增功能的列表中,模糊測試是其中很受歡迎的一項。雖然現在還是試驗性的,但在將要到來的發布版本中會變得更強大。這給了我們足夠的時間去嘗試它以及探索它的使用場景。我們不應該把它視為一種開銷,如果使用得當它會是一種發現錯誤非常高效的測試工具。使用 Go 的團隊應該推動它的使用,開發者可以寫簡單的模糊測試,測試團隊去慢慢擴展以此來使用它全部的能力。
via: https://opensource.com/article/22/1/native-go-fuzz-testing
作者:Gaurav Kamathe 選題:lujun9972 譯者:lxbwolf 校對:wxy
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive