Linux中國

互聯網掃描器 ZMap 完全手冊

ZMap被設計用來針對整個IPv4地址空間或其中的大部分實施綜合掃描的工具。ZMap是研究者手中的利器,但在運行ZMap時,請注意,您很有可能正在以每秒140萬個包的速度掃描整個IPv4地址空間 。我們建議用戶即使在實施小範圍掃描之前,也聯繫一下本地網路的管理員並參考我們列舉的最佳掃描體驗

默認情況下,ZMap會對於指定埠實施儘可能大速率的TCP SYN掃描。較為保守的情況下,對10,000個隨機的地址的80埠以10Mbps的速度掃描,如下所示:

$ zmap --bandwidth=10M --target-port=80 --max-targets=10000 --output-file=results.csv 

或者更加簡潔地寫成:

$ zmap -B 10M -p 80 -n 10000 -o results.csv

ZMap也可用於掃描特定子網或CIDR地址塊。例如,僅掃描10.0.0.0/8和192.168.0.0/16的80埠,運行指令如下:

zmap -p 80 -o results.csv 10.0.0.0/8 192.168.0.0/16

如果掃描進行的順利,ZMap會每秒輸出類似以下內容的狀態更新:

0% (1h51m left); send: 28777 562 Kp/s (560 Kp/s avg); recv: 1192 248 p/s (231 p/s avg); hits: 0.04%
0% (1h51m left); send: 34320 554 Kp/s (559 Kp/s avg); recv: 1442 249 p/s (234 p/s avg); hits: 0.04%
0% (1h50m left); send: 39676 535 Kp/s (555 Kp/s avg); recv: 1663 220 p/s (232 p/s avg); hits: 0.04%
0% (1h50m left); send: 45372 570 Kp/s (557 Kp/s avg); recv: 1890 226 p/s (232 p/s avg); hits: 0.04%

這些更新信息提供了掃描的即時狀態並表示成:

完成進度% (剩餘時間); send: 發出包的數量 即時速率 (平均發送速率); recv: 接收包的數量 接收率 (平均接收率); hits: 命中率

如果您不知道您所在網路能支持的掃描速率,您可能要嘗試不同的掃描速率和帶寬限制直到掃描效果開始下降,藉此找出當前網路能夠支持的最快速度。

默認情況下,ZMap會輸出不同IP地址的列表(例如,根據SYN ACK數據包的情況),像下面這樣。其輸出結果還有幾種附加的格式(如,JSON和Redis),可以用作生成程序可解析的掃描統計。 同樣,可以指定附加的輸出欄位並使用輸出過濾來過濾輸出的結果。

115.237.116.119
23.9.117.80
207.118.204.141
217.120.143.111
50.195.22.82

我們強烈建議您使用黑名單文件,以排除預留的/未分配的IP地址空間(如,RFC1918 規定的私有地址、組播地址),以及網路中需要排除在您掃描之外的地址。默認情況下,ZMap將採用位於 /etc/zmap/blacklist.conf的這個簡單的黑名單文件中所包含的預留和未分配地址。如果您需要某些特定設置,比如每次運行ZMap時的最大帶寬或黑名單文件,您可以在文件/etc/zmap/zmap.conf中指定或使用自定義配置文件

如果您正試圖解決掃描的相關問題,有幾個選項可以幫助您調試。首先,您可以通過添加--dryrun實施預掃,以此來分析包可能會發送到網路的何處。此外,還可以通過設置'--verbosity=n`來更改日誌詳細程度

最佳掃描體驗

我們為針對互聯網進行掃描的研究者提供了一些建議,以此來引導養成良好的互聯網合作氛圍。

  • 密切協同本地的網路管理員,以減少風險和調查
  • 確認掃描不會使本地網路或上游供應商癱瘓
  • 在發起掃描的源地址的網頁和DNS條目中申明你的掃描是善意的
  • 明確解釋你的掃描中所有連接的目的和範圍
  • 提供一個簡單的退出掃描的方法並及時響應請求
  • 實施掃描時,不使用比研究對象需求更大的掃描範圍或更快的掃描頻率
  • 如果可以,將掃描流量分布到不同的時間或源地址上

即使不聲明,使用掃描的研究者也應該避免利用漏洞或訪問受保護的資源,並遵守其轄區內任何特殊的法律規定。

命令行參數

通用選項

這些選項是實施簡單掃描時最常用的選項。我們注意到某些選項取決於所使用的探測模塊輸出模塊(如,在實施ICMP Echo掃描時是不需要使用目的埠的)。

-p, --target-port=port

要掃描的目標TCP埠號(例如,443)

-o, --output-file=name

將結果寫入該文件,使用-代表輸出到標準輸出。

-b, --blacklist-file=path

文件中被排除的子網使用CIDR表示法(如192.168.0.0/16),一個一行。建議您使用此方法排除RFC 1918地址、組播地址、IANA預留空間等IANA專用地址。在conf/blacklist.example中提供了一個以此為目的示例黑名單文件。

掃描選項

-n, --max-targets=n

限制探測目標的數量。後面跟的可以是一個數字(例如'-n 1000),或可掃描地址空間的百分比(例如,-n 0.1%`,不包括黑名單)

-N, --max-results=n

收到多少結果後退出

-t, --max-runtime=secs

限制發送報文的時間

-r, --rate=pps

設置發包速率,以包/秒為單位

-B, --bandwidth=bps

以比特/秒設置傳輸速率(支持使用後綴G,M或K(如-B 10M就是速度10 mbps)的。設置會覆蓋--rate

-c, --cooldown-time=secs

發送完成後等待多久繼續接收回包(默認值= 8)

-e, --seed=n

地址排序種子。如果要用多個ZMap以相同的順序掃描地址,那麼就可以使用這個參數。

--shards=n

將掃描分片/區,使其可多個ZMap中執行(默認值= 1)。啟用分片時,--seed參數是必需的。

--shard=n

選擇掃描的分片(默認值= 0)。n的範圍在[0,N),其中N為碎片的總數。啟用分片時,--seed參數是必需的。

-T, --sender-threads=n

用於發送數據包的線程數(默認值= 1)

-P, --probes=n

發送到每個IP的探測數(默認值= 1)

-d, --dryrun

用標準輸出列印出每個包,而不是將其發送(用於調試)

網路選項

-s, --source-port=port|range

發送數據包的源埠

-S, --source-ip=ip|range

發送數據包的源地址。可以僅僅是一個IP,也可以是一個範圍(如,10.0.0.1-10.0.0.9)

-G, --gateway-mac=addr

數據包發送到的網關MAC地址(用以防止自動檢測不工作的情況)

-i, --interface=name

使用的網路介面

探測選項

ZMap允許用戶指定並添加自己所需要的探測模塊。 探測模塊的職責就是生成要發送的探測包,並處理主機回復的響應包。

--list-probe-modules

列出可用探測模塊(如tcp_synscan)

-M, --probe-module=name

選擇探測模塊(默認值= tcp_synscan)

--probe-args=args

向模塊傳遞參數

--list-output-fields

列出可用的輸出模塊

輸出選項

ZMap允許用戶指定和編寫他們自己的輸出模塊。輸出模塊負責處理由探測模塊返回的欄位,並將它們輸出給用戶。用戶可以指定輸出的欄位,並過濾相應欄位。

--list-output-modules

列出可用輸出模塊(如tcp_synscan)

-O, --output-module=name

選擇輸出模塊(默認值為csv)

--output-args=args

傳遞給輸出模塊的參數

-f, --output-fields=fields

輸出的欄位列表,以逗號分割

--output-filter

指定輸出過濾器探測模塊定義欄位進行過濾

附加選項

-C, --config=filename

載入配置文件,可以指定其他路徑。

-q, --quiet

不必每秒刷新輸出

-g, --summary

在掃描結束後列印配置和結果匯總信息

-v, --verbosity=n

日誌詳細程度(0-5,默認值= 3)

-h, --help

列印幫助並退出

-V, --version

列印版本並退出

附加信息

TCP SYN 掃描

在執行TCP SYN掃描時,ZMap需要指定一個目標埠,也支持指定發起掃描的源埠範圍。

-p, --target-port=port

掃描的TCP埠(例如 443)

-s, --source-port=port|range

發送掃描數據包的源埠(例如 40000-50000)

警示! ZMap基於Linux內核使用RST包來應答SYN/ACK包響應,以關閉掃描器打開的連接。ZMap是在Ethernet層完成包的發送的,這樣做是為了減少跟蹤打開的TCP連接和路由尋路帶來的內核開銷。因此,如果您有跟蹤連接建立的防火牆規則,如類似於-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT的netfilter規則,將阻止SYN/ACK包到達內核。這不會妨礙到ZMap記錄應答,但它會阻止RST包被送回,最終被掃描主機的連接會一直打開,直到超時後斷開。我們強烈建議您在執行ZMap時,選擇一組主機上未使用且防火牆允許訪問的埠,加在-s後(如 -s '50000-60000' )。

ICMP Echo 請求掃描

雖然在默認情況下ZMap執行的是TCP SYN掃描,但它也支持使用ICMP echo請求掃描。在這種掃描方式下ICMP echo請求包被發送到每個主機,並以收到ICMP應答包作為答覆。實施ICMP掃描可以通過選擇icmp_echoscan掃描模塊來執行,如下:

$ zmap --probe-module=icmp_echoscan

UDP 數據報掃描

ZMap還額外支持UDP探測,它會發出任意UDP數據報給每個主機,並接收UDP或ICMP不可達的應答。ZMap可以通過使用--probe-args命令行選項來設置四種不同的UDP載荷。這些是:可在命令行設置可列印的ASCII 碼的『text』載荷和十六進位載荷的『hex』,外部文件中包含載荷的『file』,和通過動態欄位生成的載荷的『template』。為了得到UDP響應,請使用-f參數確保您指定的「data」欄位處於輸出範圍。

下面的例子將發送兩個位元組'ST',即PCAnwywhere的'status'請求,到UDP埠5632。

$ zmap -M udp -p 5632 --probe-args=text:ST -N 100 -f saddr,data -o -

下面的例子將發送位元組「0X02」,即SQL Server的'client broadcast'請求,到UDP埠1434。

$ zmap -M udp -p 1434 --probe-args=hex:02 -N 100 -f saddr,data -o -

下面的例子將發送一個NetBIOS狀態請求到UDP埠137。使用一個ZMap自帶的載荷文件。

$ zmap -M udp -p 1434 --probe-args=file:netbios_137.pkt -N 100 -f saddr,data -o -

下面的例子將發送SIP的'OPTIONS'請求到UDP埠5060。使用附ZMap自帶的模板文件。

$ zmap -M udp -p 1434 --probe-args=file:sip_options.tpl -N 100 -f saddr,data -o -

UDP載荷模板仍處於實驗階段。當您在更多的使用一個以上的發送線程(-T)時可能會遇到崩潰和一個明顯的相比靜態載荷性能降低的表現。模板僅僅是一個由一個或多個使用${}將欄位說明封裝成序列構成的載荷文件。某些協議,特別是SIP,需要載荷來反射包中的源和目的包。其他協議,如portmapper和DNS,每個請求包含的欄位應該是隨機的,或降低被Zamp掃描的多宿主系統的風險。

以下的載荷模板將發送SIP OPTIONS請求到每一個目的地:

OPTIONS sip:${RAND_ALPHA=8}@${DADDR} SIP/2.0
Via: SIP/2.0/UDP ${SADDR}:${SPORT};branch=${RAND_ALPHA=6}.${RAND_DIGIT=10};rport;alias
From: sip:${RAND_ALPHA=8}@${SADDR}:${SPORT};tag=${RAND_DIGIT=8}
To: sip:${RAND_ALPHA=8}@${DADDR}
Call-ID: ${RAND_DIGIT=10}@${SADDR}
CSeq: 1 OPTIONS
Contact: sip:${RAND_ALPHA=8}@${SADDR}:${SPORT}
Content-Length: 0
Max-Forwards: 20
User-Agent: ${RAND_ALPHA=8}
Accept: text/plain

就像在上面的例子中展示的那樣,注意每行行末以rn結尾,請求以rnrn結尾,大多數SIP實現都可以正確處理它。一個可以工作的例子放在ZMap的examples/udp-payloads目錄下 (sip_options.tpl).

當前實現了下面的模板欄位:

  • SADDR: 源IP地址的點分十進位格式
  • SADDR_N: 源IP地址的網路位元組序格式
  • DADDR: 目的IP地址的點分十進位格式
  • DADDR_N: 目的IP地址的網路位元組序格式
  • SPORT: 源埠的ascii格式
  • SPORT_N: 源埠的網路位元組序格式
  • DPORT: 目的埠的ascii格式
  • DPORT_N: 目的埠的網路位元組序格式
  • RAND_BYTE: 隨機位元組(0-255),長度由=(length) 參數決定
  • RAND_DIGIT: 隨機數字0-9,長度由=(length) 參數決定
  • RAND_ALPHA: 隨機大寫字母A-Z,長度由=(length) 參數決定
  • RAND_ALPHANUM: 隨機大寫字母A-Z和隨機數字0-9,長度由=(length) 參數決定

配置文件

ZMap支持使用配置文件來代替在命令行上指定所有要求的選項。配置中可以通過每行指定一個長名稱的選項和對應的值來創建:

interface "eth1"
source-ip 1.1.1.4-1.1.1.8
gateway-mac b4:23:f9:28:fa:2d # upstream gateway
cooldown-time 300 # seconds
blacklist-file /etc/zmap/blacklist.conf
output-file ~/zmap-output
quiet
summary

然後ZMap就可以按照配置文件並指定一些必要的附加參數運行了:

$ zmap --config=~/.zmap.conf --target-port=443

詳細

ZMap可以在屏幕上生成多種類型的輸出。默認情況下,Zmap將每隔1秒列印出相似的基本進度信息。可以通過設置--quiet來禁用。

0:01 12%; send: 10000 done (15.1 Kp/s avg); recv: 144 143 p/s (141 p/s avg); hits: 1.44%

ZMap同樣也可以根據掃描配置列印如下消息,可以通過'--verbosity`參數加以控制。

Aug 11 16:16:12.813 [INFO] zmap: started
Aug 11 16:16:12.817 [DEBUG] zmap: no interface provided. will use eth0
Aug 11 16:17:03.971 [DEBUG] cyclic: primitive root: 3489180582
Aug 11 16:17:03.971 [DEBUG] cyclic: starting point: 46588
Aug 11 16:17:03.975 [DEBUG] blacklist: 3717595507 addresses allowed to be scanned
Aug 11 16:17:03.975 [DEBUG] send: will send from 1 address on 28233 source ports
Aug 11 16:17:03.975 [DEBUG] send: using bandwidth 10000000 bits/s, rate set to 14880 pkt/s
Aug 11 16:17:03.985 [DEBUG] recv: thread started

ZMap還支持在掃描之後列印出一個的可grep的匯總信息,類似於下面這樣,可以通過調用--summary來實現。

cnf target-port             443
cnf source-port-range-begin         32768
cnf source-port-range-end           61000
cnf source-addr-range-begin         1.1.1.4
cnf source-addr-range-end           1.1.1.8
cnf maximum-packets             4294967295
cnf maximum-runtime             0
cnf permutation-seed            0
cnf cooldown-period             300
cnf send-interface              eth1
cnf rate                    45000
env nprocessors             16
exc send-start-time             Fri Jan 18 01:47:35 2013
exc send-end-time               Sat Jan 19 00:47:07 2013
exc recv-start-time             Fri Jan 18 01:47:35 2013
exc recv-end-time               Sat Jan 19 00:52:07 2013
exc sent                    3722335150
exc blacklisted             572632145
exc first-scanned               1318129262
exc hit-rate                0.874102
exc synack-received-unique          32537000
exc synack-received-total           36689941
exc synack-cooldown-received-unique     193
exc synack-cooldown-received-total      1543
exc rst-received-unique         141901021
exc rst-received-total          166779002
adv source-port-secret          37952
adv permutation-gen             4215763218

結果輸出

ZMap可以通過輸出模塊生成不同格式的結果。默認情況下,ZMap只支持csv的輸出,但是可以通過編譯支持redisjson 。可以使用輸出過濾來過濾這些發送到輸出模塊上的結果。輸出模塊輸出的欄位由用戶指定。默認情況如果沒有指定輸出文件,ZMap將以csv格式返回結果,而不會生成特定結果。也可以編寫自己的輸出模塊;請參閱編寫輸出模塊

-o, --output-file=p

輸出寫入文件地址

-O, --output-module=p

調用自定義輸出模塊

-f, --output-fields=p

以逗號分隔的輸出的欄位列表

--output-filter=filter

對給定的探測指定欄位輸出過濾

--list-output-modules

列出可用輸出模塊

--list-output-fields

列出給定的探測的可用輸出欄位

輸出欄位

除了IP地址之外,ZMap有很多欄位。這些欄位可以通過在給定探測模塊上運行--list-output-fields來查看。

$ zmap --probe-module="tcp_synscan" --list-output-fields
saddr           string: 應答包中的源IP地址
saddr-raw          int: 網路位元組格式的源IP地址
daddr           string: 應答包中的目的IP地址
daddr-raw          int: 網路位元組格式的目的IP地址
ipid               int: 應答包中的IP識別號
ttl                int: 應答包中的ttl(存活時間)值
sport              int: TCP 源埠
dport              int: TCP 目的埠
seqnum             int: TCP 序列號
acknum             int: TCP Ack號
window             int: TCP 窗口
classification  string: 包類型
success            int: 是應答包成功
repeat             int: 是否是來自主機的重複響應
cooldown           int: 是否是在冷卻時間內收到的響應
timestamp-str   string: 響應抵達時的時間戳使用ISO8601格式
timestamp-ts       int: 響應抵達時的時間戳使用UNIX紀元開始的秒數
timestamp-us       int: 時間戳的微秒部分(例如 從'timestamp-ts'的幾微秒)

可以通過使用--output-fields=fields-f來選擇選擇輸出欄位,任意組合的輸出欄位可以被指定為逗號分隔的列表。例如:

$ zmap -p 80 -f "response,saddr,daddr,sport,seq,ack,in_cooldown,is_repeat,timestamp" -o output.csv

過濾輸出

在傳到輸出模塊之前,探測模塊生成的結果可以先過濾。過濾是針對探測模塊的輸出欄位的。過濾使用類似於SQL的簡單過濾語法寫成,通過ZMap的--output-filter選項來指定。輸出過濾通常用於過濾掉重複的結果,或僅傳輸成功的響應到輸出模塊。

過濾表達式的形式為<欄位名> <操作符> <值><值>的類型必須是一個字元串或一串無符號整數並且匹配<欄位名>類型。對於整數比較有效的操作符是= !=, <, >, <=, >=。字元串比較的操作是=,!=。--list-output-fields可以列印那些可供探測模塊選擇的欄位和類型,然後退出。

複合型的過濾操作,可以通過使用&&(邏輯與)和||(邏輯或)這樣的運算符來組合出特殊的過濾操作。

示例

書寫一則過濾僅顯示成功的、不重複的應答

--output-filter="success = 1 && repeat = 0"

過濾出RST分類並且TTL大於10的包,或者SYNACK分類的包

--output-filter="(classification = rst && ttl > 10) || classification = synack"

CSV

csv模塊將會生成以逗號分隔各個要求輸出的欄位的文件。例如,以下的指令將生成名為output.csv的CSV文件。

$ zmap -p 80 -f "response,saddr,daddr,sport,seq,ack,in_cooldown,is_repeat,timestamp" -o output.csv
#響應, 源地址, 目的地址, 源埠, 目的埠, 序列號, 應答, 是否是冷卻模式, 是否重複, 時間戳
response, saddr, daddr, sport, dport, seq, ack, in_cooldown, is_repeat, timestamp
synack, 159.174.153.144, 10.0.0.9, 80, 40555, 3050964427, 3515084203, 0, 0,2013-08-15 18:55:47.681
rst, 141.209.175.1, 10.0.0.9, 80, 40136, 0, 3272553764, 0, 0,2013-08-15 18:55:47.683
rst, 72.36.213.231, 10.0.0.9, 80, 56642, 0, 2037447916, 0, 0,2013-08-15 18:55:47.691
rst, 148.8.49.150, 10.0.0.9, 80, 41672, 0, 1135824975, 0, 0,2013-08-15 18:55:47.692
rst, 50.165.166.206, 10.0.0.9, 80, 38858, 0, 535206863, 0, 0,2013-08-15 18:55:47.694
rst, 65.55.203.135, 10.0.0.9, 80, 50008, 0, 4071709905, 0, 0,2013-08-15 18:55:47.700
synack, 50.57.166.186, 10.0.0.9, 80, 60650, 2813653162, 993314545, 0, 0,2013-08-15 18:55:47.704
synack, 152.75.208.114, 10.0.0.9, 80, 52498, 460383682, 4040786862, 0, 0,2013-08-15 18:55:47.707
synack, 23.72.138.74, 10.0.0.9, 80, 33480, 810393698, 486476355, 0, 0,2013-08-15 18:55:47.710

Redis

Redis的輸出模塊允許地址被添加到一個Redis的隊列,而不是保存到文件,允許ZMap將它與之後的處理工具結合使用。

注意! ZMap默認不會編譯Redis功能。如果你從源碼構建ZMap,可以在CMake的時候加上-DWITH_REDIS=ON來增加Redis支持。

JSON

JSON輸出模塊用起來類似於CSV模塊,只是以JSON格式寫入到文件。JSON文件能輕鬆地導入到其它可以讀取JSON的程序中。

注意!,ZMap默認不會編譯JSON功能。如果你從源碼構建ZMap,可以在CMake的時候加上-DWITH_JSON=ON來增加JSON支持。

黑名單和白名單

ZMap同時支持對網路前綴做黑名單和白名單。如果ZMap不加黑名單和白名單參數,他將會掃描所有的IPv4地址(包括本地的,保留的以及組播地址)。如果指定了黑名單文件,那麼在黑名單中的網路前綴將不再掃描;如果指定了白名單文件,只有那些網路前綴在白名單內的才會掃描。白名單和黑名單文件可以協同使用;黑名單優先於白名單(例如:如果您在白名單中指定了10.0.0.0/8並在黑名單中指定了10.1.0.0/16,那麼10.1.0.0/16將不會掃描)。白名單和黑名單文件可以在命令行中指定,如下所示:

-b, --blacklist-file=path

文件用於記錄黑名單子網,以CIDR(無類域間路由)的表示法,例如192.168.0.0/16

-w, --whitelist-file=path

文件用於記錄限制掃描的子網,以CIDR的表示法,例如192.168.0.0/16

黑名單文件的每行都需要以CIDR的表示格式書寫,一行單一的網路前綴。允許使用#加以備註。例如:

# IANA(英特網編號管理局)記錄的用於特殊目的的IPv4地址
# http://www.iana.org/assignments/iana-ipv4-special-registry/iana-ipv4-special-registry.xhtml
# 更新於2013-05-22

0.0.0.0/8           # RFC1122: 網路中的所有主機
10.0.0.0/8          # RFC1918: 私有地址
100.64.0.0/10       # RFC6598: 共享地址空間
127.0.0.0/8         # RFC1122: 迴環地址
169.254.0.0/16      # RFC3927: 本地鏈路地址
172.16.0.0/12       # RFC1918: 私有地址
192.0.0.0/24        # RFC6890: IETF協議預留
192.0.2.0/24        # RFC5737: 測試地址1
192.88.99.0/24      # RFC3068: IPv6轉換到IPv4的任播
192.168.0.0/16      # RFC1918: 私有地址
192.18.0.0/15       # RFC2544: 檢測地址
198.51.100.0/24     # RFC5737: 測試地址2
203.0.113.0/24      # RFC5737: 測試地址3
240.0.0.0/4         # RFC1112: 預留地址
255.255.255.255/32  # RFC0919: 限制廣播地址

# IANA記錄的用於組播的地址空間
# http://www.iana.org/assignments/multicast-addresses/multicast-addresses.xhtml
# 更新於2013-06-25

224.0.0.0/4         # RFC5771: 組播/預留地址ed

如果您只是想掃描網際網路中隨機的一部分地址,使用抽樣檢出,來代替使用白名單和黑名單。

注意!ZMap默認設置使用/etc/zmap/blacklist.conf作為黑名單文件,其中包含有本地的地址空間和預留的IP空間。通過編輯/etc/zmap/zmap.conf可以改變默認的配置。

速度限制與抽樣

默認情況下,ZMap將以您當前網卡所能支持的最快速度掃描。以我們對於常用硬體的經驗,這通常是理論上Gbit乙太網速度的95-98%,這可能比您的上游提供商可處理的速度還要快。ZMap是不會自動的根據您的上游提供商來調整發送速率的。您可能需要手動的調整發送速率來減少丟包和錯誤結果。

-r, --rate=pps

設置最大發送速率以包/秒為單位

-B, --bandwidth=bps

設置發送速率以比特/秒(支持G,M和K後綴)。這會覆蓋--rate參數。

ZMap同樣支持對IPv4地址空間進行指定最大目標數和/或最長運行時間的隨機採樣。由於每次對主機的掃描是通過隨機排序生成的,限制掃描的主機個數為N就會隨機抽選N個主機。命令選項如下:

-n, --max-targets=n

探測目標上限數量

-N, --max-results=n

結果上限數量(累積收到這麼多結果後退出)

-t, --max-runtime=s

發送數據包時間長度上限(以秒為單位)

-s, --seed=n

種子用以選擇地址的排列方式。使用不同ZMap執行掃描操作時將種子設成相同的值可以保證相同的掃描順序。

舉個例子,如果您想要多次掃描同樣的一百萬個互聯網主機,您可以設定排序種子和掃描主機的上限數量,大致如下所示:

zmap -p 443 -s 3 -n 1000000 -o results

為了確定哪一百萬主機將要被掃描,您可以執行預掃,只列印數據包而非發送,並非真的實施掃描。

zmap -p 443 -s 3 -n 1000000 --dryrun | grep daddr
    | awk -F&apos;daddr: &apos; &apos;{print $2}&apos; | sed &apos;s/ |.*//;&apos; 

發送多個數據包

ZMap支持向每個主機發送多個探測。增加這個數量既增加了掃描時間又增加了到達的主機數量。然而,我們發現,增加的掃描時間(每個額外掃描的增加近100%)遠遠大於到達的主機數量(每個額外掃描的增加近1%)。

-P, --probes=n

向每個IP發出的獨立探測個數(默認值=1)

示例應用

ZMap專為向大量主機發起連接並尋找那些正確響應而設計。然而,我們意識到許多用戶需要執行一些後續處理,如執行應用程序級別的握手。例如,用戶在80埠實施TCP SYN掃描也許想要實施一個簡單的GET請求,還有用戶掃描443埠可能希望完成TLS握手。

Banner獲取

我們收錄了一個示常式序,banner-grab,伴隨ZMap使用可以讓用戶從監聽狀態的TCP伺服器上接收到消息。Banner-grab連接到提供的伺服器上,發送一個可選的消息,然後列印出收到的第一個消息。這個工具可以用來獲取banner,例如HTTP服務的回復的具體指令,telnet登陸提示,或SSH服務的字元串。

下面的例子尋找了1000個監聽80埠的伺服器,並向每個發送一個簡單的GET請求,存儲他們的64位編碼響應至http-banners.out

$ zmap -p 80 -N 1000 -B 10M -o - | ./banner-grab-tcp -p 80 -c 500 -d ./http-req > out

如果想知道更多使用banner-grab的細節,可以參考examples/banner-grab中的README文件。

注意! ZMap和banner-grab(如例子中)同時運行可能會比較顯著的影響對方的表現和精度。確保不讓ZMap佔滿banner-grab-tcp的並發連接,不然banner-grab將會落後於標準輸入的讀入,導致阻塞ZMap的輸出寫入。我們推薦使用較慢掃描速率的ZMap,同時提升banner-grab-tcp的並發性至3000以內(注意 並發連接>1000需要您使用ulimit -SHn 100000ulimit -HHn 100000來增加每個進程的最大文件描述符數量)。當然,這些參數取決於您伺服器的性能、連接成功率(hit-rate);我們鼓勵開發者在運行大型掃描之前先進行小樣本的試驗。

建立套接字

我們也收錄了另一種形式的banner-grab,就是forge-socket, 重複利用伺服器發出的SYN-ACK,連接並最終取得banner。在banner-grab-tcp中,ZMap向每個伺服器發送一個SYN,並監聽伺服器發回的帶有SYN+ACK的應答。運行ZMap主機的內核接受應答後發送RST,這樣就沒有與該包關聯活動連接。程序banner-grab必須在這之後創建一個新的TCP連接到從伺服器獲取數據。

在forge-socket中,我們利用內核中同名的模塊,使我們可以創建任意參數的TCP連接。可以通過抑制內核的RST包,並重用SYN+ACK的參數取代該包而創建套接字,通過這個套接字收發數據和我們平時使用的連接套接字並沒有什麼不同。

要使用forge-socket,您需要forge-socket內核模塊,從github上可以獲得。您需要git clone git@github.com:ewust/forge_socket.git至ZMap源碼根目錄,然後cd進入forge_socket目錄,運行make。以root身份運行insmod forge_socket.ko 來安裝該內核模塊。

您也需要告知內核不要發送RST包。一個簡單的在全系統禁用RST包的方法是使用iptables。以root身份運行iptables -A OUTPUT -p tcp -m tcp --tcp-flgas RST,RST RST,RST -j DROP即可,當然您也可以加上一項--dport X將禁用局限於所掃描的埠(X)上。掃描完成後移除這項設置,以root身份運行iptables -D OUTPUT -p tcp -m tcp --tcp-flags RST,RST RST,RST -j DROP即可。

現在應該可以建立forge-socket的ZMap示常式序了。運行需要使用extended_fileZMap輸出模塊

$ zmap -p 80 -N 1000 -B 10M -O extended_file -o - | 
    ./forge-socket -c 500 -d ./http-req > ./http-banners.out

詳細內容可以參考examples/forge-socket目錄下的README。

編寫探測和輸出模塊

ZMap可以通過探測模塊來擴展支持不同類型的掃描,通過輸出模塊增加不同類型的輸出結果。註冊過的探測和輸出模塊可以在命令行中列出:

--list-probe-modules

列出安裝過的探測模塊

--list-output-modules

列出安裝過的輸出模塊

輸出模塊

ZMap的輸出和輸出後處理可以通過實現和註冊掃描器輸出模塊來擴展。輸出模塊在接收每一個應答包時都會收到一個回調。然而默認提供的模塊僅提供簡單的輸出,這些模塊同樣支持更多的輸出後處理(例如:重複跟蹤或輸出AS號碼來代替IP地址)。

通過定義一個新的output_module結構來創建輸出模塊,並在output_modules.c中註冊:

typedef struct output_module {
    const char          *name;           // 在命令行如何引用輸出模塊
    unsigned            update_interval; // 以秒為單位的更新間隔

    output_init_cb      init;            // 在掃描器初始化的時候調用
    output_update_cb    start;           // 在掃描器開始的時候調用
    output_update_cb    update;          // 每次更新間隔調用,秒為單位
    output_update_cb    close;           // 掃描終止後調用

    output_packet_cb    process_ip;      // 接收到應答時調用

    const char          *helptext;       // 會在--list-output-modules時列印在屏幕上

} output_module_t;

輸出模塊必須有名稱,通過名稱可以在命令行調用,並且通常會實現success_ip和常見的other_ip回調。process_ip的回調由每個收到並經由probe module過濾的應答包調用。應答是否被認定為成功並不確定(比如,它可以是一個TCP的RST)。這些回調必須定義匹配output_packet_cb定義的函數:

int (*output_packet_cb) (

    ipaddr_n_t    saddr,         // 網路位元組格式的發起掃描主機IP地址
    ipaddr_n_t    daddr,         // 網路位元組格式的目的IP地址

    const char*   response_type, // 發送模塊的數據包分類

    int           is_repeat,     // {0: 主機的第一個應答, 1: 後續的應答}
    int           in_cooldown,   // {0: 非冷卻狀態, 1: 掃描器處於冷卻中}

    const u_char* packet,        // 指向IP包的iphdr結構體的指針
    size_t        packet_len     // 包的長度,以位元組為單位
);

輸出模塊還可以通過註冊回調,執行在掃描初始化的時候(諸如打開輸出文件的任務)、在掃描開始階段(諸如記錄黑名單的任務)、在掃描的常規間隔(諸如狀態更新的任務)、在關閉的時候(諸如關掉所有打開的文件描述符)。提供的這些回調可以完整的訪問掃描配置和當前狀態:

int (*output_update_cb)(struct state_conf*, struct state_send*, struct state_recv*);

這些定義在output_modules.h中。在src/outputmodules/modulecsv.c中有可用示例。

探測模塊

數據包由探測模塊構造,它可以創建各種包和不同類型的響應。ZMap默認擁有兩個掃描模塊:tcp_synscanicmp_echoscan。默認情況下,ZMap使用tcp_synscan來發送TCP SYN包並對每個主機的響應分類,如打開時(收到SYN+ACK)或關閉時(收到RST)。ZMap允許開發者編寫自己的ZMap探測模塊,使用如下的API:

任何類型的掃描都必須通過開發和註冊send_module_t結構中的回調來實現:

typedef struct probe_module {
    const char               *name;             // 如何在命令行調用掃描
    size_t                   packet_length;     // 探測包有多長(必須是靜態的)

    const char               *pcap_filter;      // 對收到的響應實施PCAP過濾
    size_t                   pcap_snaplen;      // libpcap 捕獲的最大位元組數 
    uint8_t                  port_args;         // 設為1,如果ZMap需要用戶指定--target-port

    probe_global_init_cb     global_initialize; // 在掃描初始化會時被調用一次
    probe_thread_init_cb     thread_initialize; // 每個包緩存區的線程中被調用一次
    probe_make_packet_cb     make_packet;       // 每個主機更新包的時候被調用一次
    probe_validate_packet_cb validate_packet;   // 每收到一個包被調用一次,
                                                // 如果包無效返回0,
                                                // 非零則有效。

    probe_print_packet_cb    print_packet;      // 如果在預掃模式下被每個包都調用
    probe_classify_packet_cb process_packet;    // 由區分響應的接收器調用
    probe_close_cb           close;             // 掃描終止後被調用

    fielddef_t               *fields            // 該模塊指定的欄位的定義
    int                      numfields          // 欄位的數量

} probe_module_t;

在掃描操作初始化時會調用一次global_initialize,可以用來實施一些必要的全局配置和初始化操作。然而,global_initialize並不能訪問包緩衝區,那裡是線程特定的。代替的,thread_initialize在每個發送線程初始化的時候被調用,提供對於緩衝區的訪問,可以用來構建探測包和全局的源和目的值。此回調應用於構建主機不可知的包結構,甚至只有特定值(如:目的主機和校驗和),需要隨著每個主機更新。例如,乙太網頭部信息在交換時不會變更(減去校驗和是由NIC硬體計算的)因此可以事先定義以減少掃描時間開銷。

調用回調參數make_packet是為了讓被掃描的主機允許探測模塊更新主機指定的值,同時提供IP地址、一個非透明的驗證字元串和探測數目(如下所示)。探測模塊負責在探測中放置儘可能多的驗證字元串,即便當伺服器返回的應答為空時,探測模塊也能驗證它的當前狀態。例如,針對TCP SYN掃描,tcp_synscan探測模塊會使用TCP源埠和序列號的格式存儲驗證字元串。響應包(SYN+ACK)將包含目的埠和確認號的預期值。

int make_packet(
    void        *packetbuf,  // 包的緩衝區
    ipaddr_n_t  src_ip,      // 網路位元組格式源IP
    ipaddr_n_t  dst_ip,      // 網路位元組格式目的IP
    uint32_t    *validation, // 探測中的有效字元串
    int         probe_num    // 如果向每個主機發送多重探測,
                             // 該值為我們對於該主機
                             // 正在發送的探測數目
);

掃描模塊也應該定義pcap_filtervalidate_packetprocess_packet。只有符合PCAP過濾器的包才會被掃描。舉個例子,在一個TCP SYN掃描的情況下,我們只想要調查TCP SYN / ACK或RST TCP數據包,並利用類似tcp && tcp[13] & 4 != 0 || tcp[13] == 18的過濾方法。validate_packet函數將會被每個滿足PCAP過濾條件的包調用。如果驗證返回的值非零,將會調用process_packet函數,並使用fields定義的欄位和包中的數據填充欄位集。舉個例子,如下代碼為TCP synscan探測模塊處理了一個數據包。

void synscan_process_packet(const u_char *packet, uint32_t len, fieldset_t *fs)
{
    struct iphdr *ip_hdr = (struct iphdr *)&packet[sizeof(struct ethhdr)];
    struct tcphdr *tcp = (struct tcphdr*)((char *)ip_hdr 
            + (sizeof(struct iphdr)));

    fs_add_uint64(fs, "sport", (uint64_t) ntohs(tcp->source)); 
    fs_add_uint64(fs, "dport", (uint64_t) ntohs(tcp->dest));
    fs_add_uint64(fs, "seqnum", (uint64_t) ntohl(tcp->seq));
    fs_add_uint64(fs, "acknum", (uint64_t) ntohl(tcp->ack_seq));
    fs_add_uint64(fs, "window", (uint64_t) ntohs(tcp->window));

    if (tcp->rst) { // RST packet
        fs_add_string(fs, "classification", (char*) "rst", 0);
        fs_add_uint64(fs, "success", 0);
    } else { // SYNACK packet
        fs_add_string(fs, "classification", (char*) "synack", 0);
        fs_add_uint64(fs, "success", 1);
    }
}

via: https://zmap.io/documentation.html

譯者:martin2011qi 校對:wxy

本文由 LCTT 原創翻譯,Linux中國 榮譽推出


本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive

對這篇文章感覺如何?

太棒了
0
不錯
0
愛死了
0
不太好
0
感覺很糟
0
雨落清風。心向陽

    You may also like

    Leave a reply

    您的郵箱地址不會被公開。 必填項已用 * 標註

    此站點使用Akismet來減少垃圾評論。了解我們如何處理您的評論數據

    More in:Linux中國