如何在 Linux 上用 SQL 語句來查詢 Apache 日誌
Apache 日誌背景知識
- Access log:存放在路徑 /var/log/apache2/access.log (Debian) 或者 /var/log/httpd/access_log (Red Hat)。Access Log 記錄所有 Apache web server 執行的請求。
- Error log:存放在路徑 /var/log/apache2/error.log (Debian) 或者 /var/log/httpd/error_log (Red Hat)。Error log 記錄所有 Apache web server 報告的錯誤以及錯誤的情況。Error 情況包括(不限於)403(Forbidden,通常在請求被拒絕訪問時被報告),404(Not found,在請求資源不存在時被報告)。
雖然管理員可以通過配置 Apache 的配置文件來自定義 Apache access log 的詳細程度,不過在這篇文章中,我們會使用默認的配置,如下:
遠程 IP - 請求時間 - 請求類型 - 響應代碼 - 請求的 URL - 遠程的瀏覽器信息 (也許包含操作系統信息)
因此一個典型的 Apache 日誌條目就是下面這個樣子:
192.168.0.101 - - [22/Aug/2014:12:03:36 -0300] "GET /icons/unknown.gif HTTP/1.1" 200 519 "http://192.168.0.10/test/projects/read_json/" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:30.0) Gecko/20100101 Firefox/30.0"
但是 Apache error log 又是怎麼樣的呢?因為 error log 條目主要記錄 access log 中特殊的請求(你可以自定義),所以你可以通過 access log 來獲得關於錯誤情況的更多信息(example 5 有更多細節)。
此外要提前說明的, access log 是系統級別的日誌文件。要分析虛擬主機的日誌文件,你需要檢查它們相應的配置文件(例如: 在 /etc/apache2/sites-available/[virtual host name] 里(Debian))。
在 Linux 上安裝 asql
asql 由 Perl 編寫,而且需求以下兩個 Perl 模塊:SQLite 的 DBI 驅動以及 GNU readline。
在 Debian, Ubuntu 以及其衍生髮行版上安裝 asql
使用基於 Debian 發行版上的 aptitude,asql 以及其依賴會被自動安裝。
# aptitude install asql
在 Fedora,CentOS,RHEL 上安裝 asql
在 CentOS 或 RHEL 上,你需要啟用 EPEL repository,然後運行以下代碼。在 Fedora 中,直接運行以下代碼:
# sudo yum install perl-DBD-SQLite perl-Term-Readline-Gnu
# wget http://www.steve.org.uk/Software/asql/asql-1.7.tar.gz
# tar xvfvz asql-1.7.tar.gz
# cd asql
# make install
asql 是如何工作的?
從上面代碼中的依賴中你就可以看出來,asql 轉換未結構化的明文 Apache 日誌為結構化的 SQLite 資料庫信息。生成的 SQLite 資料庫可以接受正常的 SQL 查詢語句。資料庫可以通過當前以及之前的日誌文件生成,其中也包括壓縮轉換過的日誌文件,類似 access.log.X.gz 或者 access_log.old。
首先,從命令行啟動 asql:
# asql
你會進入 asql 內置的 shell 交互界面。
輸入 help 列表可執行的命令:
首先在 asql 中載入所有的 access 日誌:
asql > load <apache-access-logs 的路徑>
比如在 Debian 下:
asql > load /var/log/apache2/access.*
在 CentOS/RHEL 下:
asql > load /var/log/httpd/access_log*
當 asql 完成對 access 日誌的載入後,我們就可以開始資料庫查詢了。注意一下,載入後生成的資料庫是 "temporary" (臨時)的,意思就是資料庫會在你退出 asql 的時候被清除。如果你想要保留資料庫,你必須先將其保存為一個文件。我們會在後面介紹如何這麼做(參考 example 3 和 4)。
生成的資料庫有一個名為 logs 的表。輸入下面的命令列出 logs 表中提供的域:
一個名為 .asql 的隱藏文件,保存於用戶的 home 目錄下,記錄用戶在 asql shell 中輸入的命令歷史。因此你可以使用方向鍵瀏覽命令歷史,按下 ENTER 來重複執行之前的命令。
asql 上的示例 SQL 查詢
下面是幾個使用 asql 針對 Apache 日誌文件運行 SQL 查詢的示例:
Example 1:列出在 2014 年 10 月中請求的來源 / 時間以及 HTTP 狀態碼。
SELECT source, date, status FROM logs WHERE date >= '2014-10-01T00:00:00' ORDER BY source;
Example 2:從小到大顯示單個客戶端處理的請求大小(bytes)。
SELECT source, SUM(size), AS NUMBER FROM logs GROUP BY source ORDER BY Number DESC;
Example 3:在當前目錄中保存資料庫為 [filename]。
save [filename]
這樣做可以避免使用 load 命令對日誌的語法分析所佔用的處理時間。
Example 4:在重新進入 asql 後載入資料庫。
restore [filename]
Example 5:返回 access 日誌中記錄的 error 情況。在這個例子中,我們將顯示所有返回 HTTP 狀態碼為 403(access forbidden)的請求。
SELECT source, date, status, request FROM logs WHERE status='403' ORDER BY date
這個例子想要表現的是:雖然 asql 只分析 access 日誌,我們還是可以通過使用請求的狀態域來顯示有 error 情況的請求。
小結:
我們體驗了 asql 如何幫助我們分析 Apache 日誌文件,並將結果通過友好的格式輸出。雖然你也可以通過使用命令行的工具(例如 cat 與 grep,uniq,sort,wc 等等之間的管道)來實現類似功能,與此比較起來 asql 展示了它如同瑞士軍刀一般的強大功能,使我們在自己的需求下能夠通過標準 SQL 查詢語句來過濾日誌。
希望這篇教程能幫助到你們。
請不要拘束地將評論文章,分享文章,提出疑問。
via: http://xmodulo.com/sql-queries-apache-log-files-linux.html
作者:Gabriel Cánepa 譯者:ThomazL 校對:wxy
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive