5 個有用的開源日誌分析工具

監控網路活動是一項繁瑣的工作，但有充分的理由這樣做。例如，它允許你查找和調查工作站和連接到網路的設備及伺服器上的可疑登錄，同時確定管理員濫用了什麼。你還可以跟蹤軟體安裝和數據傳輸，以實時識別潛在問題，而不是在損壞發生後才進行跟蹤。

這些日誌還有助於使你的公司遵守適用於在歐盟範圍內運營的任何實體的通用數據保護條例（GDPR）。如果你的網站在歐盟可以瀏覽，那麼你就有遵守的該條例的資格。

日誌記錄，包括跟蹤和分析，應該是任何監控基礎設置中的一個基本過程。要從災難中恢復 SQL Server 資料庫，需要事務日誌文件。此外，通過跟蹤日誌文件，DevOps 團隊和資料庫管理員（DBA）可以保持最佳的資料庫性能，又或者，在網路攻擊的情況下找到未經授權活動的證據。因此，定期監視和分析系統日誌非常重要。這是一種重新創建導致出現任何問題的事件鏈的可靠方式。

現在有很多開源日誌跟蹤器和分析工具可供使用，這使得為活動日誌選擇合適的資源比你想像的更容易。自由和開源軟體社區提供的日誌設計適用於各種站點和操作系統。以下是五個我用過的最好的工具，它們並沒有特別的順序。

Graylog

Graylog 於 2011 年在德國創立，現在作為開源工具或商業解決方案提供。它被設計成一個集中式日誌管理系統，接受來自不同伺服器或端點的數據流，並允許你快速瀏覽或分析該信息。


Graylog 在系統管理員中有著良好的聲譽，因為它易於擴展。大多數 Web 項目都是從小規模開始的，但它們可能指數級增長。Graylog 可以均衡後端服務網路中的負載，每天可以處理幾 TB 的日誌數據。

IT 管理員會發現 Graylog 的前端界面易於使用，而且功能強大。Graylog 是圍繞儀錶板的概念構建的，它允許你選擇你認為最有價值的指標或數據源，並快速查看一段時間內的趨勢。

當發生安全或性能事件時，IT 管理員希望能夠儘可能地根據癥狀追根溯源。Graylog 的搜索功能使這變得容易。它有內置的容錯功能，可運行多線程搜索，因此你可以同時分析多個潛在的威脅。

Nagios

Nagios 始於 1999 年，最初是由一個開發人員開發的，現在已經發展成為管理日誌數據最可靠的開源工具之一。當前版本的 Nagios 可以與運行 Microsoft Windows、Linux 或 Unix 的伺服器集成。


它的主要產品是日誌伺服器，旨在簡化數據收集並使系統管理員更容易訪問信息。Nagios 日誌伺服器引擎將實時捕獲數據，並將其提供給一個強大的搜索工具。通過內置的設置嚮導，可以輕鬆地與新端點或應用程序集成。

Nagios 最常用於需要監控其本地網路安全性的組織。它可以審核一系列與網路相關的事件，並幫助自動分發警報。如果滿足特定條件，甚至可以將 Nagios 配置為運行預定義的腳本，從而允許你在人員介入之前解決問題。

作為網路審計的一部分，Nagios 將根據日誌數據來源的地理位置過濾日誌數據。這意味著你可以使用地圖技術構建全面的儀錶板，以了解 Web 流量是如何流動的。

Elastic Stack (ELK Stack)

Elastic Stack，通常稱為 ELK Stack，是需要篩選大量數據並理解其日誌系統的組織中最受歡迎的開源工具之一（這也是我個人的最愛）。


它的主要產品由三個獨立的產品組成：Elasticsearch、Kibana 和 Logstash：

• 顧名思義， Elasticsearch 旨在幫助用戶使用多種查詢語言和類型在數據集之中找到匹配項。速度是它最大的優勢。它可以擴展成由數百個伺服器節點組成的集群，輕鬆處理 PB 級的數據。
• Kibana 是一個可視化工具，與 Elasticsearch 一起工作，允許用戶分析他們的數據並構建強大的報告。當你第一次在伺服器集群上安裝 Kibana 引擎時，你會看到一個顯示著統計數據、圖表甚至是動畫的界面。
• ELK Stack 的最後一部分是 Logstash，它作為一個純粹的服務端管道進入 Elasticsearch 資料庫。你可以將 Logstash 與各種編程語言和 API 集成，這樣你的網站和移動應用程序中的信息就可以直接提供給強大的 Elastic Stalk 搜索引擎中。

ELK Stack 的一個獨特功能是，它允許你監視構建在 WordPress 開源網站上的應用程序。與跟蹤管理日誌和 PHP 日誌的大多數開箱即用的安全審計日誌工具相比，ELK Stack 可以篩選 Web 伺服器和資料庫日誌。

糟糕的日誌跟蹤和資料庫管理是導致網站性能不佳的最常見原因之一。沒有定期檢查、優化和清空資料庫日誌，不僅會降低站點的運行速度，還可能導致其完全崩潰。因此，ELK Stack 對於每個 WordPress 開發人員的工具包來說都是一個優秀的工具。

LOGalyze

LOGalyze 是一個位於匈牙利的組織，它為系統管理員和安全專家構建開源工具，以幫助他們管理伺服器日誌，並將其轉換為有用的數據點。其主要產品可供個人或商業用戶免費下載。


LOGalyze 被設計成一個巨大的管道，其中多個伺服器、應用程序和網路設備可以使用簡單對象訪問協議（SOAP）方法提供信息。它提供了一個前端界面，管理員可以登錄界面來監控數據集並開始分析數據。

在 LOGalyze 的 Web 界面中，你可以運行動態報告，並將其導出到 Excel 文件、PDF 文件或其他格式。這些報告可以基於 LOGalyze 後端管理的多維統計信息。它甚至可以跨伺服器或應用程序組合數據欄位，藉此來幫助你發現性能趨勢。

LOGalyze 旨在不到一個小時內完成安裝和配置。它具有預先構建的功能，允許它以法律所要求的格式收集審計數據。例如，LOGalyze 可以很容易地運行不同的 HIPAA 報告，以確保你的組織遵守健康法律並保持合規性。

Fluentd

如果你所在組織的數據源位於許多不同的位置和環境中，那麼你的目標應該是儘可能地將它們集中在一起。否則，你將難以監控性能並防範安全威脅。

Fluentd 是一個強大的數據收集解決方案，它是完全開源的。它沒有提供完整的前端界面，而是作為一個收集層來幫助組織不同的管道。Fluentd 在被世界上一些最大的公司使用，但是也可以在較小的組織中實施。


Fluentd 最大的好處是它與當今最常用的技術工具兼容。例如，你可以使用 Fluentd 從 Web 伺服器（如 Apache）、智能設備感測器和 MongoDB 的動態記錄中收集數據。如何處理這些數據完全取決於你。

Fluentd 基於 JSON 數據格式，它可以與由卓越的開發人員創建的 500 多個插件一起使用。這使你可以將日誌數據擴展到其他應用程序中，並通過最少的手工操作從中獲得更好的分析。

寫在最後

如果出於安全原因、政府合規性和衡量生產力的原因，你還沒有使用活動日誌，那麼現在開始改變吧。市場上有很多插件，它們可以與多種環境或平台一起工作，甚至可以在內部網路上使用。不要等發生了嚴重的事件，才採取一個積極主動的方法去維護和監督日誌。

via: https://opensource.com/article/19/4/log-analysis-tools

作者：Sam Bocetta 選題：lujun9972 譯者：MjSeven 校對：wxy

本文由 LCTT 原創編譯，Linux中國 榮譽推出

本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive