管理 131,800,000,000 條數據記錄,巨杉資料庫支撐銀行雲化架構升級
如今,大型企業的應用平台正在向微服務架構進行轉型。在微服務架構下,應用程序和資料庫等底層平台的關係將會被重構。
作為新一代分散式資料庫,其架構與功能特性需要保證在與傳統資料庫全兼容的基礎上,擁抱微服務與雲計算框架。因此,分散式資料庫對於分散式事務與 ACID 必須保證與傳統技術完全兼容。同時,在面向微服務應用開發與雲計算基礎架構時,新一代分散式資料庫必須支持彈性擴張、資源隔離、多租戶、可配置一致性、多模式(支持各類 SQL 協議)、集群內可配置容災策略等一系列功能。
傳統單點資料庫的容量瓶頸,僅僅是分散式資料庫所解決的問題之一。更重要的是在未來微服務化應用開發以及雲化平台的趨勢下,應用不再以「煙囪式」的中間件加資料庫模式進行構建,而是採用數千甚至上萬的微服務程序構建成的複雜網狀模型。因此,分散式資料庫需要滿足以下能力,才能夠滿足上層應用的彈性擴展、高並發、高吞吐量、與靈活敏捷的需求。
在這些技術需求驅動下,分散式資料庫核心技術能力分為兩個方面,一方面是對傳統技術的兼容,包括:
- 完整的 ACID 支持,事務和一致性保證;
- SQL 的完整支持,傳統資料庫如 MySQL/PostgreSQL 的語法完全兼容。
另一方面,則是技術創新,包括:
- 分散式與擴展性,應對數據量的變化,實現存儲層和計算層的彈性擴展;
- 多模式訪問介面,支持多類型數據管理和多種模式的訪問介面;
- HTAP 交易/分析混合處理能力,複雜業務需求下,實現數據的物理隔離,互不干擾。
作為一款金融級分散式關係型資料庫,SequoiaDB 巨杉資料庫的分散式資料庫架構和面向微服務的雲化產品形態,已經幫助包括民生銀行、恆豐銀行在內的多家大型金融客戶實現了大量業務系統的底層資料庫雲化轉型升級。
目前,巨杉資料庫在銀行生產系統單機群最大物理節點數達到 135 個,單集群最大存儲容量超過 2.1 PB,單集群最大管理數據條數 1318 億條。
SequoiaDB 巨杉資料庫作為一款金融級的分散式關係型資料庫,在企業客戶雲化架構轉型過程中,提供了多種重要技術能力。
數據存儲資源池化
SequoiaDB 數據存儲引擎採用原生分散式架構,數據完全打散在分散式節點間存儲,自動化數據分布和管理,數據可以按需靈活擴展。
SequoiaDB 採用分片技術為系統提供了橫向擴展機制,其分片過程對於應用程序來說完全透明。該機制解決了單台伺服器硬體資源(如內存、CPU、磁碟 I/O)受限的問題,並不會增加應用程序開發的複雜性。巨杉資料庫通過原生分散式架構,可以輕鬆實現 PB 級別數據管理,目前生產環境最大支持超過 1500 個節點集群。
SequoiaDB 巨杉資料庫存儲引擎也實現了 multi-model 多模數據管理,支持非結構化、結構化和半結構化數據全覆蓋並統一管理。SequoiaDB 的多模引擎設計讓資料庫平台場景更多樣,也能符合雲數據架構下對於多樣化業務數據的統一管理與運維要求。
同時,在一個大型集群中,SequoiaDB 提供了多維度、多層級的邏輯與物理隔離能力。在一個典型的數據資源池類型基礎數據服務平台(DBaas,DataBase As A Service)中,SequoiaDB 巨杉資料庫能夠同時服務於成百上千個不同 SLA 服務級別、優先順序、業務特性、與數據量的應用程序,並保證應用程序之間的數據邏輯與物理隔離。
SequoiaDB 提供的「數據域(Domain)」特性,能夠將整個集群在物理設備層面進行隔離,確保不同的表、表空間、與資料庫實例坐落於獨立的硬體設備上,保證高優先順序的聯機交易應用與後台統計分析相互隔離互不干擾。
資料庫實例化
SequoiaDB 巨杉資料庫支持資料庫服務實例化。
針對微服務應用架構,用戶可以在同一個集群中創建成百上千個不同的關係型資料庫實例。資料庫實例的訪問與使用方式和傳統關係型資料庫 100% 兼容,同時其底層所使用的數據從邏輯上完全獨立,每個實例擁有自己獨立的許可權管理、數據管控、甚至可以選擇部署在獨立的硬體環境或共享設備中。
目前 SequoiaDB 巨杉資料庫支持用戶創建 MySQL、PostgreSQL 與 SparkSQL 實例,同時還提供了JSON、S3對象存儲以及 Posix 文件系統實例,充分滿足用戶對於結構化、半結構化、以及非結構化數據的需求。
從應用程序開發者與 DBA 的角度看,SequoiaDB 巨杉資料庫所提供的關係型資料庫實例,與傳統 MySQL、PostgreSQL 和 SparkSQL 保持全兼容。例如,在 SequoiaDB 巨杉資料庫中的 MySQL 實例中,其所有的增刪改查語法、視圖、觸發器、事務、甚至訪問計劃都與傳統 MySQL 保持一致。
作為分散式資料庫,SequoiaDB 巨杉資料庫的 SQL 實例用戶不需要關心底層的數據到底被分散在一台還是多台設備中。用戶可以簡單創建一個分區表,向其中寫入上億條記錄,其數據將會被自動分散在不同的物理設備中,對於應用程序根本無需關注分庫分表,資料庫自動提供分散式事務以及分散式訪問等能力。
雙活容災與數據安全
雙活容災即災備系統中使主生產端資料庫和備機端資料庫同時在線運行,處於可讀可寫狀態的技術。在銀行的交易系統中,雙活容災能力不僅保證數據不丟失,也保證系統在遭遇事故時能夠短時間內重新上線。在正常情況下,雙活架構的兩個數據中心都能夠同時提供業務的讀寫服務,而當一個中心宕機後,所有前端應用可以立刻切換至依然存活的數據中心繼續使用。
SequoiaDB 巨杉資料庫在內核層面實現了多種容災方式,包括同城雙活、同城雙中心、同城三中心、兩地三中心、與三地五中心等容災策略。通過使用 SequoiaDB 巨杉資料庫的容災與高可用機制,數據中心內的伺服器故障可以保證 RTO 與 RPO 均為零,而整個數據中心或同城網路故障也可以做到秒級 RTO=0、RPO=0。
關於 SequoiaDB 巨杉資料庫
巨杉資料庫專註新一代分散式資料庫技術研發,自 2011 年成立以來,堅持從零開始打造分散式開源資料庫引擎,是中國首家連續兩年入選 Gartner 資料庫報告的資料庫廠商。
巨杉資料庫的主要產品包括 SequoiaDB 分散式關係型資料庫與 SequoiaCM 企業內容管理軟體,企業級應用場景包括分散式在線交易、數據中台、分散式內容管理等。
目前巨杉資料庫已在超過 50 家 500 強級別的大型商業銀行核心生產業務上線,企業用戶總數超過 1000 家。
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive