歐洲核子研究組織(CERN)是如何使用 Linux 和開源的
歐洲核子研究組織(簡稱 CERN)依靠開源技術處理大型強子對撞機生成的大量數據。ATLAS(超環面儀器,如圖所示)是一種探測基本粒子的通用探測器。
CERN 無需過多介紹了吧。CERN 創建了 萬維網 (WWW)和 大型強子對撞機 (LHC),這是世界上最大的 粒子加速器 ,就是通過它發現了 希格斯玻色子 。負責該組織 IT 操作系統和基礎架構的 Tim Bell 表示,他的團隊的目標是「為全球 13000 名物理學家提供計算設施,以分析這些碰撞,了解宇宙的構成以及是如何運轉的。」
CERN 正在進行硬核科學研究,尤其是大型強子對撞機,它在運行時 生成大量數據。「CERN 目前存儲大約 200 PB 的數據,當加速器運行時,每月有超過 10 PB 的數據產生。這必然會給計算基礎架構帶來極大的挑戰,包括存儲大量數據,以及能夠在合理的時間範圍內處理數據,對於網路、存儲技術和高效計算架構都是很大的壓力。「Bell 說到。
![Tim Bell](/data/attachment/album/201808/11/073016iygy4e8eamdmam8m.png "Tim Bell")
Tim Bell, CERN
大型強子對撞機的運作規模和它產生的數據量帶來了嚴峻的挑戰,但 CERN 對這些問題並不陌生。CERN 成立於 1954 年,已經 60 余年了。「我們一直面臨著難以解決的計算能力挑戰,但我們一直在與開源社區合作解決這些問題。」Bell 說,「即使在 90 年代,當我們發明萬維網時,我們也希望與人們共享,使其能夠從 CERN 的研究中受益,開源是做這件事的再合適不過的工具了。」
使用 OpenStack 和 CentOS
時至今日,CERN 是 OpenStack 的深度用戶,而 Bell 則是 OpenStack 基金會的董事會成員之一。不過 CERN 比 OpenStack 出現的要早,多年來,他們一直在使用各種開源技術通過 Linux 伺服器提供服務。
「在過去的十年中,我們發現,與其自己解決問題,不如找到面臨類似挑戰的上游開源社區進行合作,然後我們一同為這些項目做出貢獻,而不是一切都由自己來創造和維護。「Bell 說。
一個很好的例子是 Linux 本身。CERN 曾經是 Red Hat Enterprise Linux 的客戶。其實,早在 2004 年,他們就與 Fermilab 合作一起建立了自己的 Linux 發行版,名為 Scientific Linux。最終他們意識到,因為沒有修改內核,耗費時間建立自己的發行版是沒有意義的,所以他們遷移到了 CentOS 上。由於 CentOS 是一個完全開源和社區驅使的項目,CERN 可以與該項目合作,並為 CentOS 的構建和分發做出貢獻。
CERN 幫助 CentOS 提供基礎架構,他們還組織了 CentOS DoJo 活動(LCTT 譯者註:CentOS Dojo 是為期一日的活動,匯聚來自 CentOS 社群的人分享系統管理、最佳實踐及新興科技。),工程師可以匯聚在此共同改進 CentOS 的封裝。
除了 OpenStack 和 CentOS 之外,CERN 還是其他開源項目的深度用戶,包括用於配置管理的 Puppet、用於監控的 Grafana 和 InfluxDB,等等。
「我們與全球約 170 個實驗室合作。因此,每當我們發現一個開源項目的改進之處,其他實驗室便可以很容易地採納使用。」Bell 說,「與此同時,我們也向其他項目學習。當像 eBay 和 Rackspace 這樣大規模的裝機量提高了解決方案的可擴展性時,我們也從中受益,也可以擴大規模。「
解決現實問題
2012 年左右,CERN 正在研究如何為大型強子對撞機擴展計算能力,但難點是人員而不是技術。CERN 僱用的員工人數是固定的。「我們必須找到一種方法來擴展計算能力,而不需要大量額外的人來管理。」Bell 說,「OpenStack 為我們提供了一個自動的 API 驅動和軟體定義的基礎架構。」OpenStack 還幫助 CERN 檢查與服務交付相關的問題,然後使其自動化,而無需增加員工。
「我們目前在日內瓦和布達佩斯的兩個數據中心運行大約 280000 個處理器核心和 7000 台伺服器。我們正在使用軟體定義的基礎架構使一切自動化,這使我們能夠在保持員工數量不變的同時繼續添加更多的伺服器。「Bell 說。
隨著時間的推移,CERN 將面臨更大的挑戰。大型強子對撞機有一個到 2035 年的藍圖,包括一些重要的升級。「我們的加速器運轉三到四年,然後會用 18 個月或兩年的時間來升級基礎架構。在這維護期間我們會做一些計算能力的規劃。 」Bell 說。CERN 還計劃升級高亮度大型強子對撞機,會允許更高光度的光束。與目前的 CERN 的規模相比,升級意味著計算需求需增加約 60 倍。
「根據摩爾定律,我們可能只能滿足需求的四分之一,因此我們必須找到相應的擴展計算能力和存儲基礎架構的方法,並找到自動化和解決方案,例如 OpenStack,將有助於此。」Bell 說。
「當我們開始使用大型強子對撞機並觀察我們如何提供計算能力時,很明顯我們無法將所有內容都放入 CERN 的數據中心,因此我們設計了一個分散式網格結構:位於中心的 CERN 和圍繞著它的級聯結構。」Bell 說,「全世界約有 12 個大型一級數據中心,然後是 150 所小型大學和實驗室。他們從大型強子對撞機的數據中收集樣本,以幫助物理學家理解和分析數據。」
這種結構意味著 CERN 正在進行國際合作,數百個國家正致力於分析這些數據。歸結為一個基本原則,即開源不僅僅是共享代碼,還包括人們之間的協作、知識共享,以實現個人、組織或公司無法單獨實現的目標。這就是開源世界的希格斯玻色子。
via: https://www.linux.com/blog/2018/5/how-cern-using-linux-open-source
作者:SWAPNIL BHARTIYA 譯者:jessie-pang 校對:wxy
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive