Linux中國

歐洲核子研究組織(CERN)是如何使用 Linux 和開源的

歐洲核子研究組織(簡稱 CERN)依靠開源技術處理大型強子對撞機生成的大量數據。ATLAS(超環面儀器,如圖所示)是一種探測基本粒子的通用探測器。

CERN 無需過多介紹了吧。CERN 創建了 萬維網 World Wide Web (WWW)和 大型強子對撞機 Large Hadron Collider (LHC),這是世界上最大的 粒子加速器 particle accelerator ,就是通過它發現了 希格斯玻色子 Higgs boson 。負責該組織 IT 操作系統和基礎架構的 Tim Bell 表示,他的團隊的目標是「為全球 13000 名物理學家提供計算設施,以分析這些碰撞,了解宇宙的構成以及是如何運轉的。」

CERN 正在進行硬核科學研究,尤其是大型強子對撞機,它在運行時 生成大量數據。「CERN 目前存儲大約 200 PB 的數據,當加速器運行時,每月有超過 10 PB 的數據產生。這必然會給計算基礎架構帶來極大的挑戰,包括存儲大量數據,以及能夠在合理的時間範圍內處理數據,對於網路、存儲技術和高效計算架構都是很大的壓力。「Bell 說到。

![Tim Bell](/data/attachment/album/201808/11/073016iygy4e8eamdmam8m.png "Tim Bell")

Tim Bell, CERN

大型強子對撞機的運作規模和它產生的數據量帶來了嚴峻的挑戰,但 CERN 對這些問題並不陌生。CERN 成立於 1954 年,已經 60 余年了。「我們一直面臨著難以解決的計算能力挑戰,但我們一直在與開源社區合作解決這些問題。」Bell 說,「即使在 90 年代,當我們發明萬維網時,我們也希望與人們共享,使其能夠從 CERN 的研究中受益,開源是做這件事的再合適不過的工具了。」

使用 OpenStack 和 CentOS

時至今日,CERN 是 OpenStack 的深度用戶,而 Bell 則是 OpenStack 基金會的董事會成員之一。不過 CERN 比 OpenStack 出現的要早,多年來,他們一直在使用各種開源技術通過 Linux 伺服器提供服務。

「在過去的十年中,我們發現,與其自己解決問題,不如找到面臨類似挑戰的上游開源社區進行合作,然後我們一同為這些項目做出貢獻,而不是一切都由自己來創造和維護。「Bell 說。

一個很好的例子是 Linux 本身。CERN 曾經是 Red Hat Enterprise Linux 的客戶。其實,早在 2004 年,他們就與 Fermilab 合作一起建立了自己的 Linux 發行版,名為 Scientific Linux。最終他們意識到,因為沒有修改內核,耗費時間建立自己的發行版是沒有意義的,所以他們遷移到了 CentOS 上。由於 CentOS 是一個完全開源和社區驅使的項目,CERN 可以與該項目合作,並為 CentOS 的構建和分發做出貢獻。

CERN 幫助 CentOS 提供基礎架構,他們還組織了 CentOS DoJo 活動(LCTT 譯者註:CentOS Dojo 是為期一日的活動,匯聚來自 CentOS 社群的人分享系統管理、最佳實踐及新興科技。),工程師可以匯聚在此共同改進 CentOS 的封裝。

除了 OpenStack 和 CentOS 之外,CERN 還是其他開源項目的深度用戶,包括用於配置管理的 Puppet、用於監控的 Grafana 和 InfluxDB,等等。

「我們與全球約 170 個實驗室合作。因此,每當我們發現一個開源項目的改進之處,其他實驗室便可以很容易地採納使用。」Bell 說,「與此同時,我們也向其他項目學習。當像 eBay 和 Rackspace 這樣大規模的裝機量提高了解決方案的可擴展性時,我們也從中受益,也可以擴大規模。「

解決現實問題

2012 年左右,CERN 正在研究如何為大型強子對撞機擴展計算能力,但難點是人員而不是技術。CERN 僱用的員工人數是固定的。「我們必須找到一種方法來擴展計算能力,而不需要大量額外的人來管理。」Bell 說,「OpenStack 為我們提供了一個自動的 API 驅動和軟體定義的基礎架構。」OpenStack 還幫助 CERN 檢查與服務交付相關的問題,然後使其自動化,而無需增加員工。

「我們目前在日內瓦和布達佩斯的兩個數據中心運行大約 280000 個處理器核心和 7000 台伺服器。我們正在使用軟體定義的基礎架構使一切自動化,這使我們能夠在保持員工數量不變的同時繼續添加更多的伺服器。「Bell 說。

隨著時間的推移,CERN 將面臨更大的挑戰。大型強子對撞機有一個到 2035 年的藍圖,包括一些重要的升級。「我們的加速器運轉三到四年,然後會用 18 個月或兩年的時間來升級基礎架構。在這維護期間我們會做一些計算能力的規劃。 」Bell 說。CERN 還計劃升級高亮度大型強子對撞機,會允許更高光度的光束。與目前的 CERN 的規模相比,升級意味著計算需求需增加約 60 倍。

「根據摩爾定律,我們可能只能滿足需求的四分之一,因此我們必須找到相應的擴展計算能力和存儲基礎架構的方法,並找到自動化和解決方案,例如 OpenStack,將有助於此。」Bell 說。

「當我們開始使用大型強子對撞機並觀察我們如何提供計算能力時,很明顯我們無法將所有內容都放入 CERN 的數據中心,因此我們設計了一個分散式網格結構:位於中心的 CERN 和圍繞著它的級聯結構。」Bell 說,「全世界約有 12 個大型一級數據中心,然後是 150 所小型大學和實驗室。他們從大型強子對撞機的數據中收集樣本,以幫助物理學家理解和分析數據。」

這種結構意味著 CERN 正在進行國際合作,數百個國家正致力於分析這些數據。歸結為一個基本原則,即開源不僅僅是共享代碼,還包括人們之間的協作、知識共享,以實現個人、組織或公司無法單獨實現的目標。這就是開源世界的希格斯玻色子。

via: https://www.linux.com/blog/2018/5/how-cern-using-linux-open-source

作者:SWAPNIL BHARTIYA 譯者:jessie-pang 校對:wxy

本文由 LCTT 原創編譯,Linux中國 榮譽推出


本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive

對這篇文章感覺如何?

太棒了
0
不錯
0
愛死了
0
不太好
0
感覺很糟
0
雨落清風。心向陽

    You may also like

    Leave a reply

    您的郵箱地址不會被公開。 必填項已用 * 標註

    這個站點使用 Akismet 來減少垃圾評論。了解你的評論數據如何被處理

    More in:Linux中國

    Linux中國

    捐贈 Let's Encrypt,共建安全的互聯網

    隨著 Mozilla、蘋果和谷歌對沃通和 StartCom 這兩家 CA 公司處罰落定,很多使用這兩家 CA 所簽發證書的網站紛紛尋求新的證書籤發商。有一個非盈利組織可以為大家提供了免費、可靠和安全的 SSL 證書服務,這就是 Let's Encrypt 項目。現在,它需要您的幫助
    Linux中國

    關於Linux防火牆iptables的面試問答

    Nishita Agarwal是Tecmint的用戶,她將分享關於她剛剛經歷的一家公司(印度的一家私人公司Pune)的面試經驗。在面試中她被問及許多不同的問題,但她是iptables方面的專家,因此她想分享這些關於iptables的問題和相應的答案給那些以後可能會進行相關面試的人。 所有的問題和相應的答案都基於Nishita Agarwal的記憶並經過了重寫。 嗨,朋友!我叫Nishita Agarwal。我已經取得了理學學士學位,我的專業集中在UNIX和它的變種(BSD,Linux)。它們一直深深的吸引著我。我在存儲方面有1年多的經驗。我正在尋求職業上的變化,並將供職於印度的P
    Linux中國

    Lets Encrypt 已被所有主流瀏覽器所信任

    旨在讓每個網站都能使用 HTTPS 加密的非贏利組織 Lets Encrypt 已經得了 IdenTrust的交叉簽名,這意味著其證書現在已經可以被所有主流的瀏覽器所信任。從這個裡程碑事件開始,訪問者訪問使用了Lets Encrypt 證書的網站不再需要特別配置就可以得到 HTTPS 安全保護了。 Lets Encrypt 的兩個中級證書 ...