《代碼英雄》第二季（6）：數據大爆炸

本文是《代碼英雄》系列播客第二季（6）：數據大爆炸的音頻腳本。

導語：大數據將有助於解決大問題：我們如何種植糧食、如何向需要的人運送物資、如何治療疾病。但首先，我們需要弄清楚如何處理它。

現代生活充滿了相互聯繫的組件。我們現在一天產生的數據比幾千年來的數據還要多。 Kenneth Cukier 解釋了數據是如何發生變化的，以及它是如何開始改變我們的。Ellen Grant 博士告訴我們波士頓兒童醫院是如何使用開源軟體將堆積如山的數據轉化為個性化治療方法。Sage Weil 則分享了 Ceph 的可擴展和彈性雲存儲如何幫助我們管理數據洪流。

收集信息是了解我們周圍世界的關鍵。大數據正在幫助我們拓展永不停歇的探索使命。

00:00:03 - Saron Yitbarek：

如果你把從人類歷史早期到 2003 年創建的所有數據計算在內，你將得到大約 500 萬 GB 的數據。我們昨天創建了多少 GB 數據？

00:00:15 - 問卷調查答案 1：

哦，天哪，10 萬。

00:00:21 - 問卷調查答案 2：

可能是 500 萬 GB 數據。

00:00:23 - 問卷調查答案 3：

我們在昨天一天之內創建了多少 GB 的數據？1000 萬 GB 數據？

00:00:31 - 問卷調查答案 4：

我不太知道，可能是 200 萬 GB 數據？

00:00:36 - 問卷調查答案 5：

也許一天就有 100 萬 GB 數據？

00:00:40 - Saron Yitbarek：

答案是？超過 25 億 GB 數據！

00:00:44 - 問卷調查答案 1：

哇哦。

00:00:44 - 問卷調查答案 2：

25 億？

00:00:45 - 問卷調查答案 3：

所以，我們已經打破了世界紀錄。

00:00:45 - 問卷調查答案 4：

那可真是很多個 G 啊。

00:00:45 - 問卷調查答案 5：

我都不敢相信那有這麼多的數據。

00:00:52 - Saron Yitbarek：

在 2016 年，我們的年度在線數據流量首次超過了 1ZB。一個 ZB 是 1000^7 位元組。好，記住這個數字了嗎？現在把它乘以 3，因為那是我們將在 2021 年擁有的數據量大小。

00:01:10：

我知道，大腦不是以 ZB 為單位進行思考的，但請你至少暫時記住這個數。 我們的 IP 流量將在五年內翻三番。 這是數據的洪流，而我們正處於其中。

00:01:24：

在剛過去的一分鐘里，人們發出了 1600 萬條簡訊；與此同時，在我說出這句話的時間裡，谷歌處理了 20 萬條搜索。

00:01:37：

如果我們能在數據洪流來臨時做好準備、站穩腳跟，那麼隱藏在其中的模式、答案和秘密可以極大地改善我們的生活。

00:01:50：

我是 Saron Yitbarek，這裡是《代碼英雄》，一款紅帽公司原創的播客節目。浪潮近在眼前。這裡是第二季第六集，數據大爆炸。

00:02:17：

我們如何處理如此大量的數據？ 採集到這些數據後，我們如何利用它們？ 大數據將為我們解決一些最複雜的問題：

00:02:29：

如何管理交通、如何種植糧食、如何向需要的人提供物資，但這一切的前提是，我們必須弄清楚該怎麼使用這些數據、以及該怎麼在短得不能再短的時間內完成對它們的處理。

00:02:43 - Kenneth Cukier：

通過獲取更多的數據，我們可以深入到這些子群體、這些細節，而這是我們以前從來沒有過的方式。

00:02:53 - Saron Yitbarek：

Kenneth Cukier 是《 經濟學人 The Economist 》的高級編輯，他也和我都在科技播客《Babbage》里。

00:03:01 - Kenneth Cukier：

這並不是說我們以前無法收集數據。我們可以，但這真的、真的很昂貴。真正的革命性突破是，我們使數據搜集變得十分容易。

00:03:10：

現在收集數據的成本極低，而且處理起來也超級簡單，因為都是由電腦完成的。這已經成為我們這個時代的巨大革命，它可能是現代生活最顯著的特徵，在未來幾十年甚至下個世紀都會如此。這也是大數據如此重要的原因。

00:03:33 - Saron Yitbarek：

歷史可以提醒我們這種變化是翻天覆地的。想想看，4000 年前，我們把所有的數據都刻在了干泥板上。

00:03:46 - Kenneth Cukier：

這些黏土盤很重。黏土盤被烤乾後，刻在其中的數據就無法更改。從古至今，信息處理、存儲、傳輸、創建的方式都發生了變化，對嗎？

00:04:04 - Saron Yitbarek：

時代巨變。大約在 1450 年，印刷機的發明帶來了第一次信息革命。今天，我們也迎來了一場革命。

00:04:16 - Kenneth Cukier：

現在的存儲介質很輕巧。信息的修改變得極度簡單，藉助現有的處理器，我們只需要使用刪除鍵就能修改我們所擁有的信息實例，無論那是儲存在磁帶上還是晶體管里。我們可以以光速傳輸數據，不用攜帶什麼黏土盤。

00:04:37 - Saron Yitbarek：

在 15 世紀，藉助印刷機，大量的數據得以傳播。這些知識提升了人們對事物的認識，並促成了啟蒙運動。

00:04:45：

今天，大數據可以再次提升我們的知識水平，但我們必須要想辦法充分利用這些數據。唯有修好大壩、備好輪機，才能讓浪潮為人所用。

00:05:00 - Kenneth Cukier：

當下，人們遠沒有做到對數據的充分利用。這一點非常重要，因為我們已經看到，數據中存在這種潛在的價值，而收集、存儲和處理數據的成本在近百年來，乃至於近十年來，已經顯著地降低了。

00:05:22 - Kenneth Cukier：

這很振奮人心。但問題是，我們在文化上、在我們的組織流程上，甚至我們的 CFO 和 CIO 們撥給相關方面的預算中，並不重視這種價值，

00:05:35 - Saron Yitbarek：

想著這種事肯定讓人極度沮喪。啟蒙運動在敲門，卻無人應答。然而，我們不回答的部分原因是：門後到底是誰？這些數據能帶來什麼？

00:05:51：

Kenneth 認為，某些公司不採用大數據，乃是因為它太過於新奇。

00:05:56 - Kenneth Cukier：

一旦你收集了大量數據後，你能拿它幹什麼？我就直說吧，只有傻子才會以為自己知道。你絕對無法設想你今天收集到的數據明天能拿來做什麼用。

00:06:12：

最重要的是要有數據，並以開放的思想對待所有可以使用的方式。

00:06:18 - Saron Yitbarek：

如果我們按照 Kenneth 說的那樣以正確的方式對待大數據，我們將會發現一切的全新可能性。這將是一個人人 —— 而不只是數據科學家 —— 都能洞察趨勢、分析細節的世界。

00:06:33 - Kenneth Cukier：

如果我們能意識到，這個世界是可以通過收集經驗證據來理解、改變和改善的，並且可以用一種自動化的方式進行改善，我們將會得到看待它的全新角度。我個人認為，現如今，在世界各地，上至政策制定者、下至星巴克咖啡師，都在經歷這種引人深思的文化上或心理上的變化。

00:07:00：

各行各業的人都有點數據基因，就像是被感染了似的。現在，無論他們專註於什麼方面，他們都以大數據的方式思考。

00:07:15 - Saron Yitbarek：

Kenneth Cukier 給我們講了一個簡短的故事來展現這種新數據思維方式的力量。微軟的一些研究人員開始著手研究胰腺癌問題。

00:07:27：

人們發現胰腺癌往往為時已晚，早期發現可以挽救生命。因此，研究人員開始詢問這些患者，在開始搜索有關胰腺癌的信息之前幾個月，他們搜索了什麼？ 而早在發現前數年，他們又搜索了什麼？

00:07:46：

研究人員開始尋找埋藏在所有搜索數據中的線索和模式。

00:07:54 - Kenneth Cukier：

他們有了重大發現。通過分析患者在最終開始搜索「胰腺癌」之前的這段時間中所搜索的關鍵詞，他們識別出了一套規律，可以非常準確地預測搜索者是否患有胰腺癌。

00:08:09：

在這裡，我們能學到一點：想像力與數據中潛在規律的結合，是可以挽救生命的。他們現在所要做的就是找到一種方法，通過方法來解釋這一發現，這樣當人們在搜索這些術語時，他們可以以一種微妙的方式干預，說，「你可能要去診所檢查一下。」

00:08:29：

像這樣使用數據，就能救人於水火之中。

00:08:37 - Saron Yitbarek：

研究人員偶然發現的是一種新的癌症篩查方式，通過這種方法，患者可以提前一個月得知自己可能患癌。利用數據不僅僅是一個利潤或效率最大化的問題。

00:08:52：

它的意義遠不止於此。對於人類而言，這些數據中確確實實存在著大量的潛在利好。抗拒使用大數據可能只是自欺欺人。接下來，我們要關注的是，這場將數據投入工作的持久戰。

00:09:18：

哈佛醫學院的波士頓兒童醫院去年完成了 26000 多台手術，進行約 25 萬人次的兒童放射檢查。

00:09:31：

醫護人員的表現令人稱道，但有一個巨大的障礙擋在他們面前。

00:09:37 - Ellen Grant：

在醫院的環境中，尤其是作為醫生，我們經常會遇到難以獲取數據的問題。

00:09:45 - Saron Yitbarek：

這位是 Ellen Grant 醫生，她是波士頓兒童醫院的兒科神經放射科醫生，她在診療時依靠訪問數據和分析醫學圖像。

00:09:56 - Ellen Grant：

如果沒有專門設置的環境，想要從 packs 里存儲的圖像進行額外的數據分析絕非易事。當你在一個只提供了普通的醫院電腦的讀片室里時，要做到這一點並不容易。

00:10:14：

獲取數據實際上是有障礙的。

00:10:17 - Saron Yitbarek：

其實許多醫院都會大量拋棄數據，因為存儲它們的成本實在過於高昂。這部分數據就像這樣丟失了。像 Grant 這樣的放射科醫生可能是第一批因為數據實在太多而感到沮喪的醫務人員。

00:10:33：

當醫院走向數字化後，他們開始創造大量的數據，很快，這個量就大到無法處理了。

00:10:41 - Ellen Grant：

我，作為一名臨床醫生，在讀片室里的時候希望能將所有複雜的分析工作在研究環境中做完。但我無法隨便就從 packs 中拿出來圖像，拿到一些可以進行分析的地方，再拿回到我手裡。

00:10:59 - Saron Yitbarek：

順便說一句，packs 就是醫院存儲其圖像的數據倉庫。Grant 醫生知道有一些工具可以讓這些圖像 packs 發揮更大的功能，但成本太高。

00:11:12 - Ellen Grant：

隨著機器學習和 AI 時代的到來，數據的生產量將會日漸加大，我們會需要更多計算資源來進行這類大規模的資料庫分析。

00:11:27 - Saron Yitbarek：

數據已經堆積如山了，但處理能力卻沒有相稱的增長。在這一前提下，對數據的徹底處理將變得遙不可及。而複雜、昂貴的超級計算機並不是醫院的選擇。

00:11:41：

Grant 醫生深感沮喪。

00:11:44 - Ellen Grant：

我們能不能想出一個更好的辦法，讓我把數據拿到這裡來，分析一下，然後放回去，這樣我就可以在會診的時候，一邊解釋臨床圖像，一邊把分析做完，因為我希望可以在會診上展示數據，在此同時進行快速分析。

00:11:56：

我可不想在不同的電腦和存儲器之間把這些數據挪來挪去，這不是我的工作。我的工作是理解非常複雜的醫學疾病，並把相關的事實真相記在腦子裡。

00:12:10：

我想專註於我的技術領域，在此同時利用計算機領域的新興技術；而不必這方面過於深入鑽研。

00:12:21 - Saron Yitbarek：

Grant 和世界各地的放射科醫生們需要的是一種方法，只要點擊圖像就能運行詳細分析，並讓這一切都發生在雲端，這樣醫院就不必建立自己的伺服器場地，也不必把醫務人員變成程序員。

00:12:40：

他們需要一種方法來使他們的數據儘可能地拯救生命。這正是 Grant 醫生和幾位代碼英雄決定去做的事。

00:12:55：

Grant 在波士頓兒童醫院的團隊正在與紅帽和馬薩諸塞州開放雲（MOC）合作。關於 MOC 的更多內容稍後再說。首先，我們需要請出 Rudolph Pienaar，他是醫院的一名生物化學工程師，來描述一下他們的解決方案。它是一個開源的、基於容器的成像平台。

00:13:15 - Saron Yitbarek：

它完全是在雲端運行的，所以你不受醫院本身計算能力的限制。他們稱這一作品為 ChRIS。

00:13:24 - Rudolph Pienaar：

ChRIS 有一個後台資料庫，其實就是一個 Django Python 機器。它可以跟蹤用戶，並跟蹤這些用戶使用過的數據以及分析結果。

00:13:35：

圍繞這個資料庫，有大量的服務群，這些服務都是作為自己的實例存在於容器中。它們處理與醫院資源的通信，比如與醫院資料庫的通信。這些服務從資源中提取複雜的數據，將其推送給雲端的、或者另一個實驗室的、或者別的什麼地方的其他服務處理。在計算數據的地方，有 Kubernetes 之類的編排服務，以及你需要使用的分析程序。數據處理結束之後，結果就會被發送回來。

00:14:11 - Saron Yitbarek：

對於 Grant 醫生來說，ChRIS 成像平台是一種讓數據活起來的方法。更重要的是，這種數據處理方式能讓她成為更好的醫生。

00:14:21 - Ellen Grant：

優秀的醫生之所以優秀，是因為他們在一生中積累了豐富的從業經驗。如果我們能把這一點融入到數據分析中，以此來獲得更多的信息，我們就能知道得更多，並更有效地整合這些經驗。

00:14:39：

例如，我對特定病患的特定受傷方式的認識，取決於我的從醫經驗和對這些經驗的整體理解。

00:14:52：

現在，我可以根據真實數據創建受傷癥狀分布的概率圖，並將其公之於眾；我也可以尋找有相似模式的患者，並告訴他們在接受治療時，什麼對他們最有效，以便更接近精準醫療。

00:15:10：

整合大量的數據，嘗試探索我們過去的知識，並盡你所能，點明治療病人的最佳方式。

00:15:21 - Saron Yitbarek：

這對被送到醫院的孩子意味著什麼？Grant 醫生說，ChRIS 平台能提供更有針對性的診斷和更個性化的護理。

00:15:31 - Ellen Grant：

如果我們擁有更複雜的資料庫，我們就能更好地理解信息之間繁雜的相互作用，因此就能更好地指導每個患者。我認為 ChRIS 就像是我進入超級大腦的介面，它能讓我比平時更聰明，因為我不能一次把所有數據保存在我的大腦中。

00:15:53 - Saron Yitbarek：

當賭注如此沉重時，我們要突破人類大腦的極限。這位是 Máirín Duffy。她是紅帽團隊中的設計師，她讓 ChRIS 成為現實，而根據個人經驗，她知道這件事其中的風險。

00:16:15 - Máirín Duffy：

我父親中風了，所以我一直作為病人家屬等待醫療技術診斷，因為當一個人中風並被送到醫院之後，醫務人員必須弄清楚是哪種類型的中風。根據中風類型，有不同的治療方法。

00:16:31：

如果使用了錯誤的治療方案，就可能發生極其糟糕的事。所以，在這種情況下，你能越快地把病人送來做核磁共振，就能越快地得到治療方案。速度越快就有可能挽救他們的生命。

00:16:43：

想想看，僅僅是把圖像處理從雲端推送出來，並行化處理，就能讓它快很多。這樣就能將這個過程從幾小時、幾天，縮短到幾分鐘。

00:16:55 - Saron Yitbarek：

醫學可能正迎來一個新的拐點。一個不是由藥理學驅動，而是由計算機科學驅動的拐點。另外，想想像 ChRIS 這種東西的拓展性。

00:17:08：

發展中國家的醫生也可以受益於波士頓兒童醫院的專業知識和數據集。任何有手機服務的人都可以通過網路訪問能夠拯救生命的數據和計算結果。

00:17:24：

除了醫學，很多其他領域也可能出現類似的拐點。但前提是，人們得知道如何從自己的數據中找到隱藏信息。為了做到這一點，他們需要探索一個全新的計算領域。

00:17:46：

世界各地的人們都在學習如何利用數據。就像在波士頓兒童醫院一樣，將數據洪流導向目標。

00:17:56：

換句話說，我們在處理這些數據。但我們之所以能做到這一點，是因為新一代的雲計算使之成為可能。

00:18:11：

對於像 ChRIS 這樣的平台來說，一個關鍵因素是基於雲計算的新型存儲方式。請記住，很多醫院都會把收集到的數據扔掉，因為他們根本無法容納所有數據。

00:18:25：

這就是我想重點討論的數據泛濫的最後一塊拼圖：存儲解決方案。對於 ChRIS 來說，存儲解決方案是一個叫 Ceph 的開源項目。它使用的馬薩諸塞州開放雲，就基於 Ceph。

00:18:45：

我和 Ceph 的創建者 Sage Weil 聊了聊，想了解更多關於像波士頓兒童醫院這樣的地方是如何在閃電般的時間內處理海量數據的。以下是我與 Sage 的對話。我認為，第一個重要問題是，什麼是 Ceph，它能做什麼？

00:19:05 - Sage Weil：

當然，Ceph 是一個由軟體定義的存儲系統，它允許你提供可靠的存儲服務，並在不可靠的硬體上提供各種協議。

00:19:14：

它的設計從開始就是滿足可擴展性，所以你可以擁有非常非常大的存儲系統、非常大的數據集。於此同時，系統對硬體故障和網路故障有優秀的容忍性，所以即使出現了一些這類問題，存儲中的數據仍然不會變得難於訪問。

00:19:29 - Saron Yitbarek：

現在，數據太多了。

00:19:31 - Sage Weil：

是的。

00:19:33 - Saron Yitbarek：

如此大的工作量。要處理的東西實在是太多了。你認為這個解決方案出現得是時候嗎？

00:19:39 - Sage Weil：

是的，肯定是這樣。在當時，行業中這方面的嚴重不足是顯而易見的。沒有開源的解決方案可以解決可擴展的存儲問題。所以，我們顯然得造個輪子。

00:19:53 - Saron Yitbarek：

考慮到我們每天要處理的數據量，以及它將來只會越來越多、越來越難管理的事實，你認為當今該怎麼做才能解決這種日益增長的需求？

00:20:09 - Sage Weil：

我認為有幾方面。一方面，有令人難以置信的數據量正在產生，所以你需要可擴展的系統。它不僅可以在硬體和數據規模上進行擴展，而且，它的管理成本應該是一定的，至少應該基本固定。

00:20:25 - Saron Yitbarek：

嗯。

00:20:26 - Sage Weil：

你不會想就為每多 10PB 存儲空間或類似的東西就多雇一個員工吧？我認為這套系統在運維上也必須可擴展。

00:20:33 - Saron Yitbarek：

是的。

00:20:35 - Sage Weil：

這是其中的一部分。我認為，人們利用存儲空間的方式也在改變。一開始，都是文件存儲，然後我們有了虛擬機的塊存儲，我覺得對象存儲在某種程度上是行業的重要趨勢。

00:20:51：

我認為，下一個階段的目標並不局限於提供一個對象存儲端點，並將數據存儲在集群中；我們需要將解決方案進一步升級，好讓它能管理集群的集群，抑或是對分布於不同地理位置的雲空間及私有數據中心儲存空間中的數據進行管理。

00:21:13：

例如說，你現在將數據寫入一個位置，隨著時間的推移，你可能會想將數據分層到到其他位置，因為它更便宜、或者伺服器離你更近；或者，一旦數據太老、不會頻繁使用了，你就需要將其移動到性能更低、容量更大的層次上，以保證存儲的成本較低。

00:21:27：

你可能也會為了遵循地方法規而移動數據。在歐洲的一些地區接收數據時，數據來源必須保持在特定的政治邊界內。

00:21:39：

在某些行業，像 HIPAA 這樣的東西限制了數據的移動方式。我認為，隨著現代 IT 組織越來越多地分布在不同的數據中心、公有和私有雲中，統一地、自動化地管理它們的能力正變得越加重要。

00:21:58 - Saron Yitbarek：

當你想到未來我們要如何管理和存儲數據，以及如何處理數據的時候，開源在其中扮演了怎樣的角色？你曾提到，你之所以要創建一個開源的解決方案，是因為你個人的理念和你對自由和開源軟體的強烈感情。

00:22:16：

你如何看待開源對未來其他解決方案的影響？

00:22:21 - Sage Weil：

我認為，特別是在基礎設施領域，解決方案正在向開源靠攏。我認為原因是基礎設施領域的成本壓力很大，特別是對於構建軟體即服務（SaaS）或雲服務的人來說，低成本的基礎設施很重要，從他們的角度來看，開源顯然是一個非常好的方法。

00:22:48：

第二個原因更多地是社會因素，在這個快速發展的領域裡有如此多新的工具、新的框架、新的協議、新的數據思維方式，這個領域中有這麼多創新和變化，有這麼多不同的產品和項目在相互作用，所以很難以傳統方式做到這一點，比如說，讓不同的公司互相簽訂合作協議，共同開發。

00:23:20：

開源可以消除此事上的所有阻力。

00:23:28 - Saron Yitbarek：

Sage Weil 是紅帽公司的高級諮詢工程師，也是 Ceph 項目的負責人。我要繞回到《經濟學人》的 Kenneth Cukier，以從一個更整體的視角上進行討論，因為我希望，我們能夠記住他關於人與數據之間關係的看法，以及我們從泥板，到印刷機，再到像 Sage 打造的雲端奇蹟的進步歷程。

00:23:55 - Kenneth Cukier：

這關乎人類的進步，關乎我們如何更好地理解世界，如何從現實中總結經驗，以及如何改善世界。這進步也是人類一直以來的使命。

00:24:08 - Saron Yitbarek：

使命永無止境。但是，與此同時，學會處理我們收集到的數據並將其投入使用，是整整一代人的開源任務。我們將在田納西州的 橡樹嶺國家實驗室 Oak Ridge National Laboratory 短暫停留，結束我們的數據之旅。它是世界上最快的超級計算機 Summit 的所在地，至少在 2018 年是最快的超級計算機。

00:24:43：

這台機器每秒能處理 20 萬億次計算。換個計量單位，就是 200 petaflops。這樣的處理速度，對於醫院、銀行或者今天所有受益於高性能計算的成千上萬的組織來說並不現實。

00:25:04：

像 Summit 這樣的超級計算機更多的是留給強子對撞機的領域。不過話說回來，我們曾經在泥板上記錄的只是 100 位元組的信息。

00:25:16：

在數據存儲和數據處理的領域中，非凡的壯舉不斷成為新的常態。有一天，我們或許能將 Summit 級別的超級計算機裝進口袋。想一想，到時候我們能夠搜索到的答案。

00:25:42：

下一集，我們聊聊無伺服器。第 7 集將會講述我們與基於雲的開發之間不斷發展的關係。我們將會探究，在我們的工作中有多少可以抽象化的部分，以及在這個過程可能會失去的東西。

00:25:58 - Saron Yitbarek：

同時，如果你想深入了 ChRIS 的故事，請訪問 redhat.com/chris ，了解它是如何構建的，以及如何為項目本身做出貢獻。

00:26:12 - Saron Yitbarek：

《代碼英雄》是一款紅帽公司原創的播客。你可以在 Apple Podcast、Google Podcast 或任何你想做的事情上免費收聽。

00:26:24 - Saron Yitbarek：

我是 Saron Yitbarek。堅持編程，下期再見。

什麼是 LCTT SIG 和 LCTT LCRH SIG

LCTT SIG 是 LCTT 特別興趣小組 Special Interest Group ，LCTT SIG 是針對特定領域、特定內容的翻譯小組，翻譯組成員將遵循 LCTT 流程和規範，參與翻譯，並獲得相應的獎勵。LCRH SIG 是 LCTT 聯合紅帽（Red Hat）發起的 SIG，當前專註任務是《代碼英雄》系列播客的腳本漢化，已有數十位貢獻者加入。敬請每周三、周五期待經過我們精心翻譯、校對和發布的譯文。

歡迎加入 LCRH SIG 一同參與貢獻，並領取紅帽（Red Hat）和我們聯合頒發的專屬貢獻者證書。

via: https://www.redhat.com/en/command-line-heroes/season-2/the-data-explosion

作者：Red Hat 選題：bestony 譯者：TimeBear 校對：Northurland, wxy

本文由 LCRH 原創編譯，Linux中國 榮譽推出

本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive