Linux中國
使用 Dask 在 Python 中進行並行計算
關於 Python 性能的一個常見抱怨是全局解釋器鎖(GIL)。由於 GIL,同一時刻只能有一個線程執行 Python 位元組碼。因此,即使在現代的多核機器上,使用線程也不會加速計算。
但當你需要並行化到多核時,你不需要放棄使用 Python:Dask 庫可以將計算擴展到多個內核甚至多個機器。某些設置可以在數千台機器上配置 Dask,每台機器都有多個內核。雖然存在擴展規模的限制,但一般達不到。
雖然 Dask 有許多內置的數組操作,但舉一個非內置的例子,我們可以計算偏度:
import numpy
import dask
from dask import array as darray
arr = dask.from_array(numpy.array(my_data), chunks=(1000,))
mean = darray.mean()
stddev = darray.std(arr)
unnormalized_moment = darry.mean(arr * arr * arr)
## See formula in wikipedia:
skewness = ((unnormalized_moment - (3 * mean * stddev ** 2) - mean ** 3) /
stddev ** 3)
請注意,每個操作將根據需要使用儘可能多的內核。這將在所有核心上並行化執行,即使在計算數十億個元素時也是如此。
當然,並不是我們所有的操作都可由這個庫並行化,有時我們需要自己實現並行性。
為此,Dask 有一個「延遲」功能:
import dask
def is_palindrome(s):
return s == s[::-1]
palindromes = [dask.delayed(is_palindrome)(s) for s in string_list]
total = dask.delayed(sum)(palindromes)
result = total.compute()
這將計算字元串是否是迴文並返回迴文的數量。
雖然 Dask 是為數據科學家創建的,但它絕不僅限於數據科學。每當我們需要在 Python 中並行化任務時,我們可以使用 Dask —— 無論有沒有 GIL。
via: https://opensource.com/article/19/4/parallel-computation-python-dask
作者:Moshe Zadka (Community Moderator) 選題:lujun9972 譯者:geekpi 校對:wxy
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive
對這篇文章感覺如何?
太棒了
0
不錯
0
愛死了
0
不太好
0
感覺很糟
0
More in:Linux中國
如何通過 VLC 使用字幕
使用 VLC 媒體播放器播放和管理字幕的新手指南。
Unix 桌面:在 Linux 問世之前
僅僅開源還不足以實現開放,還需開放標準和建立共識。
Valve 對於 Ubuntu 的 Snap 版本的 Steam 並不滿意:原因何在
你可能會發現,Snap 版本的 Steam 並不如你期待的那樣好,你怎麼看?
Wine 9.0 發布,實驗性地加入了 Wayland 驅動
Wine 的這個新版本正在為未來做好準備!