python--并行計(jì)算

python能夠應(yīng)用并行計(jì)算的模塊有多個(gè)multiprocessing、pathos等。其中multiprocessing模塊應(yīng)用的較多，但對(duì)于數(shù)據(jù)挖掘場(chǎng)景來(lái)說(shuō)，pathos模塊更實(shí)用，尤其允許輸入多個(gè)可變參數(shù)非常簡(jiǎn)單實(shí)用。

創(chuàng)新互聯(lián)公司專(zhuān)注于牡丹網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供牡丹營(yíng)銷(xiāo)型網(wǎng)站建設(shè)，牡丹網(wǎng)站制作、牡丹網(wǎng)頁(yè)設(shè)計(jì)、牡丹網(wǎng)站官網(wǎng)定制、微信小程序服務(wù)，打造牡丹網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供牡丹網(wǎng)站排名全網(wǎng)營(yíng)銷(xiāo)落地服務(wù)。

本文總結(jié)整理了常見(jiàn)的并行計(jì)算場(chǎng)景，編寫(xiě)parallel.py模塊，主要利用pathos模塊實(shí)現(xiàn)，可以實(shí)現(xiàn)單變量并行、多變量并行、并行嵌套等功能。通過(guò)tdqm模塊增加了進(jìn)度條，可以顯示計(jì)算進(jìn)度等信息，通過(guò)functools模塊中的partial函數(shù)將靜態(tài)參數(shù)凍結(jié)，以適應(yīng)并行框架。

parallel.py

函數(shù)parallel的參數(shù)定義順序需要注意： 必選參數(shù)--任意位置參數(shù)--默認(rèn)參數(shù)--任意關(guān)鍵字參數(shù) 。

定義另一個(gè)parallel_main.py模塊，用來(lái)展示各個(gè)場(chǎng)景下并行計(jì)算結(jié)果。

parallel_main.py

parallel函數(shù)使用注意點(diǎn):

python多線程并行計(jì)算通過(guò)向線程池ThreadPoolExecutor提交任務(wù)的實(shí)現(xiàn)方法

Python的線程池可以有效地控制系統(tǒng)中并發(fā)線程的數(shù)量。

當(dāng)程序中需要?jiǎng)?chuàng)建許多生存期較短的線程執(zhí)行運(yùn)算任務(wù)時(shí)，首先考慮使用線程池。線程池任務(wù)啟動(dòng)時(shí)會(huì)創(chuàng)建出最大線程數(shù)參數(shù) max_workers 指定數(shù)量的空閑線程，程序只要將執(zhí)行函數(shù)提交給線程池，線程池就會(huì)啟動(dòng)一個(gè)空閑的線程來(lái)執(zhí)行它。當(dāng)該函數(shù)執(zhí)行結(jié)束后，該線程并不會(huì)死亡，而是再次返回到線程池中變成空閑狀態(tài)，等待執(zhí)行下一個(gè)函數(shù)。配合使用 with 關(guān)鍵字實(shí)現(xiàn)任務(wù)隊(duì)列完成后自動(dòng)關(guān)閉線程池釋放資源。

北大青鳥(niǎo)設(shè)計(jì)培訓(xùn)：怎樣才能提高Python運(yùn)行效率？

python逐漸走入人們的視線，成為熱門(mén)編程語(yǔ)言，隨之而來(lái)，加入python培訓(xùn)的準(zhǔn)程序員大軍也成為社會(huì)熱點(diǎn)。

Python具有許多其他編程語(yǔ)言不具備的優(yōu)勢(shì)，譬如能通過(guò)極少量代碼完成許多操作，以及多進(jìn)程，能夠輕松支持多任務(wù)處理。

除了多種優(yōu)勢(shì)外，python也有不好的地方，運(yùn)行較慢，下面電腦培訓(xùn)為大家介紹6個(gè)竅門(mén)，可以幫你提高python的運(yùn)行效率。

1.在排序時(shí)使用鍵Python含有許多古老的排序規(guī)則，這些規(guī)則在你創(chuàng)建定制的排序方法時(shí)會(huì)占用很多時(shí)間，而這些排序方法運(yùn)行時(shí)也會(huì)拖延程序?qū)嶋H的運(yùn)行速度。

最佳的排序方法其實(shí)是盡可能多地使用鍵和內(nèi)置的sort()方法。

2.交叉編譯你的應(yīng)用開(kāi)發(fā)者有時(shí)會(huì)忘記計(jì)算機(jī)其實(shí)并不理解用來(lái)創(chuàng)建現(xiàn)代應(yīng)用程序的編程語(yǔ)言。

計(jì)算機(jī)理解的是機(jī)器語(yǔ)言。

為了運(yùn)行你的應(yīng)用，你借助一個(gè)應(yīng)用將你所編的人類(lèi)可讀的代碼轉(zhuǎn)換成機(jī)器可讀的代碼。

有時(shí)，你用一種諸如Python這樣的語(yǔ)言編寫(xiě)應(yīng)用，再以C++這樣的語(yǔ)言運(yùn)行你的應(yīng)用，這在運(yùn)行的角度來(lái)說(shuō)，是可行的。

關(guān)鍵在于，你想你的應(yīng)用完成什么事情，而你的主機(jī)系統(tǒng)能提供什么樣的資源。

3.關(guān)鍵代碼使用外部功能包Python簡(jiǎn)化了許多編程任務(wù)，但是對(duì)于一些時(shí)間敏感的任務(wù)，它的表現(xiàn)經(jīng)常不盡人意。

使用C/C++或機(jī)器語(yǔ)言的外部功能包處理時(shí)間敏感任務(wù)，可以有效提高應(yīng)用的運(yùn)行效率。

這些功能包往往依附于特定的平臺(tái)，因此你要根據(jù)自己所用的平臺(tái)選擇合適的功能包。

簡(jiǎn)而言之，這個(gè)竅門(mén)要你犧牲應(yīng)用的可移植性以換取只有通過(guò)對(duì)底層主機(jī)的直接編程才能獲得的運(yùn)行效率。

4.針對(duì)循環(huán)的優(yōu)化每一種編程語(yǔ)言都強(qiáng)調(diào)最優(yōu)化的循環(huán)方案。

當(dāng)使用Python時(shí)，你可以借助豐富的技巧讓循環(huán)程序跑得更快。

然而，開(kāi)發(fā)者們經(jīng)常遺忘的一個(gè)技巧是：盡量避免在循環(huán)中訪問(wèn)變量的屬性。

5.嘗試多種編碼方法每次創(chuàng)建應(yīng)用時(shí)都使用同一種編碼方法幾乎無(wú)一例外會(huì)導(dǎo)致應(yīng)用的運(yùn)行效率不盡人意。

可以在程序分析時(shí)嘗試一些試驗(yàn)性的辦法。

譬如說(shuō)，在處理字典中的數(shù)據(jù)項(xiàng)時(shí)，你既可以使用安全的方法，先確保數(shù)據(jù)項(xiàng)已經(jīng)存在再進(jìn)行更新，也可以直接對(duì)數(shù)據(jù)項(xiàng)進(jìn)行更新，把不存在的數(shù)據(jù)項(xiàng)作為特例分開(kāi)處理。

6.使用較新的Python版本你要保證自己的代碼在新版本里還能運(yùn)行。

你需要使用新的函數(shù)庫(kù)才能體驗(yàn)新的Python版本，然后你需要在做出關(guān)鍵性的改動(dòng)時(shí)檢查自己的應(yīng)用。

只有當(dāng)你完成必要的修正之后，你才能體會(huì)新版本的不同。

名稱(chēng)欄目：python并行計(jì)算函數(shù) python 并行處理
鏈接分享：http://www.chinadenli.net/article24/dooeeje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)公司、標(biāo)簽優(yōu)化、Google、品牌網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)