php語言字典代碼

求一PHP算法，字典生成。時間一到再加100分。如：字符：0-9，長度：1，

公司主營業(yè)務(wù)：網(wǎng)站設(shè)計制作、成都網(wǎng)站建設(shè)、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出炎陵免費(fèi)做網(wǎng)站回饋大家。

那就生成0,1,2,3,4,5,6,7,8,9

長度：2,就會生成00-99

現(xiàn)在要求字符可以包括a-z，或者其他特殊符號，求一高效的生成算法。

參考答案一

function get_string($strlen){

$source='0123456789'; //任意字符

$len = strlen($source); //長度

$return = array();

for($i = 0 ;$i $len;$i++){

for($j = 0;$j $strlen;$j++){

$return[$i] .= $i;

}

}

return implode(',', $return);

}

如果輸入長度2: 輸出結(jié)果就是:

00,11,22,33,44,55,66,77,88,99

參考答案二

優(yōu)化了進(jìn)位算法：

PHP code =0;$no--){ $word=$source{$series[$no]}.$word; $series[$no]+=$tonext_value; if($no0){ if($series[$no]==$len){ $series[$no]=0; $tonext_value=1; }else{ $tonext_value=0; } } } echo "$word "; } } gene_dic(2); ?

簡單的說，我會把這個理解為0-9(十進(jìn)制)下十個數(shù)字生成兩位數(shù)字、可重復(fù)的排列問題。

排列算法我自己建立過的就是簡單的N進(jìn)制下的+1算法，保證可以遍歷。

即：

初始化到0，

1. +1

2. 是否超過要生成的位數(shù)?否，則回到1;

3. 輸出

參考答案三

PHP code =0;$no--){//循環(huán)遍歷數(shù)組每次從源字串中取一個字符，為便于進(jìn)位運(yùn)算，取字符是從后往前取 $word=$source{$series[$no]}.$word;//先取出一個字符 //取出一個字符后就要判斷當(dāng)前數(shù)組元素如何如果改變值，為下一次“大循環(huán)”做準(zhǔn)備 if($no==$n-1){//末位的判斷，它比較特殊，每次大循環(huán)都要增值 if($series[$no]==$len-1){ $series[$no]=0; $tonext_value=1;//歸零時就進(jìn)位 }else{ $series[$no]+=1; $tonext_value=0;//未歸零就增值，不進(jìn)位 } }elseif($no$n-1){//中間位的進(jìn)位判斷 $series[$no]+=$tonext_value;//先取得上一位的進(jìn)位值 if($series[$no]==$len){ $series[$no]=0; $tonext_value=1;//歸零了就繼續(xù)進(jìn)位 }else{ $tonext_value=0;//不歸零就不進(jìn)位 } }else{ $series[$no]+=$tonext_value;//大循環(huán)次數(shù)決定了“老大”是只進(jìn)不出的。 } } echo "$word ";//輸入單詞 } } gene_dic(2);//測試,結(jié)果OK。

參考答案四

PHP code =0;$no--){//循環(huán)遍歷數(shù)組每次從源字串中取一個字符，為便于進(jìn)位運(yùn)算，取字符是從后往前取 $word=$source{$series[$no]}.$word;//先取出一個字符 //取出一個字符后就要判斷當(dāng)前數(shù)組元素如何如果改變值，為下一次“大循環(huán)”做準(zhǔn)備 if($no==$n-1){//末位的判斷，它比較特殊，每次大循環(huán)都要增值 if($series[$no]==$len-1){ $series[$no]=0; $tonext_value=1;//歸零時就進(jìn)位 }else{ $series[$no]+=1; $tonext_value=0;//未歸零就增值，不進(jìn)位 } }elseif($no$n-1){//中間位的進(jìn)位判斷 $series[$no]+=$tonext_value;//先取得上一位的進(jìn)位值 if($series[$no]==$len){ $series[$no]=0; $tonext_value=1;//歸零了就繼續(xù)進(jìn)位 }else{ $tonext_value=0;//不歸零就不進(jìn)位 } }else{ $series[$no]+=$tonext_value;//大循環(huán)次數(shù)決定了“老大”是只進(jìn)不出的。 } } echo "$word ";//輸入單詞 } } gene_dic(2);//測試,結(jié)果OK。

參考答案五

應(yīng)該是:

function get_string($strlen){

$source='0123456789';

$len = strlen($source);

$return = array();

for($i = 0 ;$i $len;$i++){

for($j = 1;$j = $strlen;$j++){

$return[$i] .= substr($source,$i,1);

}

}

return implode(',', $return);

}

【拓展閱讀】如何開始一門語言的學(xué)習(xí)

一門語言從發(fā)明到演進(jìn)必有原因。

現(xiàn)在還有很多人推薦學(xué)習(xí)不同的語言。通過比較，了解它的發(fā)展史，

創(chuàng)始人的初心等因素都需要留意。多個思考，這個語言在5年，在10年后還是否保持活力?

當(dāng)有幾個類似的語言被選擇時，我們不妨對它們做一個Swat分析。

列出這些語言的共同點(diǎn)，還有它們之間的規(guī)則差異。

了解語言的發(fā)展史

開發(fā)語言從匯編開始，如最早的計算機(jī)ENIAC，使用的就是它來編程。

再到Fortarin，再到C語言，Cobol，Basic。每一個語言都與當(dāng)時發(fā)展的階段有點(diǎn)密切關(guān)聯(lián)。

人類的每個發(fā)明都與懶惰有關(guān)，語言也是為便捷性而生。有的語言

C是除匯編外最重視效率的語言，擴(kuò)展的C++也繼承了此特性。Perl是做文本處理效率最佳的語言，雖然它的發(fā)展有點(diǎn)慢。PHP做Web開發(fā)，是“世界上最好的.語言”，Python的閱讀性和大數(shù)據(jù)處理都做得樣樣俱佳。

當(dāng)了解語言的歷史沿革后，會讓我們對其創(chuàng)始人有很強(qiáng)烈的興趣，成為忠實的腦殘粉，學(xué)習(xí)該語言的興趣會更濃烈。

人們常常說某個語言比哪個好，這其實沒有必要。不必要為其它人的語言所惑，需要你自己做出選擇。

語言的共通點(diǎn)

這個星球的人都是一個鼻子兩雙只水汪汪的大眼睛，與人們的模樣一般，編程語言也有一個大致相同的長相。

語法：這是開發(fā)此語言定義的規(guī)則“套路”：

運(yùn)算符順序，變量常量定義/作用域，表達(dá)式定義，字符串定義，行尾結(jié)束符等。

流程控制：循環(huán)控制

這些語法都是成對的，如if,for,while,foreach，有的語言還提供goto這樣類似匯編語言的語法。

函數(shù)與方法

一些能夠復(fù)用的高質(zhì)量代碼組合。函數(shù)執(zhí)行后有返回，有遞歸，有嵌套，還有干完活就完事的簡單任務(wù)。有靜態(tài)函數(shù)和動態(tài)函數(shù)區(qū)分。

容器

數(shù)組，哈希表(也叫散列)，字典等用來保存數(shù)據(jù)的容器。

錯誤/例外處理

現(xiàn)代編程語言基本都支持出錯的拋出，除了C語言之外。

比如硬盤不足，網(wǎng)絡(luò)出錯，黑客攻擊等情形。就像購物中心里出現(xiàn)煤氣泄露時，監(jiān)測設(shè)備，物聯(lián)網(wǎng)設(shè)備能夠及時記錄與傳遞給指揮中心。

沒有錯誤拋出的語言，需要自己考慮盡可能出錯的場景并處理，比如：

if(is_overfllow)

//處理

if(network_error)

//處理

可以還有不少需要關(guān)注的維度，這會讓代碼變得艱澀難懂，也難以維護(hù)。

我們可以用這樣的方式，讓其更簡潔：

on error goto ERROR

ERROR:

..//

但這總是會需要我們照顧很多情形。于是C++推出了一個語法：

try{

//可能會出錯的代碼

//可能會出錯的代碼

}catch{

//處理出錯的邏輯

//處理出錯的邏輯

}finally{

//出不出錯都要執(zhí)行的代碼

}

最后一句是微軟公司給業(yè)界提供貢獻(xiàn)的finally代碼塊。

以上這些成為語言處理異常機(jī)制的基礎(chǔ)。

容器

容器是很重要的一節(jié)，所以我們單獨(dú)再提出來。很多邏輯處理，使用容器保存數(shù)據(jù)，該語言會提供便捷的方法來提供存取。

比如C、Perl、PHP、Ruby中均提供的數(shù)組和關(guān)聯(lián)數(shù)組，LISP提供的列表，Java、Python提供的元組、鏈表等。

雖然名字相同，但是實現(xiàn)方式卻是完全不同，使用方法當(dāng)然也不一樣。

沒有萬能的容器，只有最合適的。可以從節(jié)省內(nèi)存，節(jié)約時間還是編碼效率等綜合考慮。

字符串與字符編碼

是否支持unicode編碼。從摩斯碼到ASCII到統(tǒng)一的Unicode編碼支持。

并發(fā)處理

有的語言在設(shè)計時并無此方面的考慮，或者天生設(shè)計存在缺陷。

即多線程，多進(jìn)程的概念。包括共享，鎖，事備等特性。

面向?qū)ο?/p>

支持類，繼承，模塊，包，命名空間，閉包等。有這些特性才會讓人們的工作變得更便利、更有效率。

小結(jié)

學(xué)習(xí)一門語言的關(guān)鍵，需要我們在平靜地心緒下，帶著濃厚的興趣去學(xué)習(xí)，在比較中學(xué)習(xí)，在歷史中學(xué)習(xí)。

有時候感覺還是不夠通暢，先做知識的搬運(yùn)工也是不錯。另外，不斷的實踐會讓我們的信心更足。

學(xué)習(xí)php的二次開發(fā)需要了解哪些知識，如何才能夠盡快的學(xué)會呢，要求是用destoon進(jìn)行二次開發(fā)

1，html?+?css?知識，用來改模板。

2，Javascript?知識，?有一些頁面事件，特效

3，php?+?mysql?知識，用于修改程序邏輯和數(shù)據(jù)處理

4，操作系統(tǒng)知識：網(wǎng)站架構(gòu)與調(diào)優(yōu)

多去官網(wǎng)，參考手冊，二次開發(fā)入門、常量與變量、數(shù)據(jù)字典

PHP的算法可以實現(xiàn)大數(shù)據(jù)分析嗎

1.Bloom filter

適用范圍：可以用來實現(xiàn)數(shù)據(jù)字典，進(jìn)行數(shù)據(jù)的判重，或者集合求交集

基本原理及要點(diǎn)：

對于原理來說很簡單，位數(shù)組+k個獨(dú)立hash函數(shù)。將hash函數(shù)對應(yīng)的值的位數(shù)組置1，查找時如果發(fā)現(xiàn)所有hash函數(shù)對應(yīng)位都是1說明存在，很明顯這個過程并不保證查找的結(jié)果是100%正確的。同時也不支持刪除一個已經(jīng)插入的關(guān)鍵字，因為該關(guān)鍵字對應(yīng)的位會牽動到其他的關(guān)鍵字。所以一個簡單的改進(jìn)就是 counting Bloom filter，用一個counter數(shù)組代替位數(shù)組，就可以支持刪除了。

還有一個比較重要的問題，如何根據(jù)輸入元素個數(shù)n，確定位數(shù)組m的大小及hash函數(shù)個數(shù)。當(dāng)hash函數(shù)個數(shù)k=(ln2)*(m/n)時錯誤率最小。在錯誤率不大于E的情況下，m至少要等于n*lg(1/E)才能表示任意n個元素的集合。但m還應(yīng)該更大些，因為還要保證bit數(shù)組里至少一半為 0，則m 應(yīng)該=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2為底的對數(shù))。

舉個例子我們假設(shè)錯誤率為0.01，則此時m應(yīng)大概是n的13倍。這樣k大概是8個。

注意這里m與n的單位不同，m是bit為單位，而n則是以元素個數(shù)為單位(準(zhǔn)確的說是不同元素的個數(shù))。通常單個元素的長度都是有很多bit的。所以使用bloom filter內(nèi)存上通常都是節(jié)省的。

擴(kuò)展：

Bloom filter將集合中的元素映射到位數(shù)組中，用k（k為哈希函數(shù)個數(shù)）個映射位是否全1表示元素在不在這個集合中。Counting bloom filter（CBF）將位數(shù)組中的每一位擴(kuò)展為一個counter，從而支持了元素的刪除操作。Spectral Bloom Filter（SBF）將其與集合元素的出現(xiàn)次數(shù)關(guān)聯(lián)。SBF采用counter中的最小值來近似表示元素的出現(xiàn)頻率。

問題實例：給你A,B兩個文件，各存放50億條URL，每條URL占用64字節(jié)，內(nèi)存限制是4G，讓你找出A,B文件共同的URL。如果是三個乃至n個文件呢？

根據(jù)這個問題我們來計算下內(nèi)存的占用，4G=2^32大概是40億*8大概是340億，n=50億，如果按出錯率0.01算需要的大概是650億個 bit。現(xiàn)在可用的是340億，相差并不多，這樣可能會使出錯率上升些。另外如果這些urlip是一一對應(yīng)的，就可以轉(zhuǎn)換成ip，則大大簡單了。

2.Hashing

適用范圍：快速查找，刪除的基本數(shù)據(jù)結(jié)構(gòu)，通常需要總數(shù)據(jù)量可以放入內(nèi)存

基本原理及要點(diǎn)：

hash函數(shù)選擇，針對字符串，整數(shù)，排列，具體相應(yīng)的hash方法。

碰撞處理，一種是open hashing，也稱為拉鏈法；另一種就是closed hashing，也稱開地址法，opened addressing。 ()

擴(kuò)展：

d-left hashing中的d是多個的意思，我們先簡化這個問題，看一看2-left hashing。2-left hashing指的是將一個哈希表分成長度相等的兩半，分別叫做T1和T2，給T1和T2分別配備一個哈希函數(shù)，h1和h2。在存儲一個新的key時，同時用兩個哈希函數(shù)進(jìn)行計算，得出兩個地址h1[key]和h2[key]。這時需要檢查T1中的h1[key]位置和T2中的h2[key]位置，哪一個位置已經(jīng)存儲的（有碰撞的）key比較多，然后將新key存儲在負(fù)載少的位置。如果兩邊一樣多，比如兩個位置都為空或者都存儲了一個key，就把新key 存儲在左邊的T1子表中，2-left也由此而來。在查找一個key時，必須進(jìn)行兩次hash，同時查找兩個位置。

問題實例：

1).海量日志數(shù)據(jù)，提取出某日訪問百度次數(shù)最多的那個IP。

IP的數(shù)目還是有限的，最多2^32個，所以可以考慮使用hash將ip直接存入內(nèi)存，然后進(jìn)行統(tǒng)計。

3.bit-map

適用范圍：可進(jìn)行數(shù)據(jù)的快速查找，判重，刪除，一般來說數(shù)據(jù)范圍是int的10倍以下

基本原理及要點(diǎn)：使用bit數(shù)組來表示某些元素是否存在，比如8位電話號碼

擴(kuò)展：bloom filter可以看做是對bit-map的擴(kuò)展

問題實例：

1)已知某個文件內(nèi)包含一些電話號碼，每個號碼為8位數(shù)字，統(tǒng)計不同號碼的個數(shù)。

8位最多99 999 999，大概需要99m個bit，大概10幾m字節(jié)的內(nèi)存即可。

2)2.5億個整數(shù)中找出不重復(fù)的整數(shù)的個數(shù)，內(nèi)存空間不足以容納這2.5億個整數(shù)。

將bit-map擴(kuò)展一下，用2bit表示一個數(shù)即可，0表示未出現(xiàn)，1表示出現(xiàn)一次，2表示出現(xiàn)2次及以上。或者我們不用2bit來進(jìn)行表示，我們用兩個bit-map即可模擬實現(xiàn)這個2bit-map。

4.堆

適用范圍：海量數(shù)據(jù)前n大，并且n比較小，堆可以放入內(nèi)存

基本原理及要點(diǎn)：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我們比較當(dāng)前元素與最大堆里的最大元素，如果它小于最大元素，則應(yīng)該替換那個最大元素。這樣最后得到的n個元素就是最小的n個。適合大數(shù)據(jù)量，求前n小，n的大小比較小的情況，這樣可以掃描一遍即可得到所有的前n元素，效率很高。

擴(kuò)展：雙堆，一個最大堆與一個最小堆結(jié)合，可以用來維護(hù)中位數(shù)。

問題實例：

1)100w個數(shù)中找最大的前100個數(shù)。

用一個100個元素大小的最小堆即可。

5.雙層桶劃分 ----其實本質(zhì)上就是【分而治之】的思想，重在“分”的技巧上！

適用范圍：第k大，中位數(shù)，不重復(fù)或重復(fù)的數(shù)字

基本原理及要點(diǎn)：因為元素范圍很大，不能利用直接尋址表，所以通過多次劃分，逐步確定范圍，然后最后在一個可以接受的范圍內(nèi)進(jìn)行。可以通過多次縮小，雙層只是一個例子。

擴(kuò)展：

問題實例：

1).2.5億個整數(shù)中找出不重復(fù)的整數(shù)的個數(shù)，內(nèi)存空間不足以容納這2.5億個整數(shù)。

有點(diǎn)像鴿巢原理，整數(shù)個數(shù)為2^32,也就是，我們可以將這2^32個數(shù)，劃分為2^8個區(qū)域(比如用單個文件代表一個區(qū)域)，然后將數(shù)據(jù)分離到不同的區(qū)域，然后不同的區(qū)域在利用bitmap就可以直接解決了。也就是說只要有足夠的磁盤空間，就可以很方便的解決。

2).5億個int找它們的中位數(shù)。

這個例子比上面那個更明顯。首先我們將int劃分為2^16個區(qū)域，然后讀取數(shù)據(jù)統(tǒng)計落到各個區(qū)域里的數(shù)的個數(shù)，之后我們根據(jù)統(tǒng)計結(jié)果就可以判斷中位數(shù)落到那個區(qū)域，同時知道這個區(qū)域中的第幾大數(shù)剛好是中位數(shù)。然后第二次掃描我們只統(tǒng)計落在這個區(qū)域中的那些數(shù)就可以了。

實際上，如果不是int是int64，我們可以經(jīng)過3次這樣的劃分即可降低到可以接受的程度。即可以先將int64分成2^24個區(qū)域，然后確定區(qū)域的第幾大數(shù)，在將該區(qū)域分成2^20個子區(qū)域，然后確定是子區(qū)域的第幾大數(shù)，然后子區(qū)域里的數(shù)的個數(shù)只有2^20，就可以直接利用direct addr table進(jìn)行統(tǒng)計了。

6.數(shù)據(jù)庫索引

適用范圍：大數(shù)據(jù)量的增刪改查

基本原理及要點(diǎn)：利用數(shù)據(jù)的設(shè)計實現(xiàn)方法，對海量數(shù)據(jù)的增刪改查進(jìn)行處理。

擴(kuò)展：

問題實例：

7.倒排索引(Inverted index)

適用范圍：搜索引擎，關(guān)鍵字查詢

基本原理及要點(diǎn)：為何叫倒排索引？一種索引方法，被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射。

以英文為例，下面是要被索引的文本：

T0 = "it is what it is"

T1 = "what is it"

T2 = "it is a banana"

我們就能得到下面的反向文件索引：

"a": {2}

"banana": {2}

"is": {0, 1, 2}

"it": {0, 1, 2}

"what": {0, 1}

檢索的條件"what", "is" 和 "it" 將對應(yīng)集合的交集。

正向索引開發(fā)出來用來存儲每個文檔的單詞的列表。正向索引的查詢往往滿足每個文檔有序頻繁的全文查詢和每個單詞在校驗文檔中的驗證這樣的查詢。在正向索引中，文檔占據(jù)了中心的位置，每個文檔指向了一個它所包含的索引項的序列。也就是說文檔指向了它包含的那些單詞，而反向索引則是單詞指向了包含它的文檔，很容易看到這個反向的關(guān)系。

擴(kuò)展：

問題實例：文檔檢索系統(tǒng)，查詢那些文件包含了某單詞，比如常見的學(xué)術(shù)論文的關(guān)鍵字搜索。

8.外排序

適用范圍：大數(shù)據(jù)的排序，去重

基本原理及要點(diǎn)：外排序的歸并方法，置換選擇 敗者樹原理，最優(yōu)歸并樹

擴(kuò)展：

問題實例：

1).有一個1G大小的一個文件，里面每一行是一個詞，詞的大小不超過16個字節(jié)，內(nèi)存限制大小是1M。返回頻數(shù)最高的100個詞。

這個數(shù)據(jù)具有很明顯的特點(diǎn)，詞的大小為16個字節(jié)，但是內(nèi)存只有1m做hash有些不夠，所以可以用來排序。內(nèi)存可以當(dāng)輸入緩沖區(qū)使用。

9.trie樹

適用范圍：數(shù)據(jù)量大，重復(fù)多，但是數(shù)據(jù)種類小可以放入內(nèi)存

基本原理及要點(diǎn)：實現(xiàn)方式，節(jié)點(diǎn)孩子的表示方式

擴(kuò)展：壓縮實現(xiàn)。

問題實例：

1).有10個文件，每個文件1G， 每個文件的每一行都存放的是用戶的query，每個文件的query都可能重復(fù)。要你按照query的頻度排序 。

2).1000萬字符串，其中有些是相同的(重復(fù)),需要把重復(fù)的全部去掉，保留沒有重復(fù)的字符串。請問怎么設(shè)計和實現(xiàn)？

3).尋找熱門查詢：查詢串的重復(fù)度比較高，雖然總數(shù)是1千萬，但如果除去重復(fù)后，不超過3百萬個，每個不超過255字節(jié)。

10.分布式處理 mapreduce

適用范圍：數(shù)據(jù)量大，但是數(shù)據(jù)種類小可以放入內(nèi)存

基本原理及要點(diǎn)：將數(shù)據(jù)交給不同的機(jī)器去處理，數(shù)據(jù)劃分，結(jié)果歸約。

擴(kuò)展：

問題實例：

1).The canonical example application of MapReduce is a process to count the appearances of

each different word in a set of documents:

void map(String name, String document):

// name: document name

// document: document contents

for each word w in document:

EmitIntermediate(w, 1);

void reduce(String word, Iterator partialCounts):

// key: a word

// values: a list of aggregated partial counts

int result = 0;

for each v in partialCounts:

result += ParseInt(v);

Emit(result);

Here, each document is split in words, and each word is counted initially with a "1" value by

the Map function, using the word as the result key. The framework puts together all the pairs

with the same key and feeds them to the same call to Reduce, thus this function just needs to

sum all of its input values to find the total appearances of that word.

2).海量數(shù)據(jù)分布在100臺電腦中，想個辦法高效統(tǒng)計出這批數(shù)據(jù)的TOP10。

3).一共有N個機(jī)器，每個機(jī)器上有N個數(shù)。每個機(jī)器最多存O(N)個數(shù)并對它們操作。如何找到N^2個數(shù)的中數(shù)(median)？

經(jīng)典問題分析

上千萬or億數(shù)據(jù)（有重復(fù)），統(tǒng)計其中出現(xiàn)次數(shù)最多的前N個數(shù)據(jù),分兩種情況：可一次讀入內(nèi)存，不可一次讀入。

可用思路：trie樹+堆，數(shù)據(jù)庫索引，劃分子集分別統(tǒng)計，hash，分布式計算，近似統(tǒng)計，外排序

所謂的是否能一次讀入內(nèi)存，實際上應(yīng)該指去除重復(fù)后的數(shù)據(jù)量。如果去重后數(shù)據(jù)可以放入內(nèi)存，我們可以為數(shù)據(jù)建立字典，比如通過 map，hashmap，trie，然后直接進(jìn)行統(tǒng)計即可。當(dāng)然在更新每條數(shù)據(jù)的出現(xiàn)次數(shù)的時候，我們可以利用一個堆來維護(hù)出現(xiàn)次數(shù)最多的前N個數(shù)據(jù)，當(dāng)然這樣導(dǎo)致維護(hù)次數(shù)增加，不如完全統(tǒng)計后在求前N大效率高。

如果數(shù)據(jù)無法放入內(nèi)存。一方面我們可以考慮上面的字典方法能否被改進(jìn)以適應(yīng)這種情形，可以做的改變就是將字典存放到硬盤上，而不是內(nèi)存，這可以參考數(shù)據(jù)庫的存儲方法。

當(dāng)然還有更好的方法，就是可以采用分布式計算，基本上就是map-reduce過程，首先可以根據(jù)數(shù)據(jù)值或者把數(shù)據(jù)hash(md5)后的值，將數(shù)據(jù)按照范圍劃分到不同的機(jī)子，最好可以讓數(shù)據(jù)劃分后可以一次讀入內(nèi)存，這樣不同的機(jī)子負(fù)責(zé)處理各種的數(shù)值范圍，實際上就是map。得到結(jié)果后，各個機(jī)子只需拿出各自的出現(xiàn)次數(shù)最多的前N個數(shù)據(jù)，然后匯總，選出所有的數(shù)據(jù)中出現(xiàn)次數(shù)最多的前N個數(shù)據(jù)，這實際上就是reduce過程。

實際上可能想直接將數(shù)據(jù)均分到不同的機(jī)子上進(jìn)行處理，這樣是無法得到正確的解的。因為一個數(shù)據(jù)可能被均分到不同的機(jī)子上，而另一個則可能完全聚集到一個機(jī)子上，同時還可能存在具有相同數(shù)目的數(shù)據(jù)。比如我們要找出現(xiàn)次數(shù)最多的前100個，我們將1000萬的數(shù)據(jù)分布到10臺機(jī)器上，找到每臺出現(xiàn)次數(shù)最多的前 100個，歸并之后這樣不能保證找到真正的第100個，因為比如出現(xiàn)次數(shù)最多的第100個可能有1萬個，但是它被分到了10臺機(jī)子，這樣在每臺上只有1千個，假設(shè)這些機(jī)子排名在1000個之前的那些都是單獨(dú)分布在一臺機(jī)子上的，比如有1001個，這樣本來具有1萬個的這個就會被淘汰，即使我們讓每臺機(jī)子選出出現(xiàn)次數(shù)最多的1000個再歸并，仍然會出錯，因為可能存在大量個數(shù)為1001個的發(fā)生聚集。因此不能將數(shù)據(jù)隨便均分到不同機(jī)子上，而是要根據(jù)hash 后的值將它們映射到不同的機(jī)子上處理，讓不同的機(jī)器處理一個數(shù)值范圍。

而外排序的方法會消耗大量的IO，效率不會很高。而上面的分布式方法，也可以用于單機(jī)版本，也就是將總的數(shù)據(jù)根據(jù)值的范圍，劃分成多個不同的子文件，然后逐個處理。處理完畢之后再對這些單詞的及其出現(xiàn)頻率進(jìn)行一個歸并。實際上就可以利用一個外排序的歸并過程。

另外還可以考慮近似計算，也就是我們可以通過結(jié)合自然語言屬性，只將那些真正實際中出現(xiàn)最多的那些詞作為一個字典，使得這個規(guī)模可以放入內(nèi)存。

mysql字符串轉(zhuǎn)換成字典

mysql字符串轉(zhuǎn)換成字典可以用php數(shù)據(jù)表轉(zhuǎn)換成數(shù)據(jù)字典的程序。網(wǎng)上找到別人寫好的php數(shù)據(jù)表轉(zhuǎn)換成數(shù)據(jù)字典的程序export2.php，修改export2.php中連接數(shù)據(jù)庫的信息(數(shù)據(jù)庫IP、數(shù)據(jù)庫名稱、訪問數(shù)據(jù)庫的賬號密碼。

文章名稱：數(shù)據(jù)字典php 數(shù)據(jù)字典建立應(yīng)從什么階段開始
文章出自：http://www.chinadenli.net/article30/dddjdso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、全網(wǎng)營銷推廣、網(wǎng)站設(shè)計、網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)