php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開(kāi)，各用不同的進(jìn)程完成。

創(chuàng)新互聯(lián)建站專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站制作、成都做網(wǎng)站、萊山網(wǎng)絡(luò)推廣、小程序開(kāi)發(fā)、萊山網(wǎng)絡(luò)營(yíng)銷、萊山企業(yè)策劃、萊山品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)建站為所有大學(xué)生創(chuàng)業(yè)者提供萊山建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18982081108，官方網(wǎng)址：www.chinadenli.net

比如說(shuō)，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來(lái)的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來(lái)，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬(wàn)次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒(méi)有啟動(dòng)，比如說(shuō)這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒(méi)有

php采集代碼是什么?

采集就是把目標(biāo)網(wǎng)站的內(nèi)容通過(guò)php代碼存儲(chǔ)到自己的網(wǎng)站數(shù)據(jù)庫(kù)中，從而把別人的變成自己的。

這樣就可以省去很多自己發(fā)布信息的時(shí)間，非常快速。

但是只建議在網(wǎng)站建立之初進(jìn)行采集，因?yàn)槿绻杉^(guò)多會(huì)被搜索引擎屏蔽

怎么用php采集網(wǎng)站數(shù)據(jù)

簡(jiǎn)單的分了幾個(gè)步驟：

1、確定采集目標(biāo)

2、獲取目標(biāo)遠(yuǎn)程頁(yè)面內(nèi)容（curl、file_get_contents）

3、分析頁(yè)面html源碼，正則匹配你需要的內(nèi)容（preg_match、preg_match_all），這一步最為重要，不同頁(yè)面正則匹配規(guī)則不一樣

4、入庫(kù)

php 百度 知道數(shù)據(jù)采集

問(wèn)題其實(shí)不難，自己都能寫。給你幾個(gè)思路吧：

1.在百度知道中，輸入linux，然后會(huì)出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。

然后翻頁(yè)，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁(yè)的i值。

當(dāng)然這個(gè)是笨方法。

2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。

3.通過(guò)php正則表達(dá)式，獲取你需要的3個(gè)字段內(nèi)容。

4.寫入數(shù)據(jù)庫(kù)。

需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個(gè)頁(yè)面，可能會(huì)被禁止。

建議也就抓10頁(yè)數(shù)據(jù)。

其實(shí)不難，你肯定寫的出來(lái)。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來(lái)的數(shù)據(jù)

在做分析。寫入數(shù)據(jù)庫(kù)。

PHP采集代碼實(shí)例

?php

function

preg_substr($start,

$end,

$str)

//

正則截取函數(shù)

{

$temp

=

preg_split($start,

$str);

$content

=

preg_split($end,

$temp[1]);

return

$content[0];

}

function

str_substr($start,

$end,

$str)

//

字符串截取函數(shù)

{

$temp

=

explode($start,

$str,

2);

$content

=

explode($end,

$temp[1],

2);

return

$content[0];

}

//

----------------

使用實(shí)例

----------------

$str

=

iconv("UTF-8",

"GB2312",

file_get_contents(""));

echo

('標(biāo)題:

'

.

str_substr("title",

"/title",

$str));

//

通過(guò)字符串提取標(biāo)題

echo

('作者:

'

.

preg_substr("/userid=d+"/",

"http:///",

$str));

//

通過(guò)正則提取作者

echo

('內(nèi)容:

'

.

str_substr('div

class="content"',

'/div',

$str));

//內(nèi)容當(dāng)然不可以少

?

分享名稱：php的簡(jiǎn)單數(shù)據(jù)采集代碼 php爬蟲數(shù)據(jù)采集
分享地址：http://www.chinadenli.net/article22/dooiejc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供、電子商務(wù)、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站制作、自適應(yīng)網(wǎng)站、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)