這篇文章給大家分享的是有關(guān)記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司，專注網(wǎng)站建設(shè)、成都做網(wǎng)站、網(wǎng)站營銷推廣，域名與空間，網(wǎng)絡(luò)空間，網(wǎng)站改版維護(hù)有關(guān)企業(yè)網(wǎng)站制作方案、改版、費(fèi)用等問題，請聯(lián)系創(chuàng)新互聯(lián)。

下面由Laravel教程欄目給大家記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷，希望對需要的朋友有所幫助！

什么是 Laravel-s

LaravelS是一個膠水項(xiàng)目，用于快速集成Swoole到Laravel或Lumen，賦予它們更好的性能
github地址

為什么用 Laravel-s

百度小程序上線后，百度爬蟲過高的 qps(并發(fā)) 導(dǎo)致 cpu 滿載，服務(wù)器宕機(jī)，服務(wù)器配置4核8G內(nèi)存5M寬帶。這時候怎么辦？

• 調(diào)整 php-fpm 參數(shù)，設(shè)置為靜態(tài)，靜態(tài)模式對比動態(tài)模式性能更高。比如設(shè)置子進(jìn)程數(shù)量255甚至更高，越高承受的并發(fā)量越大，但越高占用內(nèi)存越大。結(jié)論，一定程度上有效果，但高并發(fā)下無用。

• 反饋百度調(diào)整爬蟲抓取頻率。結(jié)論，等吧，黃花菜都涼了，但還是反饋下比較好。

• 負(fù)載均衡。讓其他服務(wù)器分擔(dān)壓力，前提是有足夠的服務(wù)器，且都要部署相同的代碼，且不能影響其他服務(wù)器本來職責(zé)的業(yè)務(wù)。或者在某云臨時申請N臺服務(wù)器，但你不知道爬蟲什么時間來，什么時間去，不現(xiàn)實(shí)。

• 接下來就是文章的主題，用 Laravel-s 加速 http 響應(yīng)。

Laravel-s 究竟起到多少加速效果

由于當(dāng)時沒有統(tǒng)計所有時段qps 具體值，所以沒辦法得出準(zhǔn)確的結(jié)論，只能根據(jù)調(diào)整前后的機(jī)器負(fù)載做對比。

部署前，cpu滿載，機(jī)器宕機(jī)N次，癱瘓狀態(tài)。外網(wǎng)出寬帶占滿（5M），部署后cpu立即降到20+, 臨時升級寬帶15M后，cpu達(dá)到60%,外網(wǎng)寬帶仍被占滿（只能說百度爬蟲是真作啊，多少寬帶你就來多少啊）。結(jié)論，至少帶來5倍的性能提升。

具體部署

爬蟲所爬取的頁面只是一部分，所以并不是將線上項(xiàng)目改造成laravel-s，也不現(xiàn)實(shí)。我們只需要將爬取的頁面分離出來，單獨(dú)部署到laravel-s。

• 新建空項(xiàng)目，業(yè)務(wù)邏輯只處理抓取的頁面api，項(xiàng)目端口號如 6501

• 部署 laravel-s ，測試api 及 ab壓測

• 線上項(xiàng)目將爬蟲爬取的頁面路徑代理到新建項(xiàng)目，如127.0.0.1:6501

location ~ ^/v1/test.* {
 proxy_pass http://127.0.0.1:6501;
 proxy_set_header Host $host;}

注意的幾點(diǎn)：

• 在conf/laravels.php 中，默認(rèn)開啟worker 數(shù)量是cpu 核數(shù)的兩倍。

• laravles 是運(yùn)行在swoole ，在內(nèi)存中，每次更改代碼，需重啟laravel-s。

• 由于第2條的原因，數(shù)據(jù)庫連接得不到釋放，需開啟laravel 的斷開重連（>laravle5.1）。在conf/database.php中mysql配置中添加

'options'   => [
 // 開啟持久連接
 \PDO::ATTR_PERSISTENT => true,],

感謝各位的閱讀！關(guān)于“記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

分享題目：記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷-創(chuàng)新互聯(lián)
標(biāo)題來源：http://www.chinadenli.net/article48/eheep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、品牌網(wǎng)站設(shè)計、做網(wǎng)站、外貿(mào)建站、域名注冊、移動網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)