這篇文章給大家分享的是有關(guān)記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

任丘網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),任丘網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為任丘近千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站制作要多少錢，請找那個售后服務(wù)好的任丘做網(wǎng)站的公司定做！

下面由Laravel教程欄目給大家記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷，希望對需要的朋友有所幫助！

什么是 Laravel-s

LaravelS是一個膠水項目，用于快速集成Swoole到Laravel或Lumen，賦予它們更好的性能
github地址

為什么用 Laravel-s

百度小程序上線后，百度爬蟲過高的 qps(并發(fā)) 導(dǎo)致 cpu 滿載，服務(wù)器宕機，服務(wù)器配置4核8G內(nèi)存5M寬帶。這時候怎么辦？

• 調(diào)整 php-fpm 參數(shù)，設(shè)置為靜態(tài)，靜態(tài)模式對比動態(tài)模式性能更高。比如設(shè)置子進程數(shù)量255甚至更高，越高承受的并發(fā)量越大，但越高占用內(nèi)存越大。結(jié)論，一定程度上有效果，但高并發(fā)下無用。

• 反饋百度調(diào)整爬蟲抓取頻率。結(jié)論，等吧，黃花菜都涼了，但還是反饋下比較好。

• 負載均衡。讓其他服務(wù)器分擔(dān)壓力，前提是有足夠的服務(wù)器，且都要部署相同的代碼，且不能影響其他服務(wù)器本來職責(zé)的業(yè)務(wù)。或者在某云臨時申請N臺服務(wù)器，但你不知道爬蟲什么時間來，什么時間去，不現(xiàn)實。

• 接下來就是文章的主題，用 Laravel-s 加速 http 響應(yīng)。

Laravel-s 究竟起到多少加速效果

由于當時沒有統(tǒng)計所有時段 qps 具體值，所以沒辦法得出準確的結(jié)論，只能根據(jù)調(diào)整前后的機器負載做對比。

部署前，cpu滿載，機器宕機N次，癱瘓狀態(tài)。外網(wǎng)出寬帶占滿（5M），部署后cpu立即降到20+, 臨時升級寬帶15M后，cpu達到 60%,外網(wǎng)寬帶仍被占滿（只能說百度爬蟲是真作啊，多少寬帶你就來多少啊）。結(jié)論，至少帶來5倍的性能提升。

具體部署

爬蟲所爬取的頁面只是一部分，所以并不是將線上項目改造成laravel-s，也不現(xiàn)實。我們只需要將爬取的頁面分離出來，單獨部署到laravel-s。

• 新建空項目，業(yè)務(wù)邏輯只處理抓取的頁面api，項目端口號如 6501

• 部署 laravel-s ，測試api 及 ab壓測

• 線上項目將爬蟲爬取的頁面路徑代理到新建項目，如127.0.0.1:6501

location ~ ^/v1/test.* {
 proxy_pass http://127.0.0.1:6501;
 proxy_set_header Host $host;}

注意的幾點：

• 在 conf/laravels.php 中，默認開啟 worker 數(shù)量是 cpu 核數(shù)的兩倍。

• laravles 是運行在 swoole ，在內(nèi)存中，每次更改代碼，需重啟 laravel-s。

• 由于第2條的原因，數(shù)據(jù)庫連接得不到釋放，需開啟 laravel 的斷開重連（>laravle5.1）。在 conf/database.php中 MySQL配置中添加

'options'   => [
 // 開啟持久連接
 \PDO::ATTR_PERSISTENT => true,],

感謝各位的閱讀！關(guān)于“記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

網(wǎng)站題目：記錄一下使用Laravel-s抵御百度爬蟲的經(jīng)歷
瀏覽路徑：http://www.chinadenli.net/article42/jsipec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計、微信小程序、用戶體驗、網(wǎng)站收錄、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)