創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)專注于企業(yè)全網(wǎng)營(yíng)銷推廣、網(wǎng)站重做改版、臨汾網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計(jì)、電子商務(wù)商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為臨汾等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

這篇文章主要介紹如何爬取美團(tuán)的店鋪評(píng)論數(shù)據(jù)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

店鋪評(píng)論數(shù)據(jù)

在重慶火鍋的文章中，我們一共爬取了每個(gè)店鋪基本信息與對(duì)應(yīng)評(píng)價(jià)兩種數(shù)據(jù)，那么較為簡(jiǎn)單的就是評(píng)論數(shù)據(jù)，我們進(jìn)入一個(gè)店鋪的詳情頁(yè)，F12查找數(shù)據(jù)包就能輕松找到對(duì)應(yīng)的評(píng)論數(shù)據(jù)

 

所以想拿下這一頁(yè)的評(píng)論只要將headers中一些參數(shù)加進(jìn)去使用Requests.get請(qǐng)求即可，注意Cookie是必須要添加的

那么返回的json數(shù)據(jù)無(wú)論直接提取數(shù)據(jù)還是使用正則查找數(shù)據(jù)都不是困難的，提取之后使用Pandas保存即可，此處就不在贅述，如果需要爬取多頁(yè)評(píng)論怎么辦，先手動(dòng)加載多頁(yè)評(píng)論發(fā)現(xiàn)URL中僅有offset參數(shù)變了，每頁(yè)增加10

所以只要寫個(gè)簡(jiǎn)單的循環(huán)生成多頁(yè)URL就能拿下指定頁(yè)數(shù)的評(píng)論，OK這僅是一家店鋪的評(píng)論爬取辦法，那怎么獲得多家店鋪的評(píng)論呢？如果我們多找?guī)准业赇伒脑u(píng)論數(shù)據(jù)查看會(huì)發(fā)現(xiàn)，不同店鋪對(duì)應(yīng)的Request URL其實(shí)變化的只有店鋪的ID

所以下面的問(wèn)題就轉(zhuǎn)換為如何拿到多家店鋪的ID，而這些ID都在搜索頁(yè)面下的店鋪基本數(shù)據(jù)中。

店鋪基本數(shù)據(jù)

為了找到店鋪ID，讓我們回到搜索頁(yè)面中(美團(tuán)首頁(yè)—美食—火鍋)

上面的頁(yè)面中就是重慶火鍋的第一頁(yè)，還是F12刷新很容易就能找到包含店鋪ID、均價(jià)等相關(guān)信息的數(shù)據(jù)包

所以也能輕松的獲取Request URL

修改對(duì)應(yīng)的headers信息再使用requests請(qǐng)求即可，然后將店鋪基本信息存下來(lái)用于分析，再將ID單獨(dú)存儲(chǔ)用于組合評(píng)論頁(yè)URL

當(dāng)然這只是第一頁(yè)的url的返回?cái)?shù)據(jù)，只要修改其中的page參數(shù)就能生成多頁(yè)URL從而獲取多頁(yè)數(shù)據(jù)

以為這就結(jié)束了？并不是，評(píng)論頁(yè)的URL是不變的，但是這里的URL過(guò)幾分鐘就會(huì)變一下，也就是說(shuō)如果你一次性生成10頁(yè)或更多的URL去循環(huán)請(qǐng)求很有可能在中間這個(gè)URL就掛掉了，所以你直接在瀏覽器中打開(kāi)這個(gè)URL提示請(qǐng)求被拒絕，而不是顯示對(duì)應(yīng)的json值，就說(shuō)明URL換了，解決辦法只有在URL更換的時(shí)候重新手動(dòng)獲取最新的URL并重新組合剩下需要爬取的頁(yè)面，有點(diǎn)蠢但是因?yàn)楦鼡Q的部分并沒(méi)啥規(guī)律所以好像也沒(méi)什么更好的辦法......

以上是如何爬取美團(tuán)的店鋪評(píng)論數(shù)據(jù)的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

文章題目：如何爬取美團(tuán)的店鋪評(píng)論數(shù)據(jù)-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址：http://www.chinadenli.net/article44/ccedee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、App開(kāi)發(fā)、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、定制網(wǎng)站、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)