本篇文章為大家展示了在Python爬蟲中如何將PhantomJS偽裝成Chrome瀏覽器，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

10年積累的成都網(wǎng)站設(shè)計、做網(wǎng)站經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有伊金霍洛免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

前言

在寫爬蟲的過程中，出于系統(tǒng)環(huán)境或是效率的問題，我們經(jīng)常使用PhantomJS作為Selenium操縱的瀏覽器webdriver，而不是直接使用Chrome或FireFox的webdriver，盡管后者更加直觀。

PhantomJS的優(yōu)點雖然很多，但是缺點卻也不少，有一個不能稱之為缺點的缺點就是，PhantomJS的瀏覽器標(biāo)識是“PhantomJS”（勇敢的做自己竟然有錯……：））

PhantomJS的標(biāo)識本沒有什么問題，但是在現(xiàn)在越來越多的網(wǎng)站不斷升級自己的反爬蟲技術(shù)的情況下，PhantomJS顯然成為了一個和“requests”一樣的靶子。

只要服務(wù)器后臺識別到訪問者的User-Agent為PhantomJS，就有可能被服務(wù)器判定為爬蟲行為，而導(dǎo)致爬蟲失效。

如同在requests中修改header頭域以偽裝成瀏覽器一樣，我們可以在Selenium中將PhantomJS的瀏覽器標(biāo)識修改為任意瀏覽器的標(biāo)識。

PhantomJS的瀏覽器標(biāo)識

首先來看看PhantomJS的瀏覽器標(biāo)識是怎樣的。

http://service.spiritsoft.cn/ua.html是一個獲取瀏覽器標(biāo)識User-Agent的網(wǎng)站，訪問它就會顯示當(dāng)前使用的瀏覽器的標(biāo)識：

我們使用Selunium操縱PhantomJS訪問http://service.spiritsoft.cn/ua.html，看看返回的結(jié)果：

很明顯的有PhantomJS的痕跡。接下來，我們對PhantomJS的瀏覽器標(biāo)識進行修改。

偽裝成Chrome

引入一個關(guān)鍵的模塊——DesiredCapabilities：

這個模塊是干什么用的呢？我們看看源碼的解釋：

描述了一系列封裝的瀏覽器屬性的鍵值對，大致就是用來設(shè)置webdriverde的屬性。我們使用它來設(shè)置PhantomJS的User-Agent。

首先將DesiredCapabilities轉(zhuǎn)換為一個字典，方便添加鍵值對：

然后添加一個瀏覽器標(biāo)識的鍵值對：

最后，在實例化PhantomJS中設(shè)為參數(shù)：

完整的代碼如下：

我們運行一下代碼：

成功地將PhantomJS標(biāo)識為了Chrome瀏覽器。

上述內(nèi)容就是在Python爬蟲中如何將PhantomJS偽裝成Chrome瀏覽器，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前文章：在Python爬蟲中如何將PhantomJS偽裝成Chrome瀏覽器
本文鏈接：http://www.chinadenli.net/article30/igjhso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站建設(shè)、域名注冊、網(wǎng)站制作、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)