小編給大家分享一下Python爬蟲中設(shè)置代理的方法，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

發(fā)展壯大離不開廣大客戶長期以來的信賴與支持，我們將始終秉承“誠信為本、服務(wù)至上”的服務(wù)理念，堅持“二合一”的優(yōu)良服務(wù)模式，真誠服務(wù)每家企業(yè)，認(rèn)真做好每個細(xì)節(jié)，不斷完善自我，成就企業(yè)，實現(xiàn)共贏。行業(yè)涉及成都攪拌罐車等，在成都網(wǎng)站建設(shè)、成都營銷網(wǎng)站建設(shè)、WAP手機(jī)網(wǎng)站、VI設(shè)計、軟件開發(fā)等項目上具有豐富的設(shè)計經(jīng)驗。

urllib2 默認(rèn)會使用環(huán)境變量 http_proxy 來設(shè)置 HTTP Proxy。假如一個網(wǎng)站它會檢測某一段時間某個 IP 的訪問次數(shù)，如果訪問次數(shù)過多，它會禁止你的訪問。所以你可以設(shè)置一些代理服務(wù)器來幫助你做工作，每隔一段時間換一個代理，網(wǎng)站君都不知道是誰在搗鬼了，這酸爽！ 下面一段代碼說明了代理的設(shè)置用法

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

拓展：Timeout 設(shè)置

上一節(jié)已經(jīng)說過 urlopen 方法了，第三個參數(shù)就是 timeout 的設(shè)置，可以設(shè)置等待多久超時，為了解決一些網(wǎng)站實在響應(yīng)過慢而造成的影響。 例如下面的代碼，如果第二個參數(shù) data 為空那么要特別指定是 timeout 是多少，寫明形參，如果 data 已經(jīng)傳入，則不必聲明。

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)

import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

看完了這篇文章，相信你對Python爬蟲中設(shè)置代理的方法有了一定的了解，想了解更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

分享標(biāo)題：Python爬蟲中設(shè)置代理的方法-創(chuàng)新互聯(lián)
文章分享：http://www.chinadenli.net/article26/dgiocg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、靜態(tài)網(wǎng)站、Google、響應(yīng)式網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)