這篇文章給大家分享的是有關(guān)python3中編碼怎樣獲取網(wǎng)頁的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

公司主營業(yè)務(wù)：網(wǎng)站制作、成都網(wǎng)站建設(shè)、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)公司是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)公司推出醴陵免費做網(wǎng)站回饋大家。

1. encoding和apparent_encoding

import scrapy
url="https://www.ygdy8.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#獲取響應(yīng)頭Content-Type的charset值，有的網(wǎng)站沒有charset字段，就可能使用默認的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是獲取網(wǎng)站真實的編碼
print(re.apparent_encoding)

2. 處理方案

直接用r.encoding = ‘xxx’

re.encoding='utf-8'

3. requests的text()跟content()有什么區(qū)別

re.text返回的是處理過的Unicode型的數(shù)據(jù)，

而使用re.content返回的是bytes型的原始數(shù)據(jù)。

 

4. 爬蟲拿到的HTML和瀏覽器中的源碼不相同時

通過下載源碼對比

import requests
url = 'https://www.ygdy8.net/html/gndy/dyzz/index.html'
r  = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)

 

 

感謝各位的閱讀！關(guān)于python3中編碼怎樣獲取網(wǎng)頁就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁名稱：python3中編碼怎樣獲取網(wǎng)頁
轉(zhuǎn)載注明：http://www.chinadenli.net/article28/ieoscp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、App設(shè)計、自適應(yīng)網(wǎng)站、服務(wù)器托管、品牌網(wǎng)站制作、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)