爬蟲 （網(wǎng)絡(luò)爬蟲），大家可以理解為在網(wǎng)絡(luò)上爬行的一種蜘蛛，互聯(lián)網(wǎng)就像一張大網(wǎng)，爬蟲就是在這張網(wǎng)上爬來爬去的蜘蛛。如果爬蟲遇到資源，就會(huì)將資源抓取下來。至于抓取什么資源，這個(gè)由用戶控制。

例如，爬蟲抓取了一個(gè)網(wǎng)頁，在這個(gè)網(wǎng)中發(fā)現(xiàn)了一條道路，也就是指向網(wǎng)頁的超鏈接，它就可以爬到另一張網(wǎng)上獲取數(shù)據(jù)。這樣，整個(gè)連在一起的大網(wǎng)對這只蜘蛛來說觸手可及，分分鐘爬下來不是事兒。

Python 的網(wǎng)絡(luò)爬取方式有很多種，現(xiàn)在就介紹幾種比較常用的幾種。

1.基本方法

Python 中最基本的網(wǎng)絡(luò)爬取幾行代碼就可以實(shí)現(xiàn)，只需使用 urllib 模塊中的 request 即可。這兩個(gè)函數(shù)是在網(wǎng)絡(luò)編程中已經(jīng)有相關(guān)實(shí)現(xiàn)，代碼如下：

結(jié)果可以輸出許多帶 html 樣式的文本，大部分都是無用的信息。這種方式雖然非常簡單，但抓取到的信息沒有經(jīng)過加工處理，所以沒有多大用處。

2 .使用代理服務(wù)器

為什么要使用代理服務(wù)器，當(dāng)前很多網(wǎng)站都有反爬蟲機(jī)制，一旦發(fā)現(xiàn)某個(gè) IP 在一定時(shí)間內(nèi)請求次數(shù)過多或請求頻率太高，就可能將這個(gè) IP 標(biāo)記為惡意 IP ，從而限制這個(gè) IP 的訪問，或者將這個(gè) IP 加入黑名單，使之不能繼續(xù)訪問該網(wǎng)站。這時(shí)我們需要使用代理服務(wù)器，通過使用不同的代理服務(wù)器繼續(xù)抓取需要的信息。

示例代碼如下：

和基本方法一樣，這樣的爬取信息沒有經(jīng)過處理，得到的結(jié)果也沒有什么多大的用處。需要再加工才能進(jìn)一步體現(xiàn)價(jià)值。

3.cookie 處理

對于安全級別稍微高一點(diǎn)的網(wǎng)站，使用前兩個(gè)方法都是無法爬取數(shù)據(jù)。這些網(wǎng)站需要再發(fā)送 URL 請求是提供 cookie 信息，否則無法請求成功

示例代碼如下：

當(dāng)然，這也是一種簡單的方式，還可以擴(kuò)展成更復(fù)雜的模式

4.偽裝成瀏覽器

當(dāng)前很多網(wǎng)站都有反爬蟲機(jī)制，對于爬蟲請求會(huì)一律拒絕。

程序怎樣區(qū)分一個(gè)請求是正常請求還是爬蟲程序發(fā)出的請求呢？程序通過判斷發(fā)送請求中是否有瀏覽器信息判斷一個(gè)請求是否為正常請求。當(dāng)訪問有反爬蟲機(jī)制的網(wǎng)站時(shí)，我們在請求中設(shè)置瀏覽器信息 （偽裝成瀏覽器），通過修改 http 包中的 header 實(shí)現(xiàn)。

示例代碼片段如下：