欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

一、Scrapy的簡(jiǎn)單使用-爬蟲

一、介紹：

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)鳳翔免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上1000+企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

        Scrapy一個(gè)開源和協(xié)作的框架，其最初是為了頁面抓取所設(shè)計(jì)的，使用它可以以快速、簡(jiǎn)單、可擴(kuò)展的方式從網(wǎng)站中提取所需的數(shù)據(jù)。但目前Scrapy的用途十分廣泛，可用于如數(shù)據(jù)挖掘、監(jiān)測(cè)和自動(dòng)化測(cè)試等領(lǐng)域，也可以應(yīng)用在獲取API所返回的數(shù)據(jù)(例如 Amazon Associates Web Services ) 或者通用的網(wǎng)絡(luò)爬蟲。

        Scrapy 是基于twisted框架開發(fā)而來，twisted是一個(gè)流行的事件驅(qū)動(dòng)的python網(wǎng)絡(luò)框架。因此Scrapy使用了一種非阻塞（又名異步）的代碼來實(shí)現(xiàn)并發(fā)。整體架構(gòu)大致如下一、Scrapy的簡(jiǎn)單使用-爬蟲

執(zhí)行流程：

1.引擎從spider獲取初始爬行請(qǐng)求。

2.引擎在調(diào)度程序中調(diào)度請(qǐng)求，并請(qǐng)求下一個(gè)要爬行的請(qǐng)求。

3.調(diào)度程序?qū)⑾乱粋€(gè)請(qǐng)求返回到引擎。

4.引擎將請(qǐng)求發(fā)送到下載器，并通過下載器中間件（請(qǐng)參見process_request（））。

5.一旦頁面完成下載，下載器將生成響應(yīng)（使用該頁面），并將其發(fā)送到引擎，并通過下載器中間軟件（請(qǐng)參見process_response（））。

6.引擎接收下載器的響應(yīng)并將其發(fā)送給spider進(jìn)行處理，并通過spider中間件進(jìn)行處理（請(qǐng)參見process_spider_input（））。

7.spider處理響應(yīng)，并通過spider中間件（請(qǐng)參見process_spider_output（））向引擎返回刮掉的項(xiàng)目和新請(qǐng)求（后續(xù)）。

8.引擎將已處理的項(xiàng)目發(fā)送到項(xiàng)目管道，然后將已處理的請(qǐng)求發(fā)送到計(jì)劃程序，并請(qǐng)求可能的下一個(gè)請(qǐng)求進(jìn)行爬網(wǎng)。

9.該過程重復(fù)（從步驟1開始），直到調(diào)度程序不再發(fā)出請(qǐng)求。

各組件以及作用

  1. 引擎(EGINE)

    引擎負(fù)責(zé)控制系統(tǒng)所有組件之間的數(shù)據(jù)流，并在某些動(dòng)作發(fā)生時(shí)觸發(fā)事件。有關(guān)詳細(xì)信息，請(qǐng)參見上面的數(shù)據(jù)流部分。

  2. 調(diào)度器(SCHEDULER)用來接受引擎發(fā)過來的請(qǐng)求, 壓入隊(duì)列中, 并在引擎再次請(qǐng)求的時(shí)候返回. 可以想像成一個(gè)URL的優(yōu)先級(jí)隊(duì)列, 由它來決定下一個(gè)要抓取的網(wǎng)址是什么, 同時(shí)去除重復(fù)的網(wǎng)址

  3. 下載器(DOWLOADER)用于下載網(wǎng)頁內(nèi)容, 并將網(wǎng)頁內(nèi)容返回給EGINE，下載器是建立在twisted這個(gè)高效的異步模型上的

  4. 爬蟲(SPIDERS)SPIDERS是開發(fā)人員自定義的類，用來解析responses，并且提取items，或者發(fā)送新的請(qǐng)求

  5. 項(xiàng)目管道(ITEM PIPLINES)在items被提取后負(fù)責(zé)處理它們，主要包括清理、驗(yàn)證、持久化（比如存到數(shù)據(jù)庫）等操作

  6. 下載器中間件(Downloader Middlewares)

    位于Scrapy引擎和下載器之間，主要用來處理從EGINE傳到DOWLOADER的請(qǐng)求request，已經(jīng)從DOWNLOADER傳到EGINE的響應(yīng)response

  7. 爬蟲中間件(Spider Middlewares)位于EGINE和SPIDERS之間，主要工作是處理SPIDERS的輸入（即responses）和輸出（即requests）

安裝

#Windows平臺(tái)

    1、pip3 install wheel #安裝后，便支持通過wheel文件安裝軟件，wheel文件官網(wǎng)：https://www.lfd.uci.edu/~gohlke/pythonlibs

    3、pip3 install lxml

    4、pip3 install pyopenssl

    5、下載并安裝pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/

            https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe

    6、下載twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

           https://download.lfd.uci.edu/pythonlibs/r5uhg2lo/Twisted-18.9.0-cp36-cp36m-win_amd64.whl

    7、執(zhí)行pip3 install 下載目錄\Twisted-17.9.0-cp36-cp36m-win_amd64.whl （需先使用pip安裝wheel 支持whl 軟件包，然后把文件下載后，本地安裝）

    8、pip3 install scrapy

  

#Linux平臺(tái)

    1、pip3 install scrapy

常用命令

#1 查看幫助

    scrapy -h

    scrapy <command> -h

#2 有兩種命令：其中Project-only必須切到項(xiàng)目文件夾下才能執(zhí)行，而Global的命令則不需要

    Global commands:

        startproject #創(chuàng)建項(xiàng)目

        scrapy startproject amazon

        genspider    #創(chuàng)建爬蟲程序  指定名稱 限制爬取的網(wǎng)址

        scrapy genspider amzon www.amzon.cn

        settings     #如果是在項(xiàng)目目錄下，則得到的是該項(xiàng)目的配置

        scrapy settings --get BOT_NAME

        runspider    #運(yùn)行一個(gè)獨(dú)立的python文件，不必創(chuàng)建項(xiàng)目

        scrapy runspider amzon.py

        shell        #scrapy shell url地址  在交互式調(diào)試，如選擇器規(guī)則正確與否

        scrapy shell www.taobao.com

        fetch        #單純地爬取一個(gè)頁面，不打開瀏覽器，可以拿到請(qǐng)求頭

        scrapy fetch --nolog http://www.baidu.com 不輸出日志

             scrapy fetch --nolog --header http://www.baidu.com 不輸出日志  只查看頭信息

        view         #下載完畢后直接彈出瀏覽器，以此可以分辨出哪些數(shù)據(jù)是ajax請(qǐng)求

        scrapy view http://www.baidu.com

        version      #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依賴庫的版本

        scrapy version -v

            

            

    Project-only commands:

#必須先切換到對(duì)應(yīng)的目錄才能執(zhí)行

        crawl        #運(yùn)行爬蟲，必須創(chuàng)建項(xiàng)目才行，確保配置文件中ROBOTSTXT_OBEY = False

        scrapy crawl amzon

        check        #檢測(cè)項(xiàng)目中有無語法錯(cuò)誤

        scrapy check

        list         #列出項(xiàng)目中所包含的爬蟲名

        scrapy list

        edit         #編輯器，一般不用

        parse        #scrapy parse url地址 --callback 回調(diào)函數(shù)  #以此可以驗(yàn)證我們的回調(diào)函數(shù)是否正確

        bench        #scrapy bentch壓力測(cè)試

#3 官網(wǎng)鏈接

    https://docs.scrapy.org/en/latest/topics/commands.html

目錄結(jié)構(gòu)

project_name/

   scrapy.cfg

   project_name/

       __init__.py

       items.py

       pipelines.py

       settings.py

       spiders/

           __init__.py

           爬蟲1.py

           爬蟲2.py

           爬蟲3.py

文件說明：

scrapy.cfg  項(xiàng)目的主配置信息，用來部署scrapy時(shí)使用，爬蟲相關(guān)的配置信息在settings.py文件中。

items.py    設(shè)置數(shù)據(jù)存儲(chǔ)模板，用于結(jié)構(gòu)化數(shù)據(jù)，如：Django的Model

pipelines    數(shù)據(jù)處理行為，如：一般結(jié)構(gòu)化的數(shù)據(jù)持久化

settings.py 配置文件，如：遞歸的層數(shù)、并發(fā)數(shù)，延遲下載等。強(qiáng)調(diào):配置文件的選項(xiàng)必須大寫否則視為無效，正確寫法USER_AGENT='xxxx'

spiders      爬蟲目錄，如：創(chuàng)建文件，編寫爬蟲規(guī)則

注意：一般創(chuàng)建爬蟲文件時(shí)，以網(wǎng)站域名命名

import sys,os

sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

在pycharm中運(yùn)行爬蟲程序

在項(xiàng)目目錄下新建：entrypoint.py

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'amzon'])

網(wǎng)站欄目：一、Scrapy的簡(jiǎn)單使用-爬蟲
本文來源：http://www.chinadenli.net/article14/jigoge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、定制網(wǎng)站、自適應(yīng)網(wǎng)站、企業(yè)建站、Google、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)