閑暇寫一個(gè)外包網(wǎng)站的爬蟲，萬一你從這個(gè)外包網(wǎng)站弄點(diǎn)外快呢

創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括新津縣網(wǎng)站建設(shè)、新津縣網(wǎng)站制作、新津縣網(wǎng)頁(yè)制作以及新津縣網(wǎng)絡(luò)營(yíng)銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，新津縣網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到新津縣省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

數(shù)據(jù)分析

官方網(wǎng)址為 https://www.clouderwork.com/

進(jìn)入全部項(xiàng)目列表頁(yè)面，很容易分辨出來項(xiàng)目的分頁(yè)方式

得到異步請(qǐng)求

Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope=
Request Method:GET
Status Code:200 OK

參數(shù)如下

    ts:1546395904852  # 時(shí)間戳
    keyword:   # 搜索關(guān)鍵字，查找全部，使用空即可
    budget_range:   # 暫時(shí)無用
    work_status:
    pagesize:20   # 每頁(yè)數(shù)據(jù)量
    pagenum:3   # 頁(yè)碼
    sort:1   # 排序規(guī)則
    scope:
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

下面就是拼接請(qǐng)求了，一下確定request相關(guān)參數(shù)

Accept:application/json, text/javascript, */*; q=0.01
Accept-Encoding:gzip, deflate, br
Accept-Language:zh-CN,zh;q=0.9
Connection:keep-alive
Cookie:
Host:www.clouderwork.com
Referer:https://www.clouderwork.com/jobs?keyword=
User-Agent:Mozilla/5.0 你自己的UA QQBrowser/10.3.3006.400
X-Requested-With:XMLHttpRequest

采用爬蟲scrapy
這個(gè)網(wǎng)站沒有反爬措施，所以直接上就可以了

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
import time
import json

class CloudeworkSpider(scrapy.Spider):
    name = 'cloudework'
    allowed_domains = ['www.clouderwork.com']
    start_url = 'https://www.clouderwork.com/api/v2/jobs/search?ts={times}&keyword=&budget_range=&work_status=&pagesize={pagesize}&pagenum={pagenum}&sort=1&scope='

    def start_requests(self):
        for page in range(1,353):
            yield Request(self.start_url.format(times=time.time(),pagesize=20,pagenum=page))

    def parse(self, response):
        json_data = json.loads(response.text)
        for item in  json_data["jobs"]:
            yield item

存儲(chǔ)數(shù)據(jù)到mongodb中，合計(jì)爬取到7000+數(shù)據(jù)

數(shù)據(jù)分析

從mongdo讀取數(shù)據(jù)

import pymongo
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用來正常顯示中文標(biāo)簽
plt.rcParams['axes.unicode_minus']=False #用來正常顯示負(fù)號(hào)
# 連接數(shù)據(jù)庫(kù)
client = pymongo.MongoClient("localhost",27017)
cloud = client["cloud"]
collection = cloud["cloudework"]

# 加載數(shù)據(jù)
data = DataFrame(list(collection.find()))

結(jié)果顯示為 [7032 rows x 35 columns]

查看數(shù)據(jù)基本情況

使用直接data.shape可以查看一下數(shù)據(jù)的基本情況

查看一下工期的分布

periods = data.groupby(["period"]).size()

x = periods.index 
y = periods.values 
plt.figure()
plt.scatter(x,y, color="#03a9f4", alpha = 0.5) # 繪制圖表
plt.xlim((0, 360))
plt.ylim((0, 2000))
plt.xlabel("工期")
plt.ylabel("項(xiàng)目數(shù)")
plt.show()

可以看到數(shù)據(jù)散點(diǎn)集中在0?50天

過濾一下40天以內(nèi)的數(shù)據(jù)

periods = data.groupby(["period"]).size().reset_index(name="count")

df = periods[periods["period"]<=40]

x = df["period"]
y = df["count"]

plt.figure()
plt.scatter(x,y,label='項(xiàng)目數(shù)折線',color="#ff44cc")
plt.title("工期對(duì)應(yīng)項(xiàng)目數(shù)")
plt.xlim((0, 360))
plt.ylim((0, 500))
plt.show()

發(fā)現(xiàn)竟然有1天工期的任務(wù)，可以瞅瞅都是什么任務(wù)

periods = data.groupby(["period"]).size()
data[data["period"]==1][["name","period"]]

果然比較簡(jiǎn)單唉~~不過也沒有多少錢，有個(gè)急活1000￥

查看閱覽量排行Top10

views = data["views_count"]
top10 = views.sort_values(ascending=False)[:10]

top10 = data[data.views_count.isin(top10.values)][["name","views_count","period","summary"]]
top10
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

查閱一下開發(fā)模式

看一下什么類型的項(xiàng)目比較多???數(shù)據(jù)上反應(yīng)，網(wǎng)絡(luò)網(wǎng)站和APP最多了，所以這方面的技能的大神么，可以沖一波了

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

標(biāo)題名稱：Python爬蟲入門【23】：scrapy爬取云沃客項(xiàng)目外包網(wǎng)數(shù)據(jù)！-創(chuàng)新互聯(lián)
文章出自：http://www.chinadenli.net/article46/dcsjhg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、App設(shè)計(jì)、外貿(mào)建站、域名注冊(cè)、標(biāo)簽優(yōu)化、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)