本篇代碼提供者: 青燈教育-自游老師

[環(huán)境使用]:

• Python 3.8
• Pycharm

[模塊使用]:

• requests >>> pip install requests
• re
• json
• csv

如果安裝python第三方模塊:

1. win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車
2. 在pycharm中點擊Terminal(終端) 輸入安裝命令

如何配置pycharm里面的python解釋器?

1. 選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)

   

   創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供梅州網(wǎng)站建設、梅州做網(wǎng)站、梅州網(wǎng)站設計、梅州網(wǎng)站制作等企業(yè)網(wǎng)站建設、網(wǎng)頁設計與制作、梅州企業(yè)網(wǎng)站模板建站服務，10余年梅州做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡服務。

2. 點擊齒輪, 選擇add

3. 添加python安裝路徑

pycharm如何安裝插件?

1. 選擇file(文件) >>> setting(設置) >>> Plugins(插件)

2. 點擊 Marketplace 輸入想要安裝的插件名字 比如:翻譯插件 輸入 translation / 漢化插件 輸入 Chinese

3. 選擇相應的插件點擊 install(安裝) 即可

4. 安裝成功之后 是會彈出 重啟pycharm的選項 點擊確定, 重啟即可生效

基本流程思路: <可以通用>

一. 數(shù)據(jù)來源分析

網(wǎng)頁開發(fā)者工具進行抓包分析....

1. F12打開開發(fā)者工具, 刷新網(wǎng)頁
2. 通過關鍵字進行搜索, 找到相應的數(shù)據(jù), 查看response響應數(shù)據(jù)
3. 確定數(shù)據(jù)之后, 查看headers確定請求url地址 請求方式 以及 請求參數(shù)

二. 代碼實現(xiàn)過程:

1. 發(fā)送請求, 用python代碼模擬瀏覽器對于url地址發(fā)送請求
2. 獲取數(shù)據(jù), 獲取服務器返回response響應數(shù)據(jù)
3. 解析數(shù)據(jù), 提取我們想要招聘信息數(shù)據(jù)
4. 保存數(shù)據(jù), 保存到表格文件里面

代碼

導入模塊

# 導入數(shù)據(jù)請求模塊
import requests
# 導入正則表達式模塊
import re
# 導入json模塊
import json
# 導入格式化輸出模塊
import pprint
# 導入csv模塊
import csv
# 導入時間模塊
import time
# 導入隨機模塊
import random
# 有沒有用utf-8保存表格數(shù)據(jù),亂碼的?
f= open('data多頁_1.csv', mode='a', encoding='utf-8', newline='')  # 打開一個文件 data.csv
csv_writer= csv.DictWriter(f, fieldnames=[
'職位',
'城市',
'經(jīng)驗',
'學歷',
'薪資',
'公司',
'福利待遇',
'公司領域',
'公司規(guī)模',
'公司類型',
'發(fā)布日期',
'職位詳情頁',
'公司詳情頁',
])
csv_writer.writeheader()