前言

嗨嘍，大家好呀~這里是愛看美女的茜茜吶

成都創新互聯公司是一家專注于網站制作、做網站與策劃設計,江漢網站建設哪家好?成都創新互聯公司做網站,專注于網站建設十余年,網設計領域的專業建站公司;建站業務涵蓋:江漢等地區。江漢做網站價格咨詢:18980820575

代碼提供者：青燈教育-巳月

知識點:

• 動態數據抓包
• requests發送請求
• 結構化+非結構化數據解析

準備工作

下面的盡量跟我保持一致哦~不然有可能會發生報錯 ????

開發環境:

• python 3.8
  運行代碼
• pycharm 2021.2
  輔助敲代碼
• requests
  第三方模塊 pip install 模塊名

如果安裝python第三方模塊:

1. win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車

2. 在pycharm中點擊Terminal(終端) 輸入安裝命令

如何配置pycharm里面的python解釋器?

1. 選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)

2. 點擊齒輪, 選擇add

3. 添加python安裝路徑

pycharm如何安裝插件?

1. 選擇file(文件) >>> setting(設置) >>> Plugins(插件)

2. 點擊 Marketplace 輸入想要安裝的插件名字 比如:翻譯插件 輸入 translation / 漢化插件 輸入 Chinese

3. 選擇相應的插件點擊 install(安裝) 即可

4. 安裝成功之后 是會彈出 重啟pycharm的選項 點擊確定, 重啟即可生效

軟件、解答、源碼、教程可以加Q群:免費獲取~

代碼

采集排名數據

import requests
import re
import csv
def replace(str_):
    str_ = re.findall('
(.*?)
', str_)[0]
    return str_
   
with open('rank.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['country', 'rank', 'region', 'score_1', 'score_2', 'score_3', 'score_4', 'score_5', 'score_6', 'stars', 'total_score', 'university', 'year'])
url = 'https://www.qschina.cn/sites/default/files/qs-rankings-data/cn/_indicators.txt'
response = requests.get(url=url)
json_data = response.json()
data = json_data['data']
for i in data:
    country = i['location'] # 國家/地區
    rank = i['overall_rank']    # 排名
    region = i['region']    # 大洲
    score_1 = replace(i['ind_76'])  # 學術聲譽
    score_2 = replace(i['ind_77'])  # 雇主聲譽
    score_3 = replace(i['ind_36'])  # 師生比
    score_4 = replace(i['ind_73'])  # 教員引用率
    score_5 = replace(i['ind_18'])  # 國際教室
    score_6 = replace(i['ind_14'])  # 國際學生
    stars = i['stars']  # 星級
    total_score = replace(i['overall']) # 總分
    university = i['uni']   # 大學
    university = re.findall('
(.*?)