重慶分公司
重慶分公司，新征程啟航
為企業(yè)提供網(wǎng)站建設(shè)、域名注冊(cè)、服務(wù)器等服務(wù)
python爬蟲開發(fā)基礎(chǔ)知識(shí)
- Request
請(qǐng)求方式 常用的有g(shù)et post
請(qǐng)求的url
第一部分是協(xié)議(或稱為服務(wù)方式)
第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號(hào))
第三部分是主機(jī)資源的具體地址，如目錄和文件名等
請(qǐng)求頭 包含請(qǐng)求時(shí)的頭部信息，如User-Agent,Host,Cookies等信息
請(qǐng)求體 請(qǐng)求時(shí)攜帶的數(shù)據(jù)，如提交表單數(shù)據(jù)時(shí)候的表單數(shù)據(jù) - Response
所有HTTP響應(yīng)的第一行都是狀態(tài)行，依次是當(dāng)前HTTP版本號(hào)，3位數(shù)字組成的狀態(tài)代碼，以及描述狀態(tài)的短語，彼此由空格分隔
相應(yīng)狀態(tài) 有多種響應(yīng)狀態(tài)，如：200代表成功，301跳轉(zhuǎn)，404找不到頁面，502服務(wù)器錯(cuò)誤
響應(yīng)頭 如內(nèi)容類型，類型的長度，服務(wù)器信息，設(shè)置Cookie
響應(yīng)體 最主要的部分，包含請(qǐng)求資源的內(nèi)容，如網(wǎng)頁HTMl,圖片，二進(jìn)制數(shù)據(jù)等
3.URL解析
urlparse
from urllib.parse import urlparse
result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
urlencode 這個(gè)方法可以將字典轉(zhuǎn)換為url參數(shù)
urlencode(params) params 是字典格式
4.Requests是用python語言基于urllib編寫的
response.text會(huì)出現(xiàn)亂碼的問題，所以這個(gè)使用response.content
這樣返回的數(shù)據(jù)格式其實(shí)是二進(jìn)制格式，然后通過decode()轉(zhuǎn)換為utf-8，這樣就解決了通過response.text直接返回顯示亂碼的問題.
Requests模塊允許使用params關(guān)鍵字傳遞參數(shù)，以一個(gè)字典來傳遞這些參數(shù)
response = requests.get("http://httpbin.org/get",params=data)
response = requests.post("http://httpbin.org/post",data=data)
文件上傳
files= {"files":open("git.jpeg","rb")}
response = requests.post("http://httpbin.org/post",files=files)
獲取cookie response.cookies
證書驗(yàn)證
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get("https://www.12306.cn",verify=False)
代理設(shè)置
requests.get("https://www.baidu.com",proxies=proxies)
認(rèn)證設(shè)置
response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
異常
所有的異常方法都在requests.exceptions，使用時(shí)根據(jù)需要進(jìn)行引入即可
當(dāng)前名稱：python爬蟲開發(fā)基礎(chǔ)知識(shí)
網(wǎng)站鏈接：http://www.xueling.net.cn/article/jddecp.html