一、前提條件

• 安裝了Fiddler了（用于抓包分析）
• 谷歌或火狐瀏覽器
• 如果是谷歌瀏覽器，還需要給谷歌瀏覽器安裝一個SwitchyOmega插件，用于代理服務器
• 有Python的編譯環境，一般選擇Python3.0及以上

聲明：本次爬取騰訊視頻里 《最美公里》紀錄片的評論。本次爬取使用的瀏覽器是谷歌瀏覽器

二、分析思路

1、分析評論頁面

根據上圖，我們可以知道：評論使用了Ajax異步刷新技術。這樣就不能使用以前分析當前頁面找出規律的手段了。因為展示的頁面只有部分評論，還有大量的評論沒有被刷新出來。

這時，我們應該想到使用抓包來分析評論頁面刷新的規律。以后大部分爬蟲，都會先使用抓包技術，分析出規律！

2、使用Fiddler進行抓包分析——得出評論網址規律

fiddler如何抓包，這個知識點，需要讀者自行去學習，不在本博客討論范圍。

把上面兩張圖里面的內容對比一下，可以知道這個JS就是評論存放頁面。（這需要大家一個一個找，一般Ajax都是在JS里面，所以這也找JS進行對比即可）

我們復制這個JS的url：右擊 > copy > Just Url

大家可以重復操作幾次，多找幾個JS的url，從url得出規律。下圖是我刷新了4次得到的JS的url：

根據上圖，我們發現url不同的地方有兩處：一是cursor=？；二是_=？。

我們很快就能發現 _=？的規律，它是從1576567187273加1。而cursor=？的規律看不出來。這個時候找到它的規律呢？

（1）百度一下，看前人有沒有爬取過類型的網站，根據他們的規律和方法，去找出規律；

（2）羊毛出在羊身上。我們需要有的大膽想法——會不會這個cursor=?可以根據上一個JS頁面得到呢？這只是很多大膽想法中的一個，我們就一個想法一個想法的試試。

我們就采用第二種方法，去js里面找。復制其中一個url為：

url = https://video.coral.qq.com/varticle/3242201702/comment/v2?callback=_varticle3242201702commentv2&orinum=10&oriorder=o&pageflag=1&cursor=6460163812968870071&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=132&_=1576567187273