本篇內容介紹了“怎么用Python代碼實現新聞爬蟲”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

成都創新互聯公司基于分布式IDC數據中心構建的平臺為眾多戶提供川西大數據中心 四川大帶寬租用 成都機柜租用 成都服務器租用。

新聞源：Reddit

我們可以通過Reddit提交新聞鏈接并為之投票，因此Reddit是個很好的新聞來源。但接下來的問題是：怎樣才能獲取每天最流行的新聞?在考慮抓取之前，我們應該先考慮目標網站有沒有提供API。因為使用API完全合法，更重要的是它能提供機器可讀的數據，這樣就無需再分析HTML了。幸運的是Reddit提供了API。我們可以從API列表中找到所需的功能：/top。該功能可以返回Reddit或指定subreddit上最流行的新聞。接下來的問題是：這個API怎么用?仔細閱讀了Reddit的文檔之后，我找到了最有效的用法。第一步：在Reddit上創建一個應用。登錄之后前往“preferences  → apps”頁面，底部有個名為“create another app...”的按鈕。點擊后創建一個“script”類型的應用。我們不需要提供“about  url”或“redirect url”，因為這個應用不對公眾開放，也不會被別人使用。

應用創建之后，可以在應用信息里找到App ID和Secret。

下個問題是如何使用App  ID和Secret。由于我們只需獲取指定SubReddit上最流行的新聞，而無需訪問任何與用戶相關的信息，所以理論上來說我們無需提供用戶名或密碼之類的個人信息。Reddit提供了“Application  Only  OAuth”的形式，通過這種方式，應用可以匿名訪問公開的信息。運行下面這條命令：

$ curl -X POST -H 'User-Agent: myawesomeapp/1.0' -d grant_type=client_credentials --user 'OUR_CLIENT_ID:OUR_CLIENT_SECRET'  https://www.reddit.com/api/v1/access_token

該命令會返回access token：

{"access_token": "ABCDEFabcdef0123456789", "token_type": "bearer", "expires_in": 3600, "scope": "*"}

太好了!有了access  token之后就可以大展拳腳了。最后，如果不想自己寫API的訪問代碼的話，可以使用Python客戶端：https://github.com/praw-dev/praw先做一下測試，從/r/Python獲取最流行的5條新聞：

>>> import praw >>> import pprint >>> reddit = praw.Reddit(client_id='OUR_CLIENT_ID', ...                      client_secret='OUR_SECRET', ...                      grant_type='client_credentials', ...                      user_agent='mytestscript/1.0') >>> subs = reddit.subreddit('Python').top(limit=5) >>> pprint.pprint([(s.score, s.title) for s in subs]) [(6555, 'Automate the boring stuff with python - tinder'),  (4548,   'MS is considering official Python integration with Excel, and is asking for '   'input'),  (4102, 'Python Cheet Sheet for begineers'),  (3285,   'We started late, but we managed to leave Python footprint on r/place!'),  (2899, "Python Section at Foyle's, London")]

成功了!

抓取新聞頁面

下一步的任務是抓取新聞頁面，這其實很簡單。通過上一步我們可以得到Submission對象，其URL屬性就是新聞的地址。我們還可以通過domain屬性過濾掉那些屬于Reddit自己的URL：

subs = [sub for sub in subs if not sub.domain.startswith('self.')]

我們只需要抓取該URL即可，用Requests很容易就可以做到：

for sub in subs:   res = requests.get(sub.url)   if (res.status_code == 200 and 'content-type' in res.headers and       res.headers.get('content-type').startswith('text/html')):     html = res.text

這里我們略過了content type不是text/html的新聞地址，因為Reddit的用戶有可能會提交直接指向圖片的鏈接，我們不需要這種。

提取新聞內容

下一步是從HTML中提取內容。我們的目標是提取新聞的標題和正文，而且可以忽略其他不需要閱讀的內容，如頁首、頁腳、側邊欄等。這項工作很難，其實并沒有通用的完美解決辦法。雖然BeautifulSoup可以幫我們提取文本內容，但它會連頁首頁腳一起提取出來。不過幸運的是，我發現目前網站的結構比以前好很多。沒有表格布局，也沒有和和
，整個文章頁面清晰地用

和

標出了標題和每個段落。而且絕大部分網站會把標題和正文放在同一個容器元素中，比如像這樣：

Site Navigation
    
     Page Title