尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️
本人對於Python學習創建了一個小小的學習圈子,為各位提供了一個平台,大家一起來討論學習Python。歡迎各位到來
Python學習群:960410445一起討論視頻分享學習。Python是未來的發展方向,正在挑戰我們的分析能力及對世界的認知方式,因此,我們與時俱進,迎接變化,並不斷的成長,掌握Python核心技術,才是掌握真正的價值所在。
我簡單的看了一下,頁面數據是基於
https://study.163.com/p/search/studycourse.json 這個地址進行異步加載的。你自己嘗試的時候需要借助開發者工具
進行多次嘗試,抓取到這個地址的數據為準。
還有一個地方需要注意,這次是post提交方式,並且提交數據是payload類型的,這個原因導致我們的代碼和以前的略微有一些不同的地方。
提取post關鍵字,看一下各個參數的意思,如果你爬取的網站足夠多,那麼訓練出來的敏感度能夠快速的分析這些參數
好了,可以開始編寫代碼了,核心的代碼就是通過requests模塊發送post請求
因為獲取到的數據是json類型的,所以,數據可以快速的保存到mongodb里面,保存數據的代碼我依舊留空,希望你自己可以完善。
通過很短的時間,我們就捕獲到了3000門課程
好了,需要代碼和Python學習視頻,可以加Python學習群:960410445