Python爬取網易雲課堂課程數據

尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️

加入LINE好友

本人對於Python學習創建了一個小小的學習圈子,為各位提供了一個平台,大家一起來討論學習Python。歡迎各位到來
Python學習群:960410445一起討論視頻分享學習。Python是未來的發展方向,正在挑戰我們的分析能力及對世界的認知方式,因此,我們與時俱進,迎接變化,並不斷的成長,掌握Python核心技術,才是掌握真正的價值所在。

Python爬取網易雲課堂課程數據

我簡單的看了一下,頁面數據是基於

https://study.163.com/p/search/studycourse.json 這個地址進行異步加載的。你自己嘗試的時候需要借助開發者工具

進行多次嘗試,抓取到這個地址的數據為準。

還有一個地方需要注意,這次是post提交方式,並且提交數據是payload類型的,這個原因導致我們的代碼和以前的略微有一些不同的地方。

Python爬取網易雲課堂課程數據

提取post關鍵字,看一下各個參數的意思,如果你爬取的網站足夠多,那麼訓練出來的敏感度能夠快速的分析這些參數

Python爬取網易雲課堂課程數據

好了,可以開始編寫代碼了,核心的代碼就是通過requests模塊發送post請求

Python爬取網易雲課堂課程數據

因為獲取到的數據是json類型的,所以,數據可以快速的保存到mongodb里面,保存數據的代碼我依舊留空,希望你自己可以完善。

通過很短的時間,我們就捕獲到了3000門課程

Python爬取網易雲課堂課程數據

好了,需要代碼和Python學習視頻,可以加Python學習群:960410445

About 尋夢園
尋夢園是台灣最大的聊天室及交友社群網站。 致力於發展能夠讓會員們彼此互動、盡情分享自我的平台。 擁有數百間不同的聊天室 ,讓您隨時隨地都能找到志同道合的好友!