打開網(wǎng)頁(yè)源碼中，可以發(fā)現(xiàn)數(shù)據(jù)不在網(wǎng)頁(yè)源碼中，按F12抓包分析時(shí)，才發(fā)現(xiàn)在一個(gè)json文件中，如下2獲取到j(luò)son文件的url后，我們就可以爬取對(duì)應(yīng)數(shù)據(jù)了，這里使用的包與上面類似，因?yàn)槭莏son文件，所以還用了json這個(gè)包解析。

生成Request的時(shí)候與一般的網(wǎng)頁(yè)是相同的，提交Request后scrapy就會(huì)下載相應(yīng)的網(wǎng)頁(yè)生成Response，這時(shí)只用解析responsebody按照解析json的方法就可以提取數(shù)據(jù)了代碼示例如下以京東為例，其中的parse_phone_price和parse_commnets是通過(guò)json提取的。

點(diǎn)擊運(yùn)行這個(gè)程序，效果如下，已經(jīng)成功爬取到我們需要的數(shù)據(jù)至此，我們就完成了利用python網(wǎng)絡(luò)爬蟲來(lái)獲取網(wǎng)站數(shù)據(jù)總的來(lái)說(shuō)，整個(gè)過(guò)程非常簡(jiǎn)單，python內(nèi)置了許多網(wǎng)絡(luò)爬蟲包和框架scrapy等，可以快速獲取網(wǎng)站數(shù)據(jù)，非常適合。

以下代碼調(diào)試通過(guò)import pandas as pdimport json demo = #39quotprogrammersquot quotfirstNamequot quotBrettquot，quotlastNamequot quotMcLaughlinquot，quotemailquot quotaaaaquot， quotfirstNamequot quotJasonquot，quotlastNamequot quotHunterquot，quotemailquot quot。

Python爬取網(wǎng)頁(yè)動(dòng)態(tài)數(shù)據(jù) 很多種情況下，網(wǎng)頁(yè)數(shù)據(jù)都是動(dòng)態(tài)加載的，直接爬取網(wǎng)頁(yè)是提取不到任何數(shù)據(jù)的，這時(shí)就需要抓包分析，找到動(dòng)態(tài)加載的數(shù)據(jù)，一般情況下就是一個(gè)json文件當(dāng)然，也可能是其他類型的文件，像xml等，然后。