網(wǎng)站seo優(yōu)化爬取詳細信息
日期 : 2020-09-30 15:40:02
爬取詳細信息。
首先,現在Element找到每部分內容所在的標簽,標簽相同的,通過(guò)get＿attribute查找屬性確定位置。
其次,與json方法一樣,將每個(gè)小標簽賦予空值,防止找不到該小標簽影響整個(gè)頁(yè)面的爬取。
接著(zhù),通過(guò)find＿elements＿by＿css＿selector用法,將定位好的內容爬取下來(lái),并賦值給對應的變量。
最后,將所有變量整合,放進(jìn)列表ulist1中,方便后續寫(xiě)入Excel。為方便后續數據的處理、分析和研究,將爬取下來(lái)的內容保存到Excel中,對于爬取數據量大的,亦可以保存到MongoDB中。
首先,現在Element找到每部分內容所在的標簽,標簽相同的,通過(guò)get＿attribute查找屬性確定位置。
其次,與json方法一樣,將每個(gè)小標簽賦予空值,防止找不到該小標簽影響整個(gè)頁(yè)面的爬取。
接著(zhù),通過(guò)find＿elements＿by＿css＿selector用法,將定位好的內容爬取下來(lái),并賦值給對應的變量。
最后,將所有變量整合,放進(jìn)列表ulist1中,方便后續寫(xiě)入Excel。為方便后續數據的處理、分析和研究,將爬取下來(lái)的內容保存到Excel中,對于爬取數據量大的,亦可以保存到MongoDB中。
相關(guān)文章
精彩導讀
熱門(mén)資訊
