由rvest函數包配合Selector Gadget工具實(shí)現R語(yǔ)言在網(wǎng)頁(yè)信息爬取上的應用這個(gè)方法, 與采用XML包和RCurl包進(jìn)行爬取相比, 更加簡(jiǎn)單, 代碼更加簡(jiǎn)潔直觀(guān)。R中的rvest包將原本復雜的網(wǎng)頁(yè)爬蟲(chóng)工作壓縮到讀取網(wǎng)頁(yè), 檢索網(wǎng)頁(yè)和提取文本, 使其變得非常簡(jiǎn)單, 而且根據網(wǎng)頁(yè)的規律, 運用for () 循環(huán)函數進(jìn)行實(shí)現多張網(wǎng)頁(yè)的信息爬取。而使用XML包和RCurl包進(jìn)行實(shí)現, 則需要一些關(guān)于網(wǎng)頁(yè)的基礎知識, 模擬瀏覽器行為偽裝報頭, 接著(zhù)訪(fǎng)問(wèn)頁(yè)面解析網(wǎng)頁(yè), 然后定位節點(diǎn)獲取信息, 最后再將信息整合起來(lái)。該方法更為困難繁瑣, 在訪(fǎng)問(wèn)網(wǎng)頁(yè)時(shí)有時(shí)并不能順利讀取解析, 并且在選取節點(diǎn)的時(shí)候需要HTML的基礎知識, 在網(wǎng)頁(yè)源代碼中找尋, 有些網(wǎng)頁(yè)的源代碼相當復雜, 并不易于定位節點(diǎn)。
兩種實(shí)現的方法所能達到的效果基本大同小異, 而且利用for () 循環(huán)函數可以實(shí)現多網(wǎng)頁(yè)數據的爬取, 從上手角度上講, rvest包顯示是更勝一籌, 是XML包和RCurl包的進(jìn)化, 更加簡(jiǎn)潔方便。而除此之外, 用Python實(shí)現網(wǎng)絡(luò )爬蟲(chóng)也是很受歡迎。Python的pandas模塊工具借鑒了R的dataframes, 而R中的rvest包則參考了Python的Beautiful Soup, 兩種語(yǔ)言在一定程度上存在互補性。Python在實(shí)現網(wǎng)絡(luò )爬蟲(chóng)上更有優(yōu)勢, 但就網(wǎng)頁(yè)數據爬取方面而言, 基于R語(yǔ)言工具進(jìn)行實(shí)現, 更加簡(jiǎn)潔方便, 而且R在統計分析上是一種更高效的獨立數據分析工具, 運用R語(yǔ)言獲取的數據避免了平臺環(huán)境轉換的繁瑣, 從數據獲取、數據清洗到數據分析, 代碼環(huán)境、平臺保持了一致性。
本文地址：http://havencoinwallet.com//article/20719.html
