企業(yè)網(wǎng)站設計限定爬蟲(chóng)
日期 : 2020-10-21 18:39:41
限定爬蟲(chóng)。藏文網(wǎng)頁(yè)搜索使用的爬蟲(chóng), 是一種限定爬蟲(chóng), 在爬蟲(chóng)的功能定位上只抓取藏文的網(wǎng)頁(yè), 本質(zhì)是對網(wǎng)頁(yè)文本所用語(yǔ)言的限定。藏文網(wǎng)頁(yè)的限定爬蟲(chóng), 表面上是限定語(yǔ)言, 具體操作層面需要通過(guò)限定IP、限定URL、限定charset來(lái)實(shí)現。
限定爬蟲(chóng)就是對爬蟲(chóng)所爬取的主機的范圍做一些限制, 通常, 限定爬蟲(chóng)包含以下幾個(gè)方面: (1) 限定域名的爬蟲(chóng)。比如, 只抓取edu.cn結尾的域名; (2) 限定爬取層數的爬蟲(chóng)。比如, 限定只抓取2層的數據; (3) 限定IP的抓取。比如, 只抓取西藏自治區內的IP; (4) 限定語(yǔ)言的抓取。比如, 只抓取中文漢字頁(yè)面。
抓取藏文網(wǎng)頁(yè)一方面要設計限定爬蟲(chóng), 另一方面建立動(dòng)態(tài)更新的藏文網(wǎng)站域名庫、藏文網(wǎng)站主機IP庫, 配合限定爬蟲(chóng)工作。目前已有部分藏文網(wǎng)站在頁(yè)面中加入了標記, 如中國藏學(xué)網(wǎng)采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網(wǎng)采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學(xué)網(wǎng)采用的是<html lang="bo">?？梢愿鶕W(wǎng)頁(yè)代碼中的標記來(lái)識別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫和藏文網(wǎng)站主機IP庫, 需要人工操作, 人為添加一些地址, 這方面參照現在互聯(lián)網(wǎng)廣泛使用的“純真IP數據庫”實(shí)現。
限定爬蟲(chóng)就是對爬蟲(chóng)所爬取的主機的范圍做一些限制, 通常, 限定爬蟲(chóng)包含以下幾個(gè)方面: (1) 限定域名的爬蟲(chóng)。比如, 只抓取edu.cn結尾的域名; (2) 限定爬取層數的爬蟲(chóng)。比如, 限定只抓取2層的數據; (3) 限定IP的抓取。比如, 只抓取西藏自治區內的IP; (4) 限定語(yǔ)言的抓取。比如, 只抓取中文漢字頁(yè)面。
抓取藏文網(wǎng)頁(yè)一方面要設計限定爬蟲(chóng), 另一方面建立動(dòng)態(tài)更新的藏文網(wǎng)站域名庫、藏文網(wǎng)站主機IP庫, 配合限定爬蟲(chóng)工作。目前已有部分藏文網(wǎng)站在頁(yè)面中加入了標記, 如中國藏學(xué)網(wǎng)采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網(wǎng)采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學(xué)網(wǎng)采用的是<html lang="bo">?？梢愿鶕W(wǎng)頁(yè)代碼中的標記來(lái)識別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫和藏文網(wǎng)站主機IP庫, 需要人工操作, 人為添加一些地址, 這方面參照現在互聯(lián)網(wǎng)廣泛使用的“純真IP數據庫”實(shí)現。
相關(guān)文章
精彩導讀
熱門(mén)資訊
