上面介紹了影響B(tài)aidu spider正常抓取的原因，下面介紹Baidu spider的一些判斷原則。在建庫環(huán)節前，Baidu spider會(huì )對頁(yè)面進(jìn)行初步內容分析和鏈接分析，通過(guò)內容分析決定該網(wǎng)頁(yè)是否需要建索引庫，通過(guò)鏈接分析發(fā)現更多網(wǎng)頁(yè)，再對更多網(wǎng)頁(yè)進(jìn)行抓取—一分析是否建庫&發(fā)現新鏈接的流程。理論上，Baidu spider會(huì )將新頁(yè)面上所有能“看到”的鏈接都抓取回來(lái)。那么，面對眾多新鏈接， Bartender根據以下兩個(gè)方面判斷哪個(gè)更重要。



(1)對用戶(hù)的價(jià)值
①內容獨特，百度搜索引擎喜歡 unigue的內容。
②主體突出，切不要出現網(wǎng)站制作主體內容不突出而被搜索引擎誤判為空短頁(yè)面不抓取的情況。
③內容豐富。
④廣告適當。
 
(2)鏈接的重要程度
①目錄層級——淺層優(yōu)先。
②鏈接在站內的受歡迎程度。