有一些網(wǎng)頁(yè)，內容優(yōu)質(zhì)，用戶(hù)也可以正常訪(fǎng)問(wèn)，但是Baidu spider卻無(wú)法正常訪(fǎng)問(wèn)并抓取，造成搜索結果覆蓋率缺失，對百度搜索引擎、對站點(diǎn)都是一種損失，百度把這種情況叫“抓取異常”。對于大量?jì)热轃o(wú)法正常抓取的網(wǎng)站，百度搜索引擎會(huì )認為網(wǎng)站存在用戶(hù)體驗上的缺陷，并降低對網(wǎng)站的評價(jià)，在抓取、索引，排序上都會(huì )受到一定程度的負面影響，最終影響到網(wǎng)站從百度獲取的流量。



下面介紹一些常見(jiàn)的抓取異常的原因。
(1)服務(wù)器連接異常。服務(wù)器連接異常會(huì )有兩種情況。一種是站點(diǎn)不穩定，Baidu spider嘗試連接網(wǎng)站的服務(wù)器時(shí)出現暫時(shí)無(wú)法連接的情況；另一種是Baidu spider一直無(wú)法連接上網(wǎng)站的服務(wù)器。造成服務(wù)器連接異常的原因通常是網(wǎng)站服務(wù)器過(guò)大，超負荷運轉。也有可能是網(wǎng)站運行不正常，請檢查網(wǎng)站的Web服務(wù)器(如apache、is)是否安裝且正常運行，并使用瀏覽器檢查主要頁(yè)面能否正常訪(fǎng)問(wèn)。網(wǎng)站和主機還可能阻止了Baidu spider的訪(fǎng)問(wèn)，需要檢查網(wǎng)站和主機的防火墻。
(2)網(wǎng)絡(luò )運營(yíng)商異常。網(wǎng)絡(luò )運營(yíng)商分電信和聯(lián)通兩種，Baidu spider通過(guò)電信或網(wǎng)通無(wú)法訪(fǎng)問(wèn)網(wǎng)站。如果出現這種情況，需要與網(wǎng)絡(luò )服務(wù)運營(yíng)商進(jìn)行聯(lián)系，或者購買(mǎi)擁有雙線(xiàn)服務(wù)的空間或者購買(mǎi)cdn服務(wù)。
(3)DNS異常。當Baidu spider無(wú)法解析網(wǎng)站的P時(shí)，會(huì )出現DNS異常?？赡苁蔷W(wǎng)站IP地址錯誤，或者域名服務(wù)商把Baidu spider封禁。請使用 WHOIS或者host查詢(xún)自己網(wǎng)站的IP地址是否正確且可解析，如果不正確或無(wú)法解析，請與域名注冊商聯(lián)系，更新IP地址。
(4)IP封禁。限制網(wǎng)絡(luò )的出口IP地址，禁止該P段的使用者進(jìn)行內容訪(fǎng)問(wèn)、，這里特指封禁了Baidu spider ip。當網(wǎng)站不希望Baidu spider訪(fǎng)問(wèn)時(shí)，才需要該設置，如果希望Baidu spider訪(fǎng)問(wèn)網(wǎng)站，請檢查相關(guān)設置中是否誤添了Baidu spider ip.。也有可能是網(wǎng)站所在的空間服務(wù)商把百度P進(jìn)行i了封禁，這日時(shí)需要聯(lián)系服務(wù)商更改設置。
(5)UA封禁。服務(wù)器通過(guò)UA識別訪(fǎng)問(wèn)者的身份。當網(wǎng)站針對指定UA的訪(fǎng)不希望Baidu spider訪(fǎng)間時(shí)，才需要該設置，如果您希望 Baidu spider訪(fǎng)問(wèn)您的網(wǎng)站 問(wèn)，返回異常頁(yè)面(如403，500)或跳轉到其他頁(yè)面的情況，即為UA封禁。當網(wǎng)站useragent相關(guān)的設置中是否有Baidu spider ua，并及時(shí)修改。
(6)死鏈。頁(yè)面已經(jīng)無(wú)效，無(wú)法對用戶(hù)提供任何有價(jià)值信息的頁(yè)面就是死鏈接， 包括協(xié)議死鏈和內容死鏈兩種形式協(xié)議死鏈。頁(yè)面的tcp狀態(tài)，http狀態(tài)明確表示的死鏈，常見(jiàn)的如404、403、503狀態(tài)等。內容死鏈。服務(wù)器返回狀態(tài)是正常的，但內容已經(jīng)變更為不存在，已刪或需要權限等與原內容無(wú)關(guān)的信息頁(yè)面。對于死鏈，建議站點(diǎn)使用協(xié)議死鏈，并通過(guò)百度站長(cháng)平臺—死結工具向百度提交，以便百度更快地發(fā)現死鏈，減少死鏈對用戶(hù)以及搜索引擎造成的負面影響。
(7)異常跳轉。將網(wǎng)絡(luò )請求重新指向其他位置即為跳轉。異常跳轉指的是以下幾種情況:
①當前該頁(yè)面為無(wú)效頁(yè)面(如內容已刪除。死鏈等)，直接跳轉到前一目錄或者首頁(yè)，百度建議站長(cháng)將該無(wú)效頁(yè)面的人口超鏈接刪除。
②跳轉到出錯或者無(wú)效頁(yè)面注意:對于長(cháng)時(shí)間跳轉到其他城名的情況，如網(wǎng)站更繞域名，百度建議使用301跳轉協(xié)議進(jìn)行設置。
(8)其他異常。
①針對百度reer的異常:網(wǎng)頁(yè)針對來(lái)自百度的mfe返回不同于正常內容的行為。
②針對百度ua的異常:網(wǎng)頁(yè)對百度UA返回不同于頁(yè)面原內容的行為。
③Js跳轉異常:網(wǎng)站設計加載了百度無(wú)法識別的N跳轉代碼，使得用戶(hù)通過(guò)搜索結果進(jìn)入頁(yè)面后發(fā)生了跳轉的情況。
④壓力過(guò)大引起的偶然封禁:百度會(huì )根據站點(diǎn)的規模、訪(fǎng)問(wèn)量等信息，自動(dòng)設定一個(gè)合理的抓取壓力。但是在異常情況下，如壓力控制失常時(shí)，服務(wù)器會(huì )根據自身負荷進(jìn)行保護性的偶然封禁。這種情況下，請在返回碼中返回503(其含義是Service Unavailable)，這樣Baidu spider會(huì )過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如果網(wǎng)站已空閑，則會(huì )被成功抓取。