? ? ? ?這把這種情況叫做“抓取異常”,對于大量內容無法正常抓取的網站,搜索引擎會認為網站存在用戶體驗上的缺陷,并會降低對網站的評價。使網站在抓取、索引、排序上都會受到一定程度的負面影響,最終影響網站從百度獲取流量。那么導致百度蜘蛛不能爬行網站的原因有哪些呢?下面百恒網絡就來和大家介紹一下。
? ? ? ?一、服務器連接異常
? ? ? ?服務器連接異常有兩種情況:一種是站點不穩定,蜘蛛嘗試連接網站的服務器時出現暫時無法連接的情況;另一種是蜘蛛一直無法連接網站的服務器。
? ? ? ?造成服務器連接異常的原因通常是網站服務器過大,超負荷運轉,也有可能是網站運行不正常。這時應檢查網站的Web服務器是否安裝且正常運行,并使用瀏覽器檢查主要頁面能否正常訪間。網站和主機還可能會阻止蜘蛛的訪問,這時需要檢查網站和主機的防火墻。
? ? ? ?二、網絡運營商異常
? ? ? ?國內的網絡運營商主要有電信和聯通。如果蜘蛛無法通過電信或聯通的網絡訪問網站,則需要與網絡運營商聯系,購買擁有雙線服務的空間,或者購買CDN服務。
? ? ? ?三、DNS異常
? ? ? ?當蜘蛛無法解析網站的IP地址時會出現DNS異常,這可能是網站IP錯誤或者域名服務商把蜘蛛封禁所致。可以使用WHOIS或者host查詢網站的IP地址是否正確且可解析,如果不正確或無法解析,應與域名注冊商聯系,更新IP地址。
? ? ? ?四、IP封禁
? ? ? ?IP封禁是指限制網絡的出口IP地址,禁止該IP段的使用者進行內容訪問,這里特指封禁蜘蛛的IP地址。當網站不希望蜘蛛訪問時,才需要進行該設置。如果希望蜘蛛訪問網站,應檢查相關設置中是否誤添加了蜘蛛的IP地址。也有可能是網站所在的空間服務商封禁了百度的IP地址,這時需要聯系服務商更改設置。?
? ? ? ?五、死鏈
? ? ? ?頁面已經無效,無法對用戶提供任何有價值信息的頁面就是死鏈,包括協議死鏈和內容死鏈兩種形式。協議死鏈,即頁面的Tcp/http協議狀態明確表示的死鏈,常見的有404,402、502狀態等。內容死鏈,即服務器返回狀態是正常的,但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面的死鏈。
? ? ? ?對于死鏈,百恒網絡建議使用協議死鏈,并通過站長平臺一死鏈工具提交,以便百度更快地發現死鏈,減少死鏈對用戶及搜索引擎造成的負面影響。