? ? ? ?站長朋友們都知道，robots是網站站點與搜索引擎蜘蛛程序溝通的重要渠道，站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄的部分。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，搜索引擎蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。那么在南昌網站建設中應如何設置Robots文件呢？下面我們就一起來看看吧！
? ? ? ?1、允許所有搜索引擎訪問
? ? ? ?User-agent: *
? ? ? ?Disallow:
? ? ? ?或者
? ? ? ?User-agent: *
? ? ? ?Allow: /
? ? ? ?在這里大家要注意下，可以直接建一個空文件 “robots.txt”然后放到網站的根目錄。
? ? ? ?2、禁止所有搜索引擎訪問
? ? ? ?User-agent: *
? ? ? ?Disallow: /
? ? ? ?或者
? ? ? ?User-agent: *
? ? ? ?allow:
? ? ? ?3、禁止所有搜索引擎訪問網站中的幾個部分，用aa、bb、cc目錄來代替
? ? ? ?User-agent: *
? ? ? ?Disallow: /aa/
? ? ? ?Disallow: /bb/
? ? ? ?Disallow: /cc/
? ? ? ?如果是允許，則是
? ? ? ?Allow: /aa/
? ? ? ?Allow: /bb/
? ? ? ?Allow: /cc/
? ? ? ?4、禁止某個搜索引擎的訪問，在此用x來代替
? ? ? ?User-agent: x
? ? ? ?Disallow: /
? ? ? ?或
? ? ? ?User-agent: x
? ? ? ?Disallow: /d/*.htm
? ? ? ?在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。?
? ? ? ?5、只允許某個搜索引擎的訪問，在此用f來代替
? ? ? ?User-agent: f
? ? ? ?Disallow:
? ? ? ?在Disallow：后面不加任何東西，意思是僅允許f訪問該網站。
? ? ? ?6、使用”$”限制訪問url
? ? ? ?User-agent: *
? ? ? ?Allow: .htm$
? ? ? ?Disallow: /
? ? ? ?意思是僅允許訪問以”.htm”為后綴的URL
?
? ? ? ?7、只允許搜索引擎E抓取網頁和.gif格式圖片
? ? ? ?User-agent: E
? ? ? ?Allow: .gif$
? ? ? ?Disallow: .jpg$
? ? ? ?Disallow: .jpeg$
? ? ? ?Disallow: .png$
? ? ? ?Disallow: .bmp$
? ? ? ?意思是只允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片
? ? ? ?關于robots文件的使用方法就先介紹到這里了，如果還有哪些不明白的地方，可隨時來電和我們聯系。此外，百恒網絡專注于南昌做網站、小程序開發、物聯網開發等服務。如有需要，我們將隨時為您效勞！
十三年專注于網站建設與互聯網應用開發，低調、有情懷的網絡應用服務商！
全國服務熱線：400-680-9298，0791-88117053 
贛公網安備 36010202000052號
售前咨詢