robots.txt協議

2018年6月24日00:15:12 發表評論 285

robots.txt是網站對搜索引擎進行訪問權限及訪問路徑的命令設置。

搜索引擎蜘蛛在爬行一個網站的時候,首先會訪問這個robots.txt文件。通過這個文件內的命令要求,再來依次訪問網站的路徑和內容。在很多seo學習論壇中,我們經常會看到很多站長都在講robots,由此可見,robots對于網站優化也是不可或缺的一部分!

robots的書寫有以下幾種:

1:允許所有搜索引擎爬行,抓取的書寫形式:

User-agent: *

Disallow:

或者

User-agent: *

Allow:/

建立一個空白的robots.txt放置在網站根目錄下,同樣也是起到允許所有搜索引擎爬行抓取的命令!

robots.txt協議

2:禁止所有搜索引擎訪問

User-agent: *

Disallow: /

或者

User-agent: *

allow:

3:禁止所有搜索引擎訪問網站中的幾個部分,這里以1,2,3代替目錄名稱

User-agent: *

Disallow: /1/

Disallow: /2/

Disallow: /3/

4:禁止某個搜索引擎的訪問

User-agent: 某個搜索引擎名稱

Disallow: /

5:只允許某個搜索引擎的訪問

User-agent: 某個搜索引擎名稱

Disallow:

這些都是常用的幾種robots.txt書寫形式。站長們可以根據自己網站的需求,通過上述命令的變形來書寫更多的robots形式。

weinxin
我的微信
本站專注IT互聯網領域,分享有用的教程和資源,目的就是希望大家共同進步,一起學習!
IT教程網

發表評論

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: