robots.txt寫作語法
首先,我們來看一個robots.txt範例:http://www.robotstxt.cn
訪問以上具體位址,我們可以看到robots.txt的具體內容如下:
# Robots.txt file from http://www.robotstxt.cn
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表達的意思是允許所有的搜索機器人訪問www.seovip.cn網站下的所有檔。
具體語法分析:其中#後面文字為說明資訊;User-agent:後面為搜索機器人的名稱,後面如果是*,則泛指所有的搜索機器人;Disallow:後面為不允許訪問的檔目錄。