robots文件的規范寫(xiě)法

robots文件的規范寫(xiě)法

robots文件的規范寫(xiě)法

以下是應屆畢業(yè)生網(wǎng)為大家整理好的有關(guān)SEO網(wǎng)站優(yōu)化的知識，希望對大家有所幫助！

一、概念

1、網(wǎng)站和搜索引擎之間的.協(xié)議文件

2、蜘蛛爬行網(wǎng)站的第一個(gè)要訪(fǎng)問(wèn)的文件

3、屏蔽內容：不想被抓取的隱私內容,后臺、數據庫文件、模板、插件文件...或者做了偽靜態(tài)就屏蔽動(dòng)態(tài)路徑

二、robots語(yǔ)法

1、User-agent 定義搜索引擎類(lèi)型

2、Disallow 定義禁止抓取收錄地址

3、Allow 定義允許抓取收錄地址

4、* 匹配0或多個(gè)任意字符

5、$ 結束符

6、% 代表中文路徑

7、? 代表動(dòng)態(tài)路徑

8、Sitemap 網(wǎng)站地圖

三、robots寫(xiě)法舉例

User-agent: *

Disallow: /plus

Disallow: /include

Disallow: /templets

Disallow: /data

Disallow: /dedemao

Disallow: /install