robots爬蟲協(xié)議，相信很多SEOer或個人站長都不會感到陌生，即使剛?cè)胄械腟EO小白也略有耳聞。對于SEO小白來說，只是聽過robots爬蟲協(xié)議并不了解robots協(xié)議真正意義和用法。今天北京seo就來帶大家一探究竟，并教你玩轉(zhuǎn)robots協(xié)議。
什么是robots協(xié)議
robots(中文翻譯為機器人)，robots協(xié)議即搜索引擎爬蟲協(xié)議，它是搜索引擎爬蟲與網(wǎng)站站點溝通的“橋梁”。網(wǎng)站站點通過robots文件中的聲明規(guī)則明確告知搜索引擎爬蟲哪些文件/目錄可以抓取，哪些文件/目錄不可以抓取。
注意：如果網(wǎng)站站點存在不希望搜索引擎爬蟲抓取收錄的內(nèi)容是，才有必要創(chuàng)建robots.txt文件;如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，則無需建立robots.txt文件。
robots.txt文件的存放位置
通常，網(wǎng)站的robots.txt文件放置在網(wǎng)站根目錄下，便于搜索引擎爬蟲第一時間抓取該文件。
robots.txt文件格式
1、robots文件通常包含以一條或多條User-agent開始，后面加上若干條Disallow或Allow。
2、User-agent:用來描述搜索引擎robot的名字。
3、如果存在多條User-agent記錄說明有多個robot會受到"robots.txt"的限制，至少要有一條User-agent記錄。
4、如果User-agent的值設(shè)為*，則對任何robot均有效，且"User-agent:*"這樣的記錄只能有一條。
5、如果有"User-agent:SomeBot"和若干Disallow、Allow行，那么搜索引擎爬蟲名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
6、Disallow:用來描述不希望被訪問的一組URL。
7、這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開頭的URL不會被 robot訪問。
8、比如："Disallow:/help"這條規(guī)則表示的是禁止robot訪問/help.html、/helpabc.html、/help/index.html等。
9、比如："Disallow:/help/"這條規(guī)則表示的是允許robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。
10、"Disallow:"說明允許robot訪問該網(wǎng)站的所有url，robots.txt文件中，至少要有一條Disallow記錄。
11、如果網(wǎng)站根目錄下robots.txt不存在或者為空文件，則對于所有的搜索引擎爬蟲來說，該網(wǎng)站都是開放的。
12、Allow:用來描述希望被訪問的一組URL。
13、與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL 是允許robot訪問的。
14、比如："Allow:/hibaidu"這條規(guī)則表示的是允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。
15、使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來模糊匹配url("*" 匹配0或多個任意字符，"$" 匹配行結(jié)束符)。
北京SEO如何玩轉(zhuǎn)robots協(xié)議
1、禁止所有搜索引擎爬蟲訪問網(wǎng)站的任何內(nèi)容
User-agent: *
Disallow: /
2、允許所有搜索引擎爬蟲訪問網(wǎng)站的任何內(nèi)容
User-agent: *
Allow: /
3、僅禁止baidu搜索引擎爬蟲訪問網(wǎng)站的任何內(nèi)容
User-agent: Baiduspider
Disallow: /
User-agent: *
Allow: /
4、僅允許baidu搜索引擎爬蟲訪問網(wǎng)站的任何內(nèi)容
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
5、僅允許baidu及google爬蟲訪問網(wǎng)站的任何內(nèi)容
User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
6、僅允許baidu及360搜索引擎爬蟲訪問網(wǎng)站內(nèi)容，并且禁止抓取所有圖片和php網(wǎng)頁內(nèi)容
User-agent: Baiduspider
Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.bmp$
Disallow: /*.php$
User-agent: 360Spider
Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.bmp$
Disallow: /*.php$
User-agent: *
Disallow: /
其他的robots爬蟲協(xié)議規(guī)則，北京seo就不在這里給大家一一舉例了。大家可以自己去練習并理解，robots爬蟲協(xié)議也是很重要的。
