Robots 协议

金留庆

全称是“网络爬虫排除标准”（Robots Exclusion Protocol）。文件名为 robots.txt

示例：
User-agent: Googlebot
Disallow: /images/
Disallow: /temp/
Disallow: /cgi-bin/

User-agent: *
Disallow: /temp/


格式：
Allow 表示允许抓取；
Disallow 表示禁止抓取；
# 开头的行为注释；
* 匹配任意多个字符以；
$ 匹配结束字符；
先写具体爬虫规则，最后写全部爬虫规则。

金留庆

#百度蜘蛛
User-agent: Baiduspider
#百度图片蜘蛛
User-agent: Baiduspider-image
#谷歌蜘蛛
User-agent: Googlebot
#必应蜘蛛（微软）
User-agent: MSNBot
#神马搜索蜘蛛（阿里）
User-agent: yisouspider
#360蜘蛛
User-agent: 360Spider
User-agent: HaoSouSpider
#360图片蜘蛛
360Spider-Image
#360视频蜘蛛
360Spider-Video
#有道蜘蛛（网易）
User-agent: YoudaoBot
#搜狗蜘蛛（搜狐）
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: Sogou blog
User-agent: Sogou News Spider
User-agent: Sogou Orion spider
#SOSO蜘蛛（腾讯）
User-agent: Sosospider
#中国搜索蜘蛛（中央）
User-agent: ChinasoSpider
#宜搜蜘蛛
User-agent: EasouSpider