佣金中国 » 英文网站赚钱 » 我正在使用的robots.txt文件

BEFREE 发表于 2005-9-13 01:51

我正在使用的robots.txt文件

源代码：
User-agent: *
Robot-version: 2.0
Crawl-delay: 60
Request-rate: 60/1m
Disallow: /cgi-bin

作用，防止SE蜘蛛造成服务器当机

龙飞 发表于 2005-9-15 15:46

老大直接上传到网站根目录就行吗

BEFREE 发表于 2005-9-16 01:26

是的

axieaxie 发表于 2005-9-17 15:53

谢谢

查看完整版本: 我正在使用的robots.txt文件