Yisouspider

星期一, 2018-10-01 04:48 — adminshiping1

神马搜索根据网站规模、服务能力、页面质量、更新速度等因素决定对网站的访问频率。通常更新快、质量高的网站Yisouspider访问频率相对较高。如果您发现Yisouspider非正常抓取您的网站，请反馈给神马搜索，并请尽量给出Yisouspider的访问日志便于跟踪处理。

关于robots协议

robots.txt是搜索引擎访问网站时要访问的第一个文件，以确定哪些网页是允许或禁止抓取的。Yisouspider遵守robots.txt协议。如您希望完全禁止神马访问或对部分目录禁止访问，您可以通过robots.txt文件来设置内容，限定Yisouspider的访问权限。

如果您开通了CNZZ云推荐服务，协议中默认支持Yisouspider抓取，会忽略robots.txt文件协议的限制。

robots.txt必须放在网站根目录下，且文件名要小写。

具体写法：

1) 完全禁止Yisouspider抓取：

User-agent: Yisouspider

Disallow: /

2) 禁止Yisouspider抓取指定目录

User-agent: Yisouspider

Disallow: /update/

Disallow: /history/

禁止抓取update、history目录下网页

普通分类: