网站robots.txt文件如何生成

首先准备好urllist.txt文件,至于这个文件去哪弄呢?您可以到

xml-sitemapst处去生成.在xml-sitemaps这个生成网页地图时会有一个urllist.txt文件,下载下来.这个文件的好处是因为在线地图已经全部读取您的网站页面,而现在我们制作robot文件有需要用到这里面的页面.

下载下来后要处理一下,把"域名"这一段都用文件的"替换"功能去掉,保留"/index.asp"这一段,至于为什么去掉,那是因为在百度站长工具提交时,有格式限制,您就先这么操作吧.后面就会知道了.
                   

登陆百度站长平台(没账号的就要注册哦,这里就不介绍了),添加网站,如果您是第一次进入,就要添加网站,比如第二张图(写域名)

然后会有一个验证文件要下载,您占那个下载验证文件就可以下载了.下载之后把文件放到网站的根目录下.
                   

当前面步骤操作完成后,回到站长平台点验证,成功后,双击网址
                   

选择左手边的网站分析下的Robots
                   

选择"生成robots.txt"处,然后User-agent按自己意愿选择,状态也是,如果您是允许就选择允许,如果是不允许就选择不允许,
                   

在路径框里复制刚才的第一步处理的urllist.txt文档的内容.粘贴到路径框里,格式都是/www.aaa.com类型的.后缀不强烈要求的.再点"创建",就会在上面记录一条信息,可以把允许与不允许同事记在同一个文件里,
                   

这时可以看到下方的"robots.txt内容"就会出现相关内容.如果确认自己所有页面添加完成,就点"下载",然后再把该文件上传的根目录下就可以了.
                   

robots.txt文件可以用手写的,但是有些网页太多了,手写麻烦而已,这可以看各人意愿啦.
                   

小编就介绍到这里.希望你能成功.