最近新站上线特别留意iis日志，发现一个奇怪的蜘蛛访问，名称是“BUbiNG+”。那么BUbiNG+究竟是怎样的蜘蛛呢？
【2017-11-21 00:16:50 /robots.txt 64.62.252.163 BUbiNG+(+http //law.di.unimi.it/BUbiNG.html)
2017-11-21 00:16:51 访问首页 64.62.252.163 BUbiNG+(+http //law.di.unimi.it/BUbiNG.html) 】
这货居然访问了robots.txt文件，看来是个遵纪守法的好公民呀。
打开上面的网址一看：
How to Stop BUbiNG
BUbiNG is a scalable, fully distributed crawler, currently under development and that supersedes UbiCrawler.
BUbiNG supports the Robot Exclusion Standard. if you want to exclude your site from being crawled by BUbiNG see The Web Robots Pages.
Briefly, you can put into the robots.txt file at the root of the web server you want to exclude from the crawling what follows:
User-agent: BUbiNGDisallow: /
Presently, BUbiNG honours changes to the robots.txt file (usually every hour), but does not obey to META tags for robot exclusion.
For any information, feel free to email law@di.unimi.it.
Come fermare BUbiNG
BUbiNG è un crawler scalabile, completamente distribuito, attualmente in corso di sviluppo e che sostituisce UbiCrawler.
BUbiNG aderisce al Robot Exclusion Standard. Se volete eslcudere il vostro sito dall'indicizzazione, consultate The Web Robots Pages.
Brevemente, potete mettere nel file robots.txt sotto la radice del web server che intendete escludere dall'indicizzazione quanto segue:
User-agent: BUbiNGDisallow: /
Al momento, BUbiNG onora i cambiamenti a robots.txt (di solito ogni ora), ma non rispetta i tag META del protocollo di esclusione.
Per richiedere informazioni inviate liberamente una email a law@di.unimi.it.
翻译软件：
如何停止小家伙
小家伙是一个可伸缩的、完全分布式爬虫,目前正在开发和取代吗UbiCrawler.
小家伙支持机器人排除标准。如果你想排除从被小家伙爬你的网站看到的网络机器人的页面.
简而言之,你可以放入robots . txt文件在web服务器的根从爬行你想排除以下:
User-agent: BUbiNGDisallow: /
目前,小家伙荣誉的变化robots . txt文件(通常每小时),但不服从元机器人排除标签。
任何信息,随时邮件law@di.unimi.it.
来fermare小家伙
小家伙e联合国履带scalabile这些distribuito,attualmente corso di sviluppo e格瓦拉sostituisceUbiCrawler.
小家伙aderisce al机器人排除标准。Se volete eslcudere il成就sito野大白羊'indicizzazione,consultate网络机器人的页面.
Brevemente,potete mettere nel文件robots . txt不知la radice del web服务器切intendete escludere野大白羊'indicizzazione quanto segue:
User-agent: BUbiNGDisallow: /
纪念品,小家伙onora我cambiamentirobots . txt马(di solito ogni ora),非rispetta我标记元德尔protocollo di esclusione。
每richiedere informazioni inviate liberamente una的电子邮件law@di.unimi.it.
【2017-11-21 00:16:50 /robots.txt 64.62.252.163 BUbiNG+(+http //law.di.unimi.it/BUbiNG.html)
2017-11-21 00:16:51 访问首页 64.62.252.163 BUbiNG+(+http //law.di.unimi.it/BUbiNG.html) 】
这货居然访问了robots.txt文件，看来是个遵纪守法的好公民呀。
打开上面的网址一看：
How to Stop BUbiNG
BUbiNG is a scalable, fully distributed crawler, currently under development and that supersedes UbiCrawler.
BUbiNG supports the Robot Exclusion Standard. if you want to exclude your site from being crawled by BUbiNG see The Web Robots Pages.
Briefly, you can put into the robots.txt file at the root of the web server you want to exclude from the crawling what follows:
User-agent: BUbiNGDisallow: /
Presently, BUbiNG honours changes to the robots.txt file (usually every hour), but does not obey to META tags for robot exclusion.
For any information, feel free to email law@di.unimi.it.
Come fermare BUbiNG
BUbiNG è un crawler scalabile, completamente distribuito, attualmente in corso di sviluppo e che sostituisce UbiCrawler.
BUbiNG aderisce al Robot Exclusion Standard. Se volete eslcudere il vostro sito dall'indicizzazione, consultate The Web Robots Pages.
Brevemente, potete mettere nel file robots.txt sotto la radice del web server che intendete escludere dall'indicizzazione quanto segue:
User-agent: BUbiNGDisallow: /
Al momento, BUbiNG onora i cambiamenti a robots.txt (di solito ogni ora), ma non rispetta i tag META del protocollo di esclusione.
Per richiedere informazioni inviate liberamente una email a law@di.unimi.it.
翻译软件：如何停止小家伙
小家伙是一个可伸缩的、完全分布式爬虫,目前正在开发和取代吗UbiCrawler.
小家伙支持机器人排除标准。如果你想排除从被小家伙爬你的网站看到的网络机器人的页面.
简而言之,你可以放入robots . txt文件在web服务器的根从爬行你想排除以下:
User-agent: BUbiNGDisallow: /
目前,小家伙荣誉的变化robots . txt文件(通常每小时),但不服从元机器人排除标签。
任何信息,随时邮件law@di.unimi.it.
来fermare小家伙
小家伙e联合国履带scalabile这些distribuito,attualmente corso di sviluppo e格瓦拉sostituisceUbiCrawler.
小家伙aderisce al机器人排除标准。Se volete eslcudere il成就sito野大白羊'indicizzazione,consultate网络机器人的页面.
Brevemente,potete mettere nel文件robots . txt不知la radice del web服务器切intendete escludere野大白羊'indicizzazione quanto segue:
User-agent: BUbiNGDisallow: /
纪念品,小家伙onora我cambiamentirobots . txt马(di solito ogni ora),非rispetta我标记元德尔protocollo di esclusione。
每richiedere informazioni inviate liberamente una的电子邮件law@di.unimi.it.
