Msnbot

Msnbot

msnbot is a web-crawling robot (type of internet bot), deployed by Microsoft to supply Live Search. It collects documents from the web to build a searchable index for the MSN Search engine, which went into beta in 2004, and had full public release in 2005. It performs the same function as Google's "Googlebot", and Yahoo!'s "slurp".

A typical user agent string for msnbot is "msnbot/1.1 (+http://search.msn.com/msnbot.htm)". This appears in the web server logs to tell the webmaster who is requesting a file. Each webmaster is able to use the included agent identifier, "msnbot", to deny or allow access to their site (by default access is allowed). If they don't want to grant access they can use the Robots Exclusion Standard to block it (relying on the assumed good behaviour of msnbot), or use other server specific means (relying on the web server to do the blocking).

External links

* [http://search.msn.com/docs/siteowner.aspx?t=SEARCH_WEBMASTER_FAQ_MSNBotIndexing.htm Microsoft's official FAQ on MSNBot]


Wikimedia Foundation. 2010.

Игры ⚽ Нужно сделать НИР?

Look at other dictionaries:

  • msnbot — was a web crawling robot (type of internet bot), deployed by Microsoft to collect documents from the web to build a searchable index for the MSN Search engine. It went into beta in 2004, and had full public release in 2005. The month of October… …   Wikipedia

  • Robots exclusion standard — selfref| For restricting Wikipedia bots, see .|The robot exclusion standard, also known as the Robots Exclusion Protocol or robots.txt protocol, is a convention to prevent cooperating web spiders and other web robots from accessing all or part of …   Wikipedia

  • Robots Exclusion Standard — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… …   Deutsch Wikipedia

  • Robots.txt — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… …   Deutsch Wikipedia

  • User-Agent — Pour les articles homonymes, voir Agent. Un user agent est une application cliente utilisée avec un protocole réseau particulier ; l expression est plus généralement employée comme référence pour celles qui accèdent au World Wide Web. Les… …   Wikipédia en Français

  • User-agent — Pour les articles homonymes, voir Agent. Un user agent est une application cliente utilisée avec un protocole réseau particulier ; l expression est plus généralement employée comme référence pour celles qui accèdent au World Wide Web. Les… …   Wikipédia en Français

  • User Agent — Pour les articles homonymes, voir Agent. Un user agent est une application cliente utilisée avec un protocole réseau particulier ; l expression est plus généralement employée comme référence pour celles qui accèdent au World Wide Web. Les… …   Wikipédia en Français

  • User agent — Pour les articles homonymes, voir Agent. Un user agent est une application cliente utilisée avec un protocole réseau particulier ; l expression est plus généralement employée comme référence pour celles qui accèdent au World Wide Web. Les… …   Wikipédia en Français

  • User Agent — это клиентское приложение, использующее определённый сетевой протокол. Термин обычно используется для приложений, осуществляющих доступ к веб сайтам, таким как браузеры, поисковые роботы (и другие «пауки»), мобильные телефоны и другие устройства …   Википедия

  • User-Agent — это клиентское приложение, использующее определённый сетевой протокол. Термин обычно используется для приложений, осуществляющих доступ к веб сайтам, таким как браузеры, поисковые роботы (и другие «пауки»), мобильные телефоны и другие устройства …   Википедия

Share the article and excerpts

Direct link
… Do a right-click on the link above
and select “Copy Link”