Robots Exclusion Standard — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… … Deutsch Wikipedia
Robot Exclusion Standard — [Abk. RES, dt. »Standard zum Ausschluss automatischer Suchmaschinen«], ein 1994 erstmals formulierter Standard im Internet, der bestimmte automatische Suchmaschinen (Web Robots; Roboter) vom Zugriff auf einen Server ausschließt. Dazu wird eine… … Universal-Lexikon
Robots.txt — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… … Deutsch Wikipedia
Standard d'exclusion de robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Robots.txt — Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d indexation… … Wikipédia en Français
Robots.txt — robots.txt файл ограничения доступа к содержимому роботам на http сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в… … Википедия
Fichier D'exclusion Des Robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Fichier d'exclusion des robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Fichier d exclusion des robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Protocole d'exclusion des robots — est une ressource de format texte qui peut être placée à la racine d un site web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d indexation des moteurs de recherche. Par convention, les… … Wikipédia en Français