
![]() |
|
Synonym of Robots.txt
Robots Exclusion Standard
Fichier d'exclusion des robots
Le fichier d'exclusion des robots est un fichier au format texte, nommé robots.txt et placé à la racine d'un site web, permettant au webmestre d'indiquer les ressources du site qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs.
Robots Exclusion Standard
Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Webpräsenz für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen. Man spricht hier auch von „freundlichen“ Webcrawlern. Ein Ausgrenzen bestimmter Teile einer Webpräsenz durch das Protokoll garantiert keine Geheimhaltung. Manche Suchmaschinen zeigen die vom Webcrawler gefundenen URLs trotzdem in den Suchergebnisseiten an, jedoch ohne Beschreibung der Seiten.
Robots Exclusion Protocol
Robots Exclusion Protocol to mechanizm informowania automatów o tym, czego nie powinny robić na stronie WWW. Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla wyszukiwarek, które podążąjąc za hiperłączami indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów. Robots Exclusion Protocol jest systemem honorowym i jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. System ten jest generalnie przestrzegany, gdyż w niczyim interesie nie leży łamanie jego zasad.
Robots.txt
Il file robots.txt contiene delle regole utilizzate dai crawler (detti anche spider) per applicare restrizioni di analisi sulle pagine di un sito internet. I web crawler sono dei software automatici programmati per effettuare ricerche ed indicizzazioni periodiche. Nella prima fase di analisi di un sito web controllano l'esistenza del file robots.txt per applicare eventuali restrizioni richieste dal webmaster del sito. Il file robots.txt è stato creato nel giugno 1994 con il consenso dei membri della robots mailing list (robots-request@nexor.co.uk).
Robots Exclusion Protocol
Het Robots Exclusion Protocol, robots exclusion standard of robots.txt protocol is een conventie om (delen) van een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om een website te beveiligen tegen het ongevraagd automatisch kopiëren van een hele website. Het kopiëren kan namelijk grote gevolgen hebben voor de bereikbaarheid van zo'n website, vooral als het een druk bezochte website is. Ook wordt het gebruikt om bepaalde delen, die bijvoorbeeld privacy-gevoeliger zijn, niet te laten indexeren door zoekmachines. Tevens gebruiken websites dit protocol om bijvoorbeeld te zorgen dat zoekmachines alleen de startpagina van een website weergeven.
Robots.txt
Robot (ou robô) é um programa de computador que percorre automaticamente as páginas da Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações de conteúdo. Para controlar as atividades desses robots durante suas buscas, opcionalmente, webmasters podem criar um arquivo chamado robots.txt no diretório raíz de um determinado endereço web. Robots.txt é um arquivo no formato texto (.txt) que funciona como "filtro" para os Crawlers e robots dos motores de busca da Internet, permitindo ou bloqueando o acesso a partes ou à totalidade de um determinado site.
Robots.txt
robots.txt — файл ограничения доступа к содержимому роботам на http сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Использование файла добровольно, стандарт был принят консенсусом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин. Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.
Estándar de exclusión de robots
También conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los sitios webs u otros robots que investigan todo o una parte del acceso de un sitio web, público o privado. Los robots son de uso frecuente por los motores de búsqueda categorizar y los sitios webs del archivo, o por los webmasters para corregir su código fuente.
Robots Exclusion Standard
Robots Exclusion Standard, även Robots Exclusion Protocol, robots.txt-protokoll är ett sätt att förhindra att sökrobotar eller sökspindlar, alltså datorprogram som samlar information åt söktjänster på internet, kommer åt vissa delar av en webbplats. Anledningen kan vara att man vill undvika att inaktuella sidor eller visst material dyker upp på ett vilseledande sätt bland sökresultaten, trots att sidorna är tillgängliga för allmänheten via länkar. Metoden bygger på samarbete från söktjänsternas sida - det finns inget krav på att sökspindlar måste följa konventionen. Konventionen följer inte någon fastlagd standard, utan har utarbetats i konsensus.
Robots.txt
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。 因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。 Robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有和没有斜杠“/”这两种表示是不同的URL,也不能用"Disallow: *.gif"这样的通配符。 其他的影响搜索引擎的行为的方法包括使用robots元数据: <meta name="robots" content="noindex,nofollow" />这个协议也不是一个规范,而只是约定俗成的,通常搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面。
Robots.txt
פרוטוקול robots.txt הוא מוסכמה המאפשרת למנהל אתר אינטרנט (Webmaster) להגדיר כיצד יסרק האתר על ידי מנועי חיפוש ובוטים אחרים המצייתים לפרוטוקול. הגדרה זו מתבצעת באמצעות קובץ בשם robots.txt ומכיל תחביר מיוחד ונמצא בספריית השורש (root) של האתר. פרוטוקול זה משמש בעיקר להסתרה של חלקים מסוימים באתר ממנועי חיפוש.
로봇 배제 표준
로봇 배제 표준은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술한다. 이 규약은 1994년 6월에 처음 만들어졌고, 아직 이 규약에 대한 RFC는 없다. 이 규약은 권고안이며, 로봇이 robots.txt 파일을 읽고 접근을 중지하는 것을 목적으로 한다. 따라서, 접근 방지 설정을 하였다고 해도, 다른 사람들이 그 파일에 접근할 수 있다.
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||