Servers may choose to outline rules on the behaviour of internet bots by implementing a robots.txt file: this file is simply text stating the rules governing a bot's behaviour on that server.
Серверите може да изберат да имплементираат податотека со правила на однесување на интернетските ботови robots.txt: оваа податотека е текст кој ги наведува важечките правила на однесување на ботовите на тој сервер.