Генератор файла robots.txt

С помощью данного инструмента можно быстро получить и проверить ограничения в файле Robots.txt