Генератор файла robots.txt

Инфо: С помощью данного инструмента можно быстро получить и проверить ограничения в файле Robots.txt