Генератор robots.txt

Об инструменте

Генератор robots.txt — Создавайте и анализируйте значения и настройки для веб-разработки. Обработка выполняется в браузере. Данные и файлы не отправляются во внешний сервис инструментов. Основные параметры: User-Agent · Запрещённые пути · Разрешённые пути · XML sitemap URL. Перед использованием проверьте ограничения ввода и результат. Сохраняйте исходные данные.

Как пользоваться

1. Введите или выберите: User-Agent.
2. Настройте Запрещённые пути · Разрешённые пути · XML sitemap URL, проверьте единицы измерения и формат ввода.
3. Выполните обработку, проверьте результат и при необходимости скопируйте или скачайте его.

Комментарий