Не закрыта ли вся площадка
Группа User-agent: * вместе с Disallow: / блокирует обход сайта для роботов, следующих этим правилам. На тестовом стенде это может быть намеренно; на основном домене проверьте цель запрета.
ROBOTS.TXT · VALIDATOR
Вставьте содержимое robots.txt и получите сводку по User-agent, Disallow, Allow и Sitemap. Проверка выполняется локально в браузере.
Вставьте robots.txt и нажмите «Проверить».
ПРАКТИЧЕСКИЙ РАЗБОР
Вставьте текст robots.txt и сверьте найденные группы, директивы и Sitemap. Инструмент помогает заметить явные ошибки структуры, но окончательную доступность URL проверяйте у нужного поискового робота.
Группа User-agent: * вместе с Disallow: / блокирует обход сайта для роботов, следующих этим правилам. На тестовом стенде это может быть намеренно; на основном домене проверьте цель запрета.
Disallow: /private/ относится к пути, а не к отдельному слову в названии страницы. Сравните правило с реальными адресами и группой User-agent, под которой оно записано.
Sitemap должен указывать на доступный абсолютный адрес. После публикации отдельно проверьте ответ сервера и содержимое XML; эта форма не скачивает файл по URL.
robots.txt управляет обходом, а не защищает секреты и не гарантирует исключения уже известного URL из поиска. Конфиденциальные материалы требуют контроля доступа.
Инструмент считает группы User-agent и директивы, находит Sitemap, предупреждает о Disallow: / для User-agent: * и показывает неизвестные строки. Это синтаксическая и структурная проверка, а не полная эмуляция алгоритмов конкретного поисковика.
Да. Вставьте будущий файл в поле и проверьте базовую структуру до загрузки на сайт.
Нет. Эта версия работает локально с вставленным текстом. Проверку опубликованного сайта выполняет SiteAudit Studio.
Validator разбирает базовые директивы robots.txt и помогает увидеть структурные ошибки до того, как они превратятся в проблему обхода сайта.
robots.txt управляет обходом, но не является универсальным способом удалить страницу из поиска. Для закрытия от индексации используйте корректный noindex там, где робот может получить страницу.
Опишите задачу и текущее состояние - можно начать с конкретного рабочего шага.
ЕСТЬ ЗАДАЧА?
Пришлите ссылку, скриншот или короткое описание. Уточним объём, стоимость и срок до начала работы.
Telegram ↗alexgtup@gmail.com