Как проверить корректность настройки файла robots.txt?
В Netpeak Spider можно проверить корректность инструкций сканирования в robots.txt любого сайта. Если вы заметили, что какие-то страницы помечены заблокированными в robots.txt, хотя так не должно было быть, посмотрите на столбец «Директива из robots.txt», чтобы понять, какая именно строка этого файла повлияла на это. После чего поправьте инструкции, используя «Виртуальный robots.txt» в настройках, и пересканировать весь сайт, чтобы проверить новый вариант файла перед заливкой на сайт. Если всё работает, как нужно, заливайте новую версию robots.txt на сайт.
•
•
Наши продукты:
Netpeak Spider: https://netpeaksoftware.com/ru/spider...
Netpeak Checker: https://netpeaksoftware.com/ru/checke...
Записаться на вебинар: https://netpeaksoftware.com/ru/demo?u...
Апгрейднуть лицензию до тарифа Pro:
https://netpeaksoftware.com/ru/upgrad...
Читать наш блог: https://netpeaksoftware.com/ru/blog?u...
Задать вопрос: https://netpeaksoftware.com/ru/contac...
Следить за нами на Facebook:
/ netpeaksoftwareru
Подписаться на Twitter: / netpeaksoftru
Подписаться на Telegram-канал: https://t.me/netpeaksoftware
Вступить в чат в Telegram: https://t.me/+3ALF-LbMeps5ZDgy