Уроки WordPress - правильный файл robots.txt WordPress для Яндекса и Google
Правильный файл robots.txt WordPress для Яндекса и Google http://www.azoogle.ru/robots-txt-word...
В этом видео вы узнаете как контролировать индексирование вашего сайта поисковыми системами с помощью файла robots.txt. Плюс в качестве примера мы разберем robots.txt для WordPress, который минимизирует индексирование ненужных файлов поисковыми системами. Итак, приступим.
Файл robots.txt -- это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции запрещающие посещение и индексирование отдельных разделов сайта. robots.txt -- предназначен для использования ботами, в качестве примера ботов -- можно назвать поисковых роботов Яндекса и Google или ботов архиваторов, как например робот Web Archive.
Для создания robots.txt воспользуйтесь любым текстовым редактором, заполните его в соответствии с вашими пожеланиями и примерами в этом видео и сохраните как просто тест без форматирования, расширение файла должно быть .txt. После этого необходимо загрузить файл в корневой каталог вашего сайта.
Используйте файл robots.txt для ограничения поисковых роботов от индексации отдельных разделов вашего сайта, вы можете указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности, используя директиву User-Agent. Для списка роботов популярных поисковых систем перейдите по ссылке в описании этого видео.
В качестве примера robots.txt для WordPress, который минимизирует индексирование ненужных файлов поисковыми системами вы можете использовать следующий шаблон:
User-Agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-admin/
Disallow: /*.swf
Disallow: /*.flv
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*.exe
Disallow: /*.js
Disallow: /*.htm
Disallow: /*.html
Disallow: /*.zip
Allow: /
Давайте разберем по порядку, что здесь написано. Строчка User-Agent: * говорит, что это относится к любым агентам, к любым поисковым системам, к любым ботам которые посещают сайт. Строчки начинающиеся с Disallow: - это директивы, запрещающие индексирование какой-либо части сайта. Например, строчка Disallow: /wp-admin/ запрещает индексирование папки /wp-admin/, любых файлов, которые находятся в папке /wp-admin/. Сейчас у нас запрещены к индексированию папки -- плагины, темы и wp-admin (/plugins/ /themes/ /wp-admin/). Директива Disallow: /*. и расширение файла запрещает к индексированию определенный тип файлов. В данный момент запрещены к индексированию .swf, *.flv, *.pdf, *.doc, *.exe, *.js, *.htm, *.html, *.zip. Последняя строчка Allow: / разрешает индексирование любых других частей сайта и любых других файлов.
Если вы используете плагин кеширования, который генерирует статичные версии ваших страниц или структуру постоянных ссылок, оканчивающуюся .htm/.html, уберите строчки
Disallow: /*.htm
Disallow: /*.html
• Уроки WordPress - правильный файл robots.t...