Правильный robots. txt для wordpress

Правильный robots. txt для wordpress

В процессе оптимизации проекта нужно создать текстовый файл под названием robots. txt и положить его в корень сайта.

Нужен он:

1. Для запрета индексации служебных директорий.2. Для определения главного зеркала сайта (с www или без).3. Для лучшего продвижения сайта в яндексе, он не любит, когда в индекс попадают пустые страницы (типа формы контактов или формы добавления организаций, страницы авторизации).

Ниже приведен robots. txt для сайта или блога на wordpress:

User-agent: *Disallow: /wp-login. phpDisallow: /wp-register. phpDisallow: /feed/Disallow: /wp-content/Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /comments

User-agent: YandexDisallow: /wp-login. phpDisallow: /wp-register. phpDisallow: /feed/Disallow: /wp-content/Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /commentsHost: domen. ru

Давайте рассмотрим каждую строчку в отдельности. Весь файл поделен на две категории, они разделены пустой строчкой. В первом описываются исключения для всех поисковых ботов одновременно. Во втором только для яндекса.

Строчка «User-agent: *» описывает разом всех поисковых ботов. Строчка «User-agent: Yandex» описывает исключения для яндекса. Строчки, которые начинаются с «Disallow» это исключения для индексации, в моей подборке это служебные директории, страницы авторизации.

У вас, наверное, возник вопрос, зачем делать две категории с одинаковыми исключениями? Это нужно, для того чтобы зазеркалить домен, то есть, чтобы глазами поисковым систем он значился либо с www, либо без него. Для этого есть строчка «Host» Нужно это для того чтобы в индексе не было двух сайтов


Карта сайта


Информационный сайт Webavtocat.ru