Каждый создатель сайта на Вордпресс, естественно, хочет, чтобы его ресурс работал как можно лучше, как можно стабильнее, но самое главное — чтобы у него было много посетителей, и в этом вам поможет правильная настройка файла Robots.txt. Данный файл как раз отвечает за «общение» сайта с поисковыми системами, в частности именно здесь прописывается, где располагается Карта сайта, предназначенная для роботов поисковых систем, чтобы тем было проще её найти, а также что следует, а что нельзя индексировать поисковикам.
Создать этот файл очень просто – вам всего лишь нужно открыть текстовый файл, вписать туда показанный ниже код и дать ему название Robots.txt. После этого следует залить получившийся файл на сервер в корневой каталог.
В данном коде поисковикам запрещается индексировать архивы, файлы с каталогами самого Вордпресс, также в коде прописан адрес карты сайта для поисковых роботов.
Любой человек, который хотя бы немного разбирается в английском языке, наверное, уже понял, что означает та или иная строка. Для всех остальных, однако, мы поясним более подробно, для чего нужны указанные строки в настройке файла Robots.txt в WordPress. Итак, с помощью строки User-agent вы можете задать правила для какого-либо поисковика, в частности, если нужных вам правил должны придерживаться все поисковые системы, то в данной строке нужно прописать символ * (звёздочка). Вместо звёздочки вы также можете указать «Yandex» — в этом случае прописанных правил будет придерживаться именно поисковой робот Яндекса.
В строки Disallow нужно добавить все разделы, которые поисковые системы не должны индексировать. Соответственно, если вы хотите дополнительно открыть для поисковиков какой-то раздел сайта, то его следует прописать в строке Allow. Строка Host необходима для того, чтобы указать роботам главное зеркало сайта. Дело в том, что любой сайт можно найти, введя в поисковую строку его адрес с добавлением «www» или же без него, при этом поисковики считают один и тот же сайт с www и без www разными ресурсам. Впоследствии, конечно же, робот понимает, что у сайтов одинаковый контент, из-за чего он «склеивает» два домена, и чтобы такого не произошло, стоит указать при настройке файла Robots.txt для сайта WordPress основное зеркало вашего ресурса. И наконец, в строке Sitemap, что находится в самом низу в файле Robots.txt, необходимо указать расположение карты сайта для поисковых систем.
Дополнительные материалы по настройкам файлов Вордпресс:
Хаки для файла functions.php в WordPress
Настройка файла header.php в WordPress
Файл .htaccess защитит сайт WordPress
Файл .htaccess в WordPress
Настройка файла wp-config.php в WordPress
