Как правильно настроить Robots.txt для WordPress. SEO-оптимизация

На сегодняшний день вопрос как правильно настроить Robots.txt для WordPress. SEO-оптимизация, является довольно актуальным, изучение всех возможностей позволяет открыть выгодные перспективы развития.

Правила, прописанные в файле Robots.txt, позволяют закрыть доступ для роботов поисковых систем к определённым разделам сайта либо страницам. В них могут конкретно указываться файлы или же папки, которые необходимо индексировать.

Директивы данного файла указывают поисковым системам (Google, Яндекс), что конкретно нужно индексировать, а что нет. Также можно указать, для робота, какой поисковой системы прописываются правила, указать адрес карты сайта с целью ускорения процесса индексации.

Если сайт либо блог основывается на WordPress, то важно, чтобы поисковики непосредственно индексировали записи и страницы, а не папки и файлы самой платформы вместе с её компонентами. Также необходимо быть уверенным, что трэкбэки и фиды в результате поиска не включаются. Неплохо будет указать и карту сайта.

WordPress по умолчанию применяет виртуальный Robots.txt, поэтому в корневом каталоге сайта найти файл не удастся. Для того чтобы понимать принцип работы Robots.txt, необходимо сначала посмотреть, как выглядит на хостинге WordPress. Для этого нужно зайти в cPanel и найти файловый менеджер:

Затем необходимо перейти в папку /public_html/ — хоть корневая папка может иметь другое название, типа «www» или «root». В ней можно увидеть все папки и файлы, из которых состоит WordPress. Здесь, скорее всего, ещё не существует файла Robots.txt. Содержимое корневого каталога выглядит обычно следующим образом:

Это основные каталоги и файлы в WordPress. Ничто из этого для поисковых роботов не должно быть доступно, за исключением каталога, предназначенного для загрузок файлов. Создать Robots.txt можно в абсолютно любом текстовом редакторе. При использовании системы Windows можно открыть блокнот и вписать туда стандартные директивы для WordPress.

Важно также запретить доступ к обратным ссылкам на сайт и фидам, чтобы контент постоянно не дублировался. Аналогично необходимо поступить с каталогами и основными файлами самой платформы, а также её компонентам. Последним этапом является прописывание карты сайта. Необходимо только изменить доменное имя на нужное. Конкретно необходимо сделать следующее:

• Копирование кода в текстовый редактор;
• Редактирование доменного имени;
• Сохранение как текстовый документ Robots.txt;
• Использование файлового менеджера, загрузка его в /public_html/.

Теперь все нужные поисковые системы будут сканировать, затем индексировать богатые на ключевые слова страницы и записи, однако не будут соваться в каталоги и файлы WordPress. За счёт этого сайт становится более Seo-оптимизированным.

Создать Robots.txt можно в любом текстовом редакторе. Например, если вы используете Windows, просто откройте Блокнот и впишите следующие стандартные для WordPress директивы:

User-agent: *

Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://awesome-design.com/sitemap.xml  - замените домен на ваш.
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=

Host:  Укажите основной домен с он WWW или без.

User-agent: * — указывает, что правила относятся ко всем поисковым роботам.