Как удалить страницу из поиска: 5 эффективных способов
С данной проблемой рано или поздно сталкиваются все веб-разработчики. Возникает необходимость удалить из поиска Яндекса или того же Google страницы, которые перестали быть актуальными, попали туда по ошибке или являются дублями уже существующих веб-страниц. Давайте вместе разберемся, а каким же образом можно решить данную проблему.
404 ошибка
Пожалуй, самый простой способ удаления страницы из поиска. Все действительно элементарно – удалите страницу со своего сайта и навсегда забудьте о ней. Правда, есть один маленький нюанс: если робот пока не зашел на страницу еще раз, надпись об ошибке не появится.
То есть, придется немного подождать, а это занимает какое-то время. К тому же, если вам еще нужна данная страница на сайте, а в поиске – уже нет, надо искать другой способ.
Файл robots.txt
Обратите внимание: перед вами один из самых популярных способов удаления страниц из индекса – изменение корневого файла robots.txt. Например, чтобы закрыть от индексации раздел своей администраторской панели, потребуется ввести код:
User-Agent: *
Disallow: /admin/
А вот закрыть от индексации конкретную страницу можно следующим образом:
User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска
Конечно, здесь вам тоже придется дождаться переиндексации, пока поисковый робот не выбросит ненужные страницы из индекса.
Мета-тег robots
Третий способ является альтернативной предыдущему. Правда, само правило вы задаете прямо в HTML- коде ненужной страницы, аккурат между тегами <head>.
<meta name=»robots» content=»noindex,nofollow» />
Заголовки X-Robots-Tag
Интересно, но факт: данный метод обычно используют зарубежные поисковики, в том числе и Google. Его суть сводится к тому, что запись будет находиться в тех http-заголовках, которые нельзя увидеть в коде страницы.
X-Robots-Tag: noindex, nofollow
Как видим, данный метод очень похож на мета-тег robots. Его использование часто оказывается оправданным в так называемых «неэтичных» случаях, когда происходит обмен ссылками или скрытие страницы линкопомойки.
Ручное удаление страницы из панели для вебмастеров
Как ни странно, но ручное удаление – самый быстрый и надежный способ избавиться от ненужных страниц.
Для Яндекса: http://webmaster.yandex.ru/delurl.xml
Для Google: https://www.google.com/webmasters/tools/home?hl=ru
Единственным условием для ручного удаления таких страниц будет их закрытость от роботов предыдущими методами (например, 404-ой ошибкой или мета-тегом). Кстати, по статистике, Google удаляет страницы в течение нескольких часов, а Яндекс – до следующего апдейта.