Наши специалисты бесплатно проконсультируют по выбору оргтехники и возможности заправки того или иного оборудования помогут подобрать тонер для заправки картриджей Samsung и многое другое.

    Первый файл, который считывает бот поисковой системы на вашем сайте - robots.txt. Этот файл не что иное, как путевой указатель для сборщика информации о том, где лежит полезная и важная информация, что не следует индексировать вовсе, а что будет обновляться и может заинтересовать поисковик в будущем. К сожалению, многие владельцы доменов не подозревают, насколько важен этот файл в деле продвижения в поисковых машинах и не создают этот файл, оставляя заботу о выборе контента для индексации самому поисковому роботу.

Создание файла

   Чтобы создать robots.txt достаточно обыкновенного блокнота в стандартной поставке Windows, или vim, если вы пользуетесь Linux. В корневой директории возможно наличие только одного такого файла, поэтому в нем будут содержаться данные для всех поисковых машин. Кодировка файла произвольная, но рекомендуется UTF-8. Файл robots.txt должен располагаться в корне вашего сайта в свободном доступе.

Формат файла

   Содержимое robots.txt представляет собой секции, каждая из которых включает как минимум два атрибута:

  •  User-agent - указывает наименование клиента, считывающего данные, обычно совпадает с названием поисковика
  •  Disallow - указывает список файлов и директорий, которые запрещены для индексации

   Чаще всего под запрет попадают служебные страницы, генерируемый для AJAX или приватный контент, файлы, не содержащие полезной для поисковика информации, вроде временных или тестовых секций вашего сайта.

   Самый простой файл выглядит так:

 User-agent: *
 Disallow:

   Здесь указано, что инструкция предназначена всем поисковым ботам (*) и никаких страниц от них не скрыто.

   Чтобы исключить из индекса файл или папку, впишите каждый пункт в свою строку:

 Disallow: /private.htm
 Disallow: /secret/

Особенности настройки

  Некоторые поисковые краулеры используют специфические строки вашего robots.txt. К примеру, Yandex для корректной индексации требует обязательного указания директивы Host, в которой хранится доменное имя вашего ресурса.

 User-agent: Yandex
 Disallow:
 Host: www.site.ru

   Важная ремарка - вам нужно однозначно определить, указывать домен с префиксом www или без него. Поисковому сервису это не важно, но в случае, если вы в одном месте будете писать префикс, а в другом нет, произойдет дублирование одного сайта с разными именами, а это пагубно скажется на позиции в выдаче Яндекса.

Больше информации о веб технологиях можно узнать из нашего перечня всех статей на сайте:

Добавить комментарий


Яндекс.Метрика