Урок №13. Файл Robots.txt обязательно должен быть для лучшей индексации

Доброго времени суток всем посетителям и читателям моего блога о заработке в интернете и создания блога на WordPress CMS.

В прошлых выпусках блога мы с вами поговорили о важности перелинковки страниц между статьями и установили счётчик посещаемости от системы отслеживания позиций Liveinternet.ru

В сегодняшней статье мне хотелось бы рассказать вам про один интересный файл, который важен в продвижении, важным моментом он является для поисковых ботов анализаторов.

В этом небольшом дополнении есть некие парочка строчек, которые так же помогают индексироваться быстрее, этим небольшим набором текста мы подскажем поисковикам что нужно смотреть, а что нет и покажем откуда нужно проводить индексацию.

В сегодняшнем небольшом уроке я расскажу вам что делает этот маленький файл, как его создать и как вставить внутрь ресурса, что бы он работал.

Robots.txt

Разберёмся более подробно, что же этот файл из себя представляет? Этот маленький текстовый документ это набор разрешений для поисковых ботов, которые приходят сканировать блог.

В этом файле указывается: что можно читать роботу, а что нельзя.

Выглядит он достаточно просто и посмотреть его можно по адресу, с добавлением Robots.txt в конце адреса. И того формат ссылки получается www.вашсайт.ru/robots.txt, конечно, если у вас этого файла нет, то вас перенаправит на страницу с 404 ошибкой и предупреждением, что такой страницы не существует.

Если вы не помните, делали вы этот файлик или нет, либо уверенны, что у вас его нет, тогда переходим к его составлению.

Составление Robots.txt

И так, создали чистый, новый текстовый документ и назвали его Robots.txt. Далее нужно наполнить его нужными ограничениями. Я дам вам мой Robots.txt для начала, что бы вы знали с чего начинать. Скачать его можно ниже в статье.

После заполнения, его надо установить внутрь каталога на хостинг.

Не забудьте прописать адрес своего проекта в места, где написано ваш_сайт.

ВАЖНО.

Проверьте какое зеркало для сайта является главным, для этого посмотрите в строке браузера как отображается адрес, есть два типа: с WWW и без. Обязательно убедитесь в правильности пути, потому что с www и без — это совершенно разные сайты для поисковых анализаторов.

Для установки зайдите в панель управления вашего блога (в моём случае это управление С-pannel). После захода найдите пункт диспетчер файлов и в корневой каталог под названием public_html (это у меня так называется каталог) именно в корень и потребуется поместить новый Robots.txt.

Вы можете скачать готовый robots ТУТ . После скачивания не забудьте прописать адрес своего блога.

На сегодня получился вот такой вот не большой урок по созданию Robots.txt — ограничений для поисковой машины.

ВАЖНО.

В этом текстовом документе содержится путь к карте для поисковых машин, если вы не делали для себя карту, то вам просто необходимо её сделать, для создания этой штуки, по которой роботы будут сканировать ваш сайт можно узнать в статье под названием СОЗДАНИЕ КАРТЫ САЙТА

Прописанные директивы для робота действуют для поисковика Yandex, Google почему то требует полного доступа, поэтому ограничения для неё не прописываются.

На сегодня это всё, до встречи в следующих уроках.

Это был последний урок для подготовки блога к выходу в интернет. У нас появилась карта сайта, ограничения для роботов, перелинковка страниц, меню, карта для людей, в общем набор для входа в борьбу за высокие позиции.

Не забывайте подписываться на обновления статей. После заполнения формы не забывайте подтвердить подписку по электронной почты, для этого зайдите в свой ящик и нажмите соответствующую ссылку.

Дальнейшие уроки по созданию и продвижению будут более глубокими, в некоторых мы станем усиливать защиту, оптимизировать ресурс изнутри, убирать мусор и не нужные загвоздки, которые могут быть при ведении блога.

До скорых встреч.

С уважением С.Васильев

На последок посмотрите одну интересную видеозапись про индексацию страниц от Google и полезное дополнение под названием GoogleBot для ускоренного индексирования ресурса.

В дальнейших уроках мы обязательно рассмотрим эту необходимую функцию, благодаря которой мы научимся индексировать любую новую страницу в течении нескольких секунд.