34

Комментариев: 9

Урок №13. Файл Robots.txt обязательно должен быть для лучшей индексации

Доброго времени суток всем посетителям и читателям моего блога о заработке в интернете и создания блога на WordPress CMS.

В прошлых выпусках блога мы с вами поговорили о важности перелинковки страниц между статьями и установили счётчик посещаемости от системы отслеживания позиций Liveinternet.ru

В сегодняшней статье мне хотелось бы рассказать вам про один интересный файл, который важен в продвижении, важным моментом он является для поисковых ботов анализаторов.

В этом небольшом дополнении есть некие парочка строчек, которые так же помогают индексироваться быстрее, этим небольшим набором текста мы подскажем поисковикам что нужно смотреть, а что нет и покажем откуда нужно проводить индексацию.

В сегодняшнем небольшом уроке я расскажу вам что делает этот маленький файл, как его создать и как вставить внутрь ресурса, что бы он работал.

Robots.txt

Разберёмся более подробно, что же этот файл из себя представляет? Этот маленький текстовый документ это набор разрешений для поисковых ботов, которые приходят сканировать блог.

В этом файле указывается: что можно читать роботу, а что нельзя.

Выглядит он достаточно просто и посмотреть его можно по адресу, с добавлением Robots.txt в конце адреса. И того формат ссылки получается www.вашсайт.ru/robots.txt, конечно, если у вас этого файла нет, то вас перенаправит на страницу с 404 ошибкой и предупреждением, что такой страницы не существует.

Если вы не помните, делали вы этот файлик или нет, либо уверенны, что у вас его нет, тогда переходим к его составлению.

Составление Robots.txt

И так, создали чистый, новый текстовый документ и назвали его Robots.txt. Далее нужно наполнить его нужными ограничениями. Я дам вам мой Robots.txt для начала, что бы вы знали с чего начинать. Скачать его можно ниже в статье.

После заполнения, его надо установить внутрь каталога на хостинг.

Не забудьте прописать адрес своего проекта в места, где написано ваш_сайт.

ВАЖНО.

Проверьте какое зеркало для сайта является главным, для этого посмотрите в строке браузера как отображается адрес, есть два типа: с WWW и без. Обязательно убедитесь в правильности пути, потому что с www и без — это совершенно разные сайты для поисковых анализаторов.

Для установки зайдите в панель управления вашего блога (в моём случае это управление С-pannel). После захода найдите пункт диспетчер файлов и в корневой каталог под названием public_html (это у меня так называется каталог) именно в корень и потребуется поместить новый Robots.txt.

Вы можете скачать готовый robots ТУТ . После скачивания не забудьте прописать адрес своего блога.

На сегодня получился вот такой вот не большой урок по созданию Robots.txt — ограничений для поисковой машины.

ВАЖНО.

В этом текстовом документе содержится путь к карте для поисковых машин, если вы не делали для себя карту, то вам просто необходимо её сделать, для создания этой штуки, по которой роботы будут сканировать ваш сайт можно узнать в статье под названием СОЗДАНИЕ КАРТЫ САЙТА

Прописанные директивы для робота действуют для поисковика Yandex, Google почему то требует полного доступа, поэтому ограничения для неё не прописываются.

На сегодня это всё, до встречи в следующих уроках.

Это был последний урок для подготовки блога к выходу в интернет. У нас появилась карта сайта, ограничения для роботов, перелинковка страниц, меню, карта для людей, в общем набор для входа в борьбу за высокие позиции.

Не забывайте подписываться на обновления статей. После заполнения формы не забывайте подтвердить подписку по электронной почты, для этого зайдите в свой ящик и нажмите соответствующую ссылку.

Дальнейшие уроки по созданию и продвижению будут более глубокими, в некоторых мы станем усиливать защиту, оптимизировать ресурс изнутри, убирать мусор и не нужные загвоздки, которые могут быть при ведении блога.

До скорых встреч.

С уважением С.Васильев

На последок посмотрите одну интересную видеозапись про индексацию страниц от Google и полезное дополнение под названием GoogleBot для ускоренного индексирования ресурса.

В дальнейших уроках мы обязательно рассмотрим эту необходимую функцию, благодаря которой мы научимся индексировать любую новую страницу в течении нескольких секунд.

Этой статьей стоит поделится с друзьями:

img

Этот блог читают
более 1500 человек
и уже зарабатывают
в интернете. Читай и ты.

Вам так же может быть интересно:

Прыгающие люди

Урок №22. Как улучшить поведенческие факторы на сайте

Полностью
Snow

Падающие снежинки на сайте. Как?

Полностью
Работа копирайтером, писать статьи за деньги.

Работа копирайтером, писать статьи за деньги.

Полностью

На чём заработать денег, места для заработка хороших денег. Часть 2

Полностью
Комментарии к статье
  1. В интернете спорят по поводу обязательности файла robots.txt. Не все его принципиально ставят.

    Александр

    Ответить

    1. Если он не будет заполнен, то Yandex будет кушать много не нужного в себя)

      Сергей Васильев

      Ответить

  2. Кто robots.txt придумал первым? Если не Гугл, то гугл его конечно учитывать не будет.

    Александр

    Ответить

    1. Гугл понимает запреты в этом файле, просто сейчас Гуглу нужны все данные сайтов, если ставить запреты для Google, то он просто начинает давать ошибки каких нибудь нужных ему файлов

      Сергей Васильев

      Ответить

      1. Понял смысл. Непонятно, почему Гуглу надо «кушать много не нужного в себя», а Яндексу нет. На это вопрос, ответа наверно ни у кого нет.

        Александр

        Ответить

        1. Наверное он просто не любит когда перед ним стоят запреты

          Сергей Васильев

          Ответить

          1. Кроме Гугла и Яндекса сущестует поисковик майкрософтовский поисковик Bing, был поисковик Рамблер. Не знаете, они используют роботс или игнорируют.

            Александр

          2. Да, есть такие, ещё Mail поисковик есть) Можно во все добавить сайт, хотя из моей практики из них очень очень мало людей приходят)

            Сергей Васильев

  3. Я помню пару скандалов, когда в открытый доступ уплывали личные данные покупателей в инет-магазинах. Было связано с файлом robots.txt. Поисковики индексировали и выводили в доступ закрытую инфу.

    Александр

    Ответить

Добавить комментарий