Урок №13. Файл Robots.txt обязательно должен быть для лучшей индексации

Доброго времени суток всем посетителям и читателям моего блога о заработке в интернете и создания блога на WordPress CMS.

В прошлых выпусках блога мы с вами поговорили о важности перелинковки страниц между статьями и установили счётчик посещаемости от системы отслеживания позиций Liveinternet.ru

В сегодняшней статье мне хотелось бы рассказать вам про один интересный файл, который важен в продвижении, важным моментом он является для поисковых ботов анализаторов.

В этом небольшом дополнении есть некие парочка строчек, которые так же помогают индексироваться быстрее, этим небольшим набором текста мы подскажем поисковикам что нужно смотреть, а что нет и покажем откуда нужно проводить индексацию.

В сегодняшнем небольшом уроке я расскажу вам что делает этот маленький файл, как его создать и как вставить внутрь ресурса, что бы он работал.

Robots.txt

Разберёмся более подробно, что же этот файл из себя представляет? Этот маленький текстовый документ это набор разрешений для поисковых ботов, которые приходят сканировать блог.

В этом файле указывается: что можно читать роботу, а что нельзя.

Выглядит он достаточно просто и посмотреть его можно по адресу, с добавлением Robots.txt в конце адреса. И того формат ссылки получается www.вашсайт.ru/robots.txt, конечно, если у вас этого файла нет, то вас перенаправит на страницу с 404 ошибкой и предупреждением, что такой страницы не существует.

Если вы не помните, делали вы этот файлик или нет, либо уверенны, что у вас его нет, тогда переходим к его составлению.

Составление Robots.txt

И так, создали чистый, новый текстовый документ и назвали его Robots.txt. Далее нужно наполнить его нужными ограничениями. Я дам вам мой Robots.txt для начала, что бы вы знали с чего начинать. Скачать его можно ниже в статье.

После заполнения, его надо установить внутрь каталога на хостинг.

Не забудьте прописать адрес своего проекта в места, где написано ваш_сайт.

ВАЖНО.

Проверьте какое зеркало для сайта является главным, для этого посмотрите в строке браузера как отображается адрес, есть два типа: с WWW и без. Обязательно убедитесь в правильности пути, потому что с www и без — это совершенно разные сайты для поисковых анализаторов.

Для установки зайдите в панель управления вашего блога (в моём случае это управление С-pannel). После захода найдите пункт диспетчер файлов и в корневой каталог под названием public_html (это у меня так называется каталог) именно в корень и потребуется поместить новый Robots.txt.

Вы можете скачать готовый robots ТУТ . После скачивания не забудьте прописать адрес своего блога.

На сегодня получился вот такой вот не большой урок по созданию Robots.txt — ограничений для поисковой машины.

ВАЖНО.

В этом текстовом документе содержится путь к карте для поисковых машин, если вы не делали для себя карту, то вам просто необходимо её сделать, для создания этой штуки, по которой роботы будут сканировать ваш сайт можно узнать в статье под названием СОЗДАНИЕ КАРТЫ САЙТА

Прописанные директивы для робота действуют для поисковика Yandex, Google почему то требует полного доступа, поэтому ограничения для неё не прописываются.

На сегодня это всё, до встречи в следующих уроках.

Это был последний урок для подготовки блога к выходу в интернет. У нас появилась карта сайта, ограничения для роботов, перелинковка страниц, меню, карта для людей, в общем набор для входа в борьбу за высокие позиции.

Не забывайте подписываться на обновления статей. После заполнения формы не забывайте подтвердить подписку по электронной почты, для этого зайдите в свой ящик и нажмите соответствующую ссылку.

Дальнейшие уроки по созданию и продвижению будут более глубокими, в некоторых мы станем усиливать защиту, оптимизировать ресурс изнутри, убирать мусор и не нужные загвоздки, которые могут быть при ведении блога.

До скорых встреч.

С уважением С.Васильев

На последок посмотрите одну интересную видеозапись про индексацию страниц от Google и полезное дополнение под названием GoogleBot для ускоренного индексирования ресурса.

В дальнейших уроках мы обязательно рассмотрим эту необходимую функцию, благодаря которой мы научимся индексировать любую новую страницу в течении нескольких секунд.

Понравилась статья? Поделиться с друзьями:
Комментариев: 26
  1. Александр

    В интернете спорят по поводу обязательности файла robots.txt. Не все его принципиально ставят.

    1. Сергей Васильев (автор)

      Если он не будет заполнен, то Yandex будет кушать много не нужного в себя)

    2. Alex

      robots.txt можно скачать и по разрешённым, запрещённым директориям и файлам можно узнать ваш движок.

  2. Александр

    Кто robots.txt придумал первым? Если не Гугл, то гугл его конечно учитывать не будет.

    1. Сергей Васильев (автор)

      Гугл понимает запреты в этом файле, просто сейчас Гуглу нужны все данные сайтов, если ставить запреты для Google, то он просто начинает давать ошибки каких нибудь нужных ему файлов

      1. Александр

        Понял смысл. Непонятно, почему Гуглу надо «кушать много не нужного в себя», а Яндексу нет. На это вопрос, ответа наверно ни у кого нет.

        1. Сергей Васильев (автор)

          Наверное он просто не любит когда перед ним стоят запреты

          1. Александр

            Кроме Гугла и Яндекса сущестует поисковик майкрософтовский поисковик Bing, был поисковик Рамблер. Не знаете, они используют роботс или игнорируют.

          2. Сергей Васильев (автор)

            Да, есть такие, ещё Mail поисковик есть) Можно во все добавить сайт, хотя из моей практики из них очень очень мало людей приходят)

        2. Alex

          Гугл монополист, как монополисту ему чьи то там рекомендации по фигу. Или он следит за блогерами как бы чего они запретного не хранили у себя на сайте в запрещённых для индексации файлах.

      2. Alex

        Смешно, Гугл не подчиняется правилам интернета, разработанных консорциумом. Мало ли кому что надо. Есть правило, подчиняйся им. Сам Гугл для блогеров выставляет правила, а вот подчиняться правилам WWW не любит.

        1. Сергей Васильев (автор)

          Думаю что их правила — это правила для всех)))) Если не Гугл то и хрен что найдешь))))) Сейчас такое ощущение что поисковые системы и есть правила для сайтов и блогов)

          1. Alex

            Когда-то не было такого. А Гугл сливает информацию другим организациям по покупкам, чтобы рекламодатели видели отдачу. Наверно и заставляют индексировать неразрешённое. Заставляют разные службы безопасности.

          2. Сергей Васильев (автор)

            Возможно. Наверняка нам простым смертным не приоткроют завесу тайн. Но думаю это и ни к чему…

    2. Alex

      robots.txt первым придумал Консорциум Всемирной паутины или World Wide Web Consortium, у них есть свой сайт w3 org, на который ссылается каждая страница в инете. Они пишут все стандарты.

  3. Александр

    Я помню пару скандалов, когда в открытый доступ уплывали личные данные покупателей в инет-магазинах. Было связано с файлом robots.txt. Поисковики индексировали и выводили в доступ закрытую инфу.

    1. Alex

      Корявый программист неправильно написал robots.txt, расшарил личные данные и вот результат. Но он мог и специально так сделать, кто его знает, вдруг подкупили?

    2. Alex

      Теоретически грамотный программист может написать программу, похожую на поисковик и забрать нужную, но закрытую роботсом информацию. Гугл так делает, подавая дурной пример другим.

  4. Alex

    В роботсе юзер-агент для одного Яндекса, а для Гугла почему то одни картинки, без юзер-агента.

    1. Сергей Васильев (автор)

      Думаю потому что картинки попадают в индекс по другим параметрам и не индексируются на поиске, только в поиске изображений при наличии тега ALT

    2. Alex

      То есть оригинальные фото не особо и влияют на продвижение?

      1. Сергей Васильев (автор)

        Думаю нет, но есть те кто говорит что оригинальные картинки и фото очень хорошо влияют

      2. Alex

        Тоже прихожу к этому выводу. Может в будущем оригинальные фото будут продвигать сайт, но не сейчас.

        1. Сергей Васильев (автор)

          Все возможно. Не известно что предпримут поисковики в будущем

        2. Alex

          Вставлять оригинальные фото часто глупо, если это касается схем или графиков. Зачем самому их рисовать, если уже кто-то сделал это. Тем более если это в обучающих целях.

          1. Сергей Васильев (автор)

            По поводу цитат и однотипных схем по моему есть какой то алгоритм, который понимает что эти вещи переделать нельзя. Думаю сейчас все более совершено и и распознается точнее.

Добавить комментарий

:) :D :( :o 8O :? 8) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen: