Ошибки robots.txt.

ищу ошибку   Поставили, или хотим ставить на сайт robots.txt, содержание его надо хотя бы просмотреть на наличие грубых ошибок. Зачем его ставить мы рассмотрели в статье «Сайт и robots.txt». С ошибками, фатального вреда robots.txt сайту не нанесёт, однако индексацию его может замедлить. Со временем ошибки устранятся и всё нормализуется. Неприятный осадок всё равно останется. Просмотрел много вариантов составления этого файла. Все они отличаются друг от друга совсем незначительно. Ошибка может закрасться в любой файл. Пример - школа Старт Ап. Отличный, работающий robots.txt, однако с ошибкой – пробел в пустой строке. Теперь они исправили этот казус, и известили о нём, правда, своей вины не признали. Многие ошибки чисто механические, выполняется заказ на сайт, и в спешке путаются местами строчки, или чередуются. Заметить ошибки на сайте можно только спустя довольно долгое время.

🙁  Путают инструкции директивы и оператора:

User-agent: /
Disallow: Yandex

Следует написать

User-agent: Yandex
Disallow: /

  🙁  В инструкции несколько каталогов:

Disallow: /feed/ /cgi-bin/ /comments/

Сложно представить, как поведут себя роботы. Я бы на их месте выполнил первую и забил на остальное. Следует писать:

Disallow: /feed/
Disallow: /cgi-bin/
Disallow: /comments/

  🙁  Не правильное написание имени файла:

Допустимо только :

robots.txt

  🙁  Не заполняется User-agent

User-agent:
Disallow:

Следует писать:

User-agent: *
Disallow:

  🙁  В директиве «Host» используется «Url»

Помните «Host» применяется только для Яндекса.

User-agent: *
Disallow: /comments
Host: http://www.site.ru/

Следует писать:

User-agent: Yandex
Disallow: /comments
Host: www.site.ru

  🙁  Используются символы подставки (*) в «Disallow»:

User-agent: *
Disallow: file*.html

Необходимо перечислять все файлы.

  🙁  Если не хотите мучиться с написанием «robots.txt» ставьте пустой файл «robots.txt». Как говорится - бережёного бог бережёт.

  🙁  Откажитесь от заглавных букв. По инерции они могут попасть и в названия файлов. Найдены они не будут.

  🙁  Не надо перечислять все файлы директории для закрытия. Особой ошибки не будет, но проще – лучше.

User-agent: *
Disallow: /AL/Alabama.html
Disallow: /AL/AR.html
Disallow: /Az/AZ.html
Disallow: /Az/bali.html
Disallow: /Az/bed-breakfast.html

Так проще:

User-agent: *
Disallow: /AL/
Disallow: /Az/

🙁   «Host» используется только с Яндексом.

User-agent: *
Disallow: /css/
Host: www.example.com

Пишем только так

User-agent: *
Disallow: /css/

User-agent: Yandex
Disallow: /css/
Host: www.example.com

  🙁  Присутствие «Disallow:» обязательно. Даже если запрещать ничего не хочем.

User-agent: Yandex
Host: www.example.com

Правильно писать:

User-agent: Yandex
Disallow:
Host: www.example.com

  🙁  Между операторами обязательно пустые строки без пробелов.

User-agent: *

Disallow: /wp-login.php

Disallow: /*?*

Disallow: /?s=

 

 

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /*?*

Disallow: /?s=

Host: buttexarx.ru

 

Sitemap: http://buttexarx.ru/sitemap.xml.gz

Sitemap: http://buttexarx.ru/sitemap.xml

Должно быть так: (найдите одно отличие, есть пробел в верхнем тексте)

User-agent: *

Disallow: /wp-login.php

Disallow: /*?*

Disallow: /?s=

 

 

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /*?*

Disallow: /?s=

Host: buttexarx.ru

 

Sitemap: http://buttexarx.ru/sitemap.xml.gz

Sitemap: http://buttexarx.ru/sitemap.xml

У меня  тоже был пробел. Исправил, удалил. Смотрю на хостинге его нет, а на сайтеПробел вместо пустой строки. первый вариант остался. Подожду месячишку. Интересно эта причина или нет (robots.txt), но Яндекс проиндексировал эту статью уже через два часа, после публикации.

Конечно, чтобы лезть в эти премудрости бытовая техника под названием компьютер надо изучить, как правильно всё называется, и что обозначают все эти непонятные названия. Пока я понял, что файл – это место, куда все можно положить, и название его пишется маленькими латинскими буковками с расширением через точку. УРА!

Статья подошла к концу. Надеюсь, помощь оказал. Вопросы, советы и рекомендации можете мне писать по форме «Обратная связь», размещённой на одноимённой странице.  Свои мнения оставляйте в комментариях. Все сайты, которые встречаю в комментариях, я посещаю, оставляю твиты. Приглашайте в гости!

Если вы оставили комментарий, обязательно получите на него ответ, Вам  придёт ответ на почту. Учтите, если это первое письмо с данного адреса, оно может попасть в спам.

30 thoughts on “Ошибки robots.txt.

    • Спасибо, что заглянули. Только интересно, проверили свой robots.txt, или нет. Ошибочка у вас есть. Строка, которая должна быть пустая имеет пробел. Также назначение директивы «Crawl-delay: 4» не понял. Наверное на будущее.

  1. Так потихоньку и станете гуру в сайтостроении. Если я сталкиваюсь с какой-то проблемой, которая мне мешает или покоя не дает, то обязательно докапываюсь до истины.

    • Докопаться до истины в возникающих проблемах довольно долго получается. Так и с этим robots.txt на сайте. Пока разобрался много накуралесил.

    • Был бы молодцом, всё от зубов отскакивало бы. А тут какой то жалкий robots.txt на сайте, столько нервов вытянул.

  2. Молодец конечно, докапываться и понимать нужно, тогда легче избежать ошибок. Я с интересом захожу на Ваш сайт.

    • В случае с robots.txt до тонкостей докапываться не надо. Чтобы понять назначение всех файлов, придётся изучить весь сайт по файлам. Создаёте второй сайт, значит ушли достаточно далеко.

    • На вашем сайте эта ошибка еть!
      В строку браузера вставьте адрес http://moiydom.com/robots.txt . скопируйте его и вставьте в текстовый редактор — блокнот. Посмотрите содержание пустых строчек. Две строчки действительно пустые, третья имеет пробел. Курсор клавишей передвигаете вправо, на пустых строчках он прыкает вниз на другую строчку, а если есть пробел он передвигается вправо. Школа рекомендует его убрать.
      Успехов вам.

  3. А я даже не помню, кажется, что-то меняла, когда сообщение приходило от школы, но на Яндекс не обижаюсь, статьи индексирует.

    • Тоже на Яндекс не обижаюсь. С этим robots.txt получается так. поставил, проверил и забыл.

  4. Я вроде бы проверила свой robots.txt. У меня тоже был пробел, после письма Школы Старт Ап исправила. Может быть, поэтому Яндекс долго и не индексировал страницы?

    • Вряд ли Яндекс плохо индексировал из за этого. Причина другая.
      Сейчас посмотрел у вас Пробела нет, А у меня до сих пор стоит. Может пустую строку только одну оставить. Подожду ещё, может не сразу исправляется.

  5. Да, был пробел и в моем роботе, но вроде я его уже давно убрал. Спасибо за полезную статью.

    • Действительно у вас пробела в robots.txt нет. Заходите, может что интересное найдёте.

  6. Школа нам с ошибкой файл предложила на скачивание, потом сообщила об ошибке.

    • Не будем серчать на школу. Сделала ошибку, но ведь исправила. Что такое эта школа? Это такой же сайтостроитель, как мы! Нашёл способ как заработать деньги. Одновременно учит и сам учится. Мне пользу принесли.

  7. Да школа сообщала об этой ошибке, но видимо не всем они давали с ошибкой файл, у меня этой ошибки не было. Но в процессе работы ещё приходится вспоминать об этом файле, когда создаёшь страницу которую надо спрятать.

    • Не знаю на сколько опасен этот пробел. У вас он есть, только что смотрел.
      Зачем нужна скрытая страница, и как она создаётся?

  8. Сергей, хотела написать Вам комментарий к последней новой статье, а там написано, что комментарии закрыты. Вижу такое впервые???

  9. Да, я эту ошибку помню. Хорошо, что в школе нам сказали про ошибку, а то бы я до сих пор не понимала, в чем дело и почему плохо индексация идет.

    • У вас этот robots.txt без ошибки написан. А у меня до сих пор ошибка эта есть. Индексация идёт, пожаловаться не могу.

  10. Сегодня Крещение.
    Праздник великий.
    Дарует прощение
    Господь многоликий.

    Пусть будут дела
    Вашим мыслям под стать.
    И пусть вам дарует
    Господь благодать!

    • Каждому есть, что прощать. Пусть в этот день мы станем чуть лучше.

    • Наверное нужен этот роботс. Буду его дополнять для гоогле, по рекламе.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *