Правильный robots – залог успешной индексации сайта!
Для опытного вебмастера составить правильный robots дело 2-3 минут. А вот для новичков – это часто бывает проблемой. И, несмотря на то, что я уже не раз писал об этом важном файле, хочу снова к нему вернутся. Навеяло меня на эту тему после того, как несколько раз ко мне обратились с просьбой определить почему сайт не индексируется. Первым делом взглянув на robots я сразу определил причину – сайт просто напросто был запрещен к поиску.
В другой раз в проверяемом сайте среди огромного количества строк попалась строка запрещающая все url, начинающиеся с «/?». Еще один горе-вебмастер жаловался, что сайт выпал из индекса после того, как он его купил и начал заниматься раскруткой. В итоге оказалось, что в robots в параметре host прописан совсем другой домен, который был главным зеркалом, соответственно купленный сайт вылетел из индекса. И таких историй происходит думаю не мало.
Неправильно составленный robots может очень навредить индексации сайта, а потому очень рекомендую быть внимательнее при его составлении и почитать побольше информации об этом или изучить правильное составление на примере других сайтов (желательно серьезных блогов). Ведь большинство сайтов сейчас клепается для монетизации, а какой может быть заработок на сайте, если он не индексируется или частично выпадает из индекса.
Для того, чтобы проверить правильно ли настроена индексация внутренних страниц и каталогов я обычно пользуюсь инструментом Яндекса по проверке файла robots.txt.
Вводите имя проверяемого домена, жмете загрузить robts с сайта и добавляете внизу список внутренних страниц, которые нужно проверить. Этим инструментом нужно пользоваться, если у вас в robots составлены какие-то сложные запрещающие конструкции, при обычном стандартном файле проверка не требуется.
Ну и напоследок несколько моих прошлых статей о том, для чего нужен robots и как его правильно настроить:
P.S. Понравился пост? Скорее жми -
P.P.S. НЕ забудьте про обмен постовыми!
Советую почитать:
На эту статью оставлено 2 комментариев
24 Окт 2011
Отличный пост, обязательно попробую.
[Ответить]
04 Ноя 2011
Надо заняться «роботом» а то он «по-умолчанию», за ссылку проверки тоже благодарность.
Удачи в развитии!!!
[Ответить]
Ваш отзыв