Настраиваем robots.txtДля опытного вебмастера составить правильный robots дело 2-3 минут. А вот для новичков – это часто бывает проблемой. И, несмотря на то, что я уже не раз писал об этом важном файле, хочу снова к нему вернутся. Навеяло меня на эту тему после того, как несколько раз ко мне обратились с просьбой определить почему сайт не индексируется. Первым делом взглянув на robots я сразу определил причину – сайт просто напросто был запрещен к поиску.

В другой раз в проверяемом сайте среди огромного количества строк попалась строка запрещающая все url, начинающиеся с «/?». Еще один горе-вебмастер жаловался, что сайт выпал из индекса после того, как он его купил и начал заниматься раскруткой. В итоге оказалось, что в robots в параметре host прописан совсем другой домен, который был главным зеркалом, соответственно купленный сайт вылетел из индекса. И таких историй происходит думаю не мало.

Неправильно составленный robots может очень навредить индексации сайта, а потому очень рекомендую быть внимательнее при его составлении и почитать побольше информации об этом или изучить правильное составление на примере других сайтов (желательно серьезных блогов). Ведь большинство сайтов сейчас клепается для монетизации, а какой может быть заработок на сайте, если он не индексируется или частично выпадает из индекса.

Для того, чтобы проверить правильно ли настроена индексация внутренних страниц и каталогов я обычно пользуюсь инструментом Яндекса по проверке файла robots.txt.

Вводите имя проверяемого домена, жмете загрузить robts с сайта и добавляете внизу список внутренних страниц, которые нужно проверить. Этим инструментом нужно пользоваться, если у вас в robots составлены какие-то сложные запрещающие конструкции, при обычном стандартном файле проверка не требуется.

Ну и напоследок несколько моих прошлых статей о том, для чего нужен robots и как его правильно настроить:


P.S. Помните, что самые главные факторы по которым оцениваются сайты поисковыми системами – это не огромное количество входящих ссылок, а полезность ресурса и его качественное исполнение! Если сайт сделан без ошибок, с качественным контентом и правильной внутренней перелинковкой, то ни какие фильтры ему не страшны!

P.S. Понравился пост? Скорее жми -

P.P.S. НЕ забудьте про обмен постовыми!

»

Советую почитать: