Вернусь немного к азам создания и запуска сайта, и расскажу о таком важном моменте, как составление файла robots.txt.

Для начала, что это за файл, как его сделать и где разместить.

Файл robots.txt является техническим файлом и предназначен для поисковых систем, передавая им определенные правила индексирования сайта. Примеры приведу ниже.

Создание файла Robots.txt – дело двух минут. Для этого нужно всего лишь открыть блокнот или любой текстовый редактор, позволяющий сохранять результаты в формате txt. Заполнив файл нужными командами, сохраняем его и закачиваем в корень сайта, т.е. в ту папку, где у вас расположен сайт в html формате, либо установлен движок (CMS). Проверить правильность расположения robots.txt, можно, набрав в браузере адрес такого вида:

http://ваш-сайт.ru/ robots.txt.

Если отобразится содержимое файла, значит вы сохранили его верно, если же ничего не будет найдено или отобразится ошибка 404, то нужно еще раз внимательно проверить место его расположения.

Итак, какие можно и нужно указать команды в файле robots.txt. Ниже приведу стандартный образец файла robots для сайта на WordPress и потом опишу какая команда за что отвечает.

User-agent: *
Disallow: /2010/
Disallow: /tag/
Disallow: /page/
 
Host: olimp-blog.ru
Sitemap: http://olimp-blog.ru/sitemap.xml

Строка User-agent: указывает, какой поисковой системе предназначены правила, * – для всех поисковых систем.
Команда Disallow: является запрещающей для той директории или страницы, которая указана после нее.
Команда Host: указывает адрес главного зеркала сайта.

Команда Sitemap: указывает ссылку на карту сайта в формате xml.

Все команды в файле robots пишутся только на английском языке и имеют определенные назначения. В действительности, правил, которые можно использовать в этом файле намного больше, здесь я указал только самые основные.

Если интересуют остальные команды файла robots.txt и их возможности, то советую прочитать еще две статьи – это «Использование файла robots.txt при продвижении сайта» и «Как запретить сайт от индексации?»

P.S. Понравился пост? Скорее жми -

P.P.S. НЕ забудьте про обмен постовыми!

»

Советую почитать: