Файл robots.txt – назначение и создание
Вернусь немного к азам создания и запуска сайта, и расскажу о таком важном моменте, как составление файла robots.txt.
Для начала, что это за файл, как его сделать и где разместить.
Файл robots.txt является техническим файлом и предназначен для поисковых систем, передавая им определенные правила индексирования сайта. Примеры приведу ниже.
Создание файла Robots.txt – дело двух минут. Для этого нужно всего лишь открыть блокнот или любой текстовый редактор, позволяющий сохранять результаты в формате txt. Заполнив файл нужными командами, сохраняем его и закачиваем в корень сайта, т.е. в ту папку, где у вас расположен сайт в html формате, либо установлен движок (CMS). Проверить правильность расположения robots.txt, можно, набрав в браузере адрес такого вида:
http://ваш-сайт.ru/ robots.txt.
Если отобразится содержимое файла, значит вы сохранили его верно, если же ничего не будет найдено или отобразится ошибка 404, то нужно еще раз внимательно проверить место его расположения.
Итак, какие можно и нужно указать команды в файле robots.txt. Ниже приведу стандартный образец файла robots для сайта на WordPress и потом опишу какая команда за что отвечает.
User-agent: * Disallow: /2010/ Disallow: /tag/ Disallow: /page/ Host: olimp-blog.ru Sitemap: http://olimp-blog.ru/sitemap.xml
Строка User-agent: указывает, какой поисковой системе предназначены правила, * – для всех поисковых систем.
Команда Disallow: является запрещающей для той директории или страницы, которая указана после нее.
Команда Host: указывает адрес главного зеркала сайта.
Команда Sitemap: указывает ссылку на карту сайта в формате xml.
Все команды в файле robots пишутся только на английском языке и имеют определенные назначения. В действительности, правил, которые можно использовать в этом файле намного больше, здесь я указал только самые основные.
Если интересуют остальные команды файла robots.txt и их возможности, то советую прочитать еще две статьи – это «Использование файла robots.txt при продвижении сайта» и «Как запретить сайт от индексации?»
P.S. Понравился пост? Скорее жми -
P.P.S. НЕ забудьте про обмен постовыми!
Советую почитать:
Елена отвечает:
Июнь 22nd, 2011 at 09:47
Блин, ссылка отобразилась не та, что я указала – я написала http «ваш сайт»/robot.txt, когда проверяла, естественно указывала свой сайт.
[Ответить]
SeoTitan отвечает:
Июнь 22nd, 2011 at 09:52
Ваш файл robots находится вот по этому адресу bestuzor.com/robots.txt
[Ответить]
Елена отвечает:
Июнь 23rd, 2011 at 22:36
Спасибо, видно я ошиблась в чем-то – по Вашей ссылке все открывается.
[Ответить]