Yandex VS GoogleЗа последнюю неделю мне пришло несколько похожих вопросов в рубрику «seo консультации». Суть везде одна, хоть и описано по-разному, приведу для примера цитату из одного письма:
«беспокоит большая разница в индексации страниц Гуглом и Яндексом, а также стояние на месте индексации Яндекса… И второй вопрос – в Гугле, сильно упало количество страниц не под фильтром в Google…. по результатам http://www.cy-pr.com …»

Итак, начнем прояснять ситуацию на примере сайта http://rainbowbiser.ru

Сайт сделан на WordPress, в Яндексе на сегодня 17.06.2011 проиндексировано – 148 страниц, в Google – 1970 страниц, из них не под фильтром – 117, количество страниц по xml карте – 104.

Разберемся почему такая разница и как должно быть на самом деле. Почему вначале я упомянул, что движок сайта WordPress? Потому что именно он «любитель» создавать огромное количество лишних страниц, таких как:

  • теги;
  • рубрики (категории);
  • страницы с комментариями;

Что касается индексации таких страниц поисковыми системами, то ситуации бывают разные. Яндекс в основном эти страницы считает дублями и выкидывает их автоматом. Но иногда может и целиком весь сайт зафильтровать, если будет слишком много дублей. Google относится более лояльно и иногда все страницы держит в индексе, а иногда начинает их тоже выкидывать или фильтровать, показывая как бы две выдачи: одну полную со всеми тегами, рубриками и комментариями и вторую отфильтрованную, где находятся только основные страницы сайта. В таких случаях и получается огромная разница в количестве проиндексированных страниц, иногда в десятки раз.

Как понять сколько же должно быть проиндексировано на самом деле и какая поисковая система индексирует более правильно?

А очень просто! Всего лишь посмотреть сколько у вас реально страниц на сайте +- 10% На wordpress это очень легко можно посчитать, заглянув в разделы «записи» и «страницы», сложить две цифры вместе и прибавить 10% – это и будет приблизительно-точное число страниц, которые должны индексироваться. А все что сверх этого – это «мусор» для поисковых систем и его лучше закрывать от индексации в файле robots.txt. Также можно посмотреть по карте сайта в html или xml формате, там тоже обычно указаны только основные страницы и можно ориентироваться на это количество. Карта сайта xml обычно располагается здесь http://адрес-сайта/sitemap.xml

Как правильно настроить robots.txt

Надеюсь все разъяснил и помог разобраться что к чему? Если есть вопросы, пишем в комменты :)

Отличные новости от хостинг-компании Inferno Solutions:

В связи с запуском новой площадки хостинг-компания Inferno Solutions предлагает 50% скидку на весь срок аренды любого Linux VPS в Эстонии тем клиентам, которые сделают заказ до 1 июля! Используйте код скидки EST50. Отзывы о компании.

P.S. Понравился пост? Скорее жми -

P.P.S. НЕ забудьте про обмен постовыми!

»

Советую почитать: