О неиндексируемых страницах (сортировки и т.д.)

При анализе индексации страниц сайта, могут быть выявлены страницы, не отображающиеся в поисковой выдаче.

Для выяснения возможных причин выпадения этих страниц необходимо изучить сведения в файле robots.txt. Страницы, запрещенные к индексации в данном файле, являются копиями одной страницы, в разных вариантах отображения. Варианты отображения зависят от способа сортировки на сайте (по новизне, по рейтингу, сначала дешевле, сначала дороже, списком, галереей, 48 товаров на странице, 24 товара на странице, 96 товаров на странице), следовательно сколько на странице вариантов сортировки, столько копий страниц видят поисковики. Для каждого варианта сортировки создается копия страницы. В действительности страница всего одна. Копии приходится скрывать от индексации для того, чтобы рейтинг вашей страницы в поисковиках не делился на количество копий и страница в итоге не снижала позиции в выдаче или вообще не выпадала из нее.

В списке неиндексированных страниц в файле robots.txt, все страницы содержат после значка « Слэш » вопросительный знак.

Что поисковые системы считают копией?

• контентная часть - одинаковое содержание страницы 

•  мета-теги - одинаковый title, description, keywords

Какие бывают копии страниц?

• Неполные дубли – когда на ресурсе дублируются фрагменты контента. Например, если разместить часть текста из одной статьи в другой, мы получим частичное дублирование.
• Полные дубли – это страницы, у которых есть полные копии. Они ухудшают ранжирование сайта.