Поиск дублированного контента через Гугл

В Гугле всё дубли ищутся почти так же, как в Яндексе. Заключаем запрос в кавычки и ограничиваем область поиcка оператором «site:comp-on.ru» (у вас свой адрес сайта). То есть наш запрос будет выглядеть таким образом –

Как видите, дублей не найдено. Результат поиска – одна страница с правильным адресом. Но бывает и по-другому.

Ещё один запрос в Гугл для поиска дубликатов: site:moysite.ru -site:moysite.ru /&

Вместо moysite.ru подставляйте домен вашего сайта. После завершения поиска непременно нужно кликнуть по надписи «повторить поиск, не опуская упущенные результаты».

После нахождения всех дублей на сайте, избавляемся от них корректировкой robots.txt и добавлением атрибута rel=canonical.
Так же помогают обнаруживать дубли сервисы типа: audit.megaindex.ru, Сайтрепорт.рф и т.д.

Ежели у вас найдено больше одной страницы – смотрите адреса дублирующих страниц, анализируйте откуда и почему они появляются и принимайте меры.

Ещё один способ нахождения дублей страниц – прогон текста через Advego plagiatus, порог завершения в настройках выставляем равным 0.

В случае открытых для индексации страниц архивов – они будут создавать дубли. Закрыть их можно вручную в файле robots.txt (Disallow: /arch/), либо с помощью seo плагинов типа All in One SEO Pack. То же самое с тегами.

Если находите дубли с непонятными адресами – также стоит закрыть их от индексации в robots.txt, вписав правило для признака, в них содержащегося. Проверить правильно ли закрыли от индексации страницу можно в Яндекс вебмастере — «Настройка индексирования» — «Анализ robots.txt». Либо поставить редирект или вручную прописать link rel="canonical" на основой адрес в header страницы.

Следите за количеством проиндексированных страниц сайта, увидеть адреса которых можно в панелях для вебмастеров Гугла и Яндекса. К примеру, у вас на сайте опубликовано 100 статей, а страниц в индексе 1000, – есть повод задуматься и поискать дубли страниц.