ComparseR для работы с индексом сайта или Как удалить все «сопли» за 1 минуту

Приветствую, ребята! Совсем недавно я рассказывал вам про то, как удалить ненужные страницы с индекса Яндекса и Google. Для поиска «соплей» (мусорных страниц) я показывал, что использую ручной режим. Но в комментариях к тому урок один замечательный человек Антон поделился с тем, как можно облегчить поиск подобных страниц с помощью программы ComparseR:

Я сразу же попробовал ее на деле и остался под впечатлением! Действительно очень крутая штука! ComparseR позволяет изучит индекс сайта.

Оглавление:

  • Программа ComparseR для разбора индексации сайта
  • Функции и особенности ComparseR
  • Как удалить ненужные страницы из индекса
  • Краулер
  • Статистика и структура
  • Структура сайта
  • Вывод

к оглавлению ↑

Программа ComparseR для разбора индексации сайта

к оглавлению ↑
Функции и особенности ComparseR

Основное предназначение программы ComparseR — это узнать, какие страницы существуют на сайте, какие из них в индексе, какие нет. Либо наоборот, какие ненужные страницы с Вашего сайта попали в индекс.

Особенности ComparseR:

  • Умеет сканировать страницы в индексе Google и Яндекс для дальнейшей работы с ними.
  • Возможность автоматического удаления (пакетно) ненужных страниц с индекса Яндекса и Google (не нужно залезать в панели вебмастеров).
  • Краулер для подробной информации по страницам сайта (коды ответа сервера, title, description, количество заголовков и пр. информация, подробности ниже).
  • Сравнение реально существующих страниц сайта с поисковой выдачей. С легкостью можно найти страницы, которые, к примеру, отдают 404 ошибку, но находятся в индексе. Там же в программе удалить все это пакетно. Масса возможностей.
  • Возможность работы с сервисами антикапчи, прокси, XML яндекса
  • Сбор статистики, удобное отображение проблем с сайтов (выделение красным).
  • Возможность выгрузки структуры сайта.
  • Создание sitemap.xml, особенно актуально, если движок не WordPress.
  • Поиск исходящих ссылок с сайта.
  • Сканирование изображений на сайте, значение их title, alt и пр.
  • И многое-многое другое.

Программа ComparseR интуитивно понятная, выглядит вот так:

к оглавлению ↑
Как удалить ненужные страницы из индекса

Google

Допустим, мне понадобилось удалить страницы из индекса Google. Они случайно попали туда в индекс и я хочу избавить от них.

  • Первым делом в настройках указываем логин и пароль от аккаунта Google, указываем тот аккаунт, на который привязан наш сайт, либо тот у которого имеется полный доступ (внимание, ограниченный доступ не подходит):
  • Заходим во вкладку Google:
  • Нажимаем кнопку «Запустить». Вбиваем адрес сайта, ставим галочку «Показывать скрытые результаты»:
  • Ждем немного. Теперь  первым делом можно удалить те страницы из индекса, которые вы запретили индексировать в robots.txt (согласитесь, если Вы запретили индексировать в нем, то страница вам не нужна в индексе). Для этого сортируем по столбцу Robots.txt, чтобы шли страницы со значением Disallow, там же увидим ненужные страницы в индексе (у меня это страницы с тегами, страницы листинга с содержанием page и пр.):
  • Выделяем все эти URL, нажимаем CTRL+C:
  • Нажимаем на кнопку «Добавить/Удалить URL»:
  • Там выбираем «Удалить»:
  • В появившемся окне нажимаем CTRL+V и нажимаем «Старт»:
  • Вот и все! Эти страницы скоро выпадут из индекса. Можете зайти в Google Search Console и увидеть там список URL, которые поставлены на удаление:
  • Согласитесь, это очень круто!!! Экономит уйму времени, не нужно лазить вручную и искать мусор в индексе, а потом по-одному вбивать их на удаление. Крутая программа.
  • Также можно отсортировать по колонке «Ответ сервера» и удалить страницы, которые отдают 404 ошибку и попали в индекс, если таковые имеются. Ну или вы видите, что ненужные страницы попали в индекс, запрещаете его индексирование сначала с помощью robots.txt, к примеру, потом ставите на удаление уже в этой программе.

    Яндекс

    С Яндексом абсолютно все точно также, вы сможете также легко посмотреть, какие страницы у Вас попали в индекс, при необходимости дописать правило в Robots.txt и воспользоваться «Удалить URL» в ComparseR уже во вкладке «Яндекс». Аналогично также можно добавить страницы в «аддурилку», если это вам нужно.

    к оглавлению ↑
    Краулер

    В программе еще есть так называемый «Краулер». Кто работал с программами типа Netpeak Spider, Xenu и пр. поймут что это. Идет сканирование страниц Вашего сайта и вы получаете информацию по ним (кликните, чтобы увеличить):

    Тут доступна следующая информация:

  • Порядковый номер.
  • Ответ сервера.
  • URL страницы.
  • Длина URL
  • Title страницы.
  • Глубина.
  • Meta robots.
  • Rel canonical.
  • Тип контента.
  • Источник.
  • Robots.txt (allow/disallow).
  • Скорость загрузки.
  • Размер страницы (в Kb).
  • Description.
  • Длина description.
  • Количество заголовков h1.
  • Сам заголовок.
  • Длина h1.
  • Количество заголовков, непосредственно сам заголовок и длина h2, h3, h4, h5, h6.
  • Как видите много нужной информации можно выдернуть.

    Также при краулинге, можно поставить галочки напротив «Собирать данные о внешних ссылках» и «Собирать данных об изображениях» и станут доступными вкладка «Изображения». Там можно увидеть тайтлы, alt тексты картинок и др. информацию по ним.

    А во вкладке «Внешние ссылки» можно увидеть с какого URL вашего сайта и куда идут ссылки:

    к оглавлению ↑
    Статистика и структура

    У программы есть замечательный блок «Статистика и структура» в правой части:

    Наведя мышкой на нее, можно увидеть вот такой блок:

    Очень удобно! Например, кликнув в разделе «Файл robots.txt» disallow: 1 (см. на стрелку выше), можно сразу увидеть, какие страницы попали в индекс Яндекса, несмотря на то, что они запрещены к индексированию в robots.txt:

    И эту страницу снова можно с легкостью удалить через кнопку «Добавить/Удалить URL».

    Очень много информации и фильтров во вкладке «Статистика»: можно посмотреть какие страницы попали в индексе, какие нет, где присутствуют дубли в метатегах и другое. Удобно.

    к оглавлению ↑
    Структура сайта

    Там же во вкладке «Статистика и структура» можно посмотреть структуру сайта:

    Таким образом можно спарсить структуру какого-нибудь сайта, который понравился очень и отличается хорошо продуманной структурой. Какие-то хорошие идеи перенять себе. Либо посмотреть на структуру своего сайта, чтобы узнать, как видят его поисковики. При необходимости можно сохранить все в файл.

    Также с легкостью вы можете создать карту сайта sitemap.xml. Для WordPress сайтов — это очень просто реализовать с помощью плагинов, к примеру WordPress SEO. Если же движок самописный или какой-то сложный, можно просто снова воспользоваться программой ComparseR:

    к оглавлению ↑

    Вывод

    Не знаю как вам, но мне программа мне очень понравилось. Постоянно приходилось вручную ковыряться в индексе и смотреть: какие же ненужные страницы попали в индекс Яндекса или Google. Теперь очень наглядная картина перед моими глазами, причем довольно удобная и понятная. И не нужно «залипать» в Яндексе для проведения аудитов. Очень крутая вещь. Аналогично легко проверить какие страницы НЕ попали в индекс.

    Да, программа платная, но у нее есть демо-режим для полного ознакомления, работать можно со 150 страницами сайта. И больше никаких ограничений. Если у вас еще сайт не очень большой, то этого вполне достаточно.

    А как вы анализируете поисковой индекс? Вручную или с помощью каких-то специальных программ/сервисов?

    https://wpnew.ru/udobnaya-rabota/comparser.html

    Оставить комментарий