Параметр modtime в Яндекс.Xml. Неужели Яндекс помечает возраст страницы в заботе о сеошниках? Как узнать дату индексации страницы Как узнать дату индексации страницы в яндексе

Два метода получения даты первой индексации страницы перестали работать:

• оператор date работает некорректно;
• добавление к строке запроса параметра &how=tm перестало отображать даты индексации.

Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег, который и укажет дату первой индексации страницы.

Дата обхода поисковым роботом и статуса в поисковой базе

Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.

Дата формирования сохраненной копии

Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).

Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.

Вывод

1. Как показано на примере выше, не всегда сохраненная копия страницы используется для построения базы индекса. Но, зачастую, это действительно так.
2. Кроме того, если вы внесли какие-либо правки на странице и ждете, когда эти изменения переиндексируются, то не стоит делать вывод о том, что правки учтены, по дате последнего обхода поисковым роботом.

Два метода получения даты первой индексации страницы перестали работать:

• оператор date работает некорректно;
• добавление к строке запроса параметра &how=tm перестало отображать даты индексации.

Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег, который и укажет дату первой индексации страницы.

Дата обхода поисковым роботом и статуса в поисковой базе

Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.

Дата формирования сохраненной копии

Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).

Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.

Вывод

1. Как показано на примере выше, не всегда сохраненная копия страницы используется для построения базы индекса. Но, зачастую, это действительно так.
2. Кроме того, если вы внесли какие-либо правки на странице и ждете, когда эти изменения переиндексируются, то не стоит делать вывод о том, что правки учтены, по дате последнего обхода поисковым роботом.

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает 🙂

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

• с помощью Яндекс Вебмастера;
• с использованием операторов поисковой системы;
• с помощью расширений и плагинов;
• с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

• «site» — поиск по всем поддоменам и страницам указанного сайта;
• «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Чтобы проверить индексацию страницы внесите её в список:

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

Для ряда задач SEO-аналитики требуется определить, с какого времени поисковая система «знает» о существовании на сайте конкретной страницы. Один из распространенных путей узнать возраст документа в Яндексе — это поиск url с помощью Яндекс.Xml для получения параметра modtime. В связи с поломкой параметра «&how=tm» способ получил еще большую популярность.

Получается удобно и быстро, благо есть визуальный интерфейс на https://xml.yandex.ru/test/ . Но я с большим сомнением отношусь к этому методу.

Что не так с modtime?

Во-первых, в документации сервиса указано лишь это:

Таким образом, идея о том, что тег отображает дату первой индексации, целиком принадлежит SEO-шникам.

Во-вторых, пользователи Яндекс.Xml — это, как бы помягче выразиться, далеко не самые важные клиенты для поисковой системы. Доступ дается бесплатно, никакой рекламы там не откручивается. С чего бы «ООО Яндекс» особо заботиться о точности, актуальности и достоверности xml-параметров? Хотя в это еще можно поверить — ну просто хорошие программисты все делают хорошо. А вот зачем предоставлять недокументированные возможности — совсем непонятно.

Впрочем, все это лирика и мои домыслы. Перейдем к фактам.

Что такое «возраст документа с точки зрения Яндекса» ?

Как мне подсказывают логика и Google, это время, прошедшее с первой индексации. Чаще всего нам интересно именно это — с какой даты страница начала привлекать трафик, копить возраст и так далее.

В действительности бывает по разному. За примером далеко ходить не надо.

Проверим modtime для нескольких страниц моего старого хобби-проекта smmup.ru .

Адрес	Дата из modtime
/	20140916T170528	2014-09-16
/activity.php	20150422T103533	2015-04-22
/target.php	20150208T173922	2015-02-08
/kogda.php	20141112T210047	2014-11-12

Я уже писал об истории ресурса в статье Длительное время он толком не индексировался Яндексом. У меня сохранилась переписка с Платоном, датированная 20 апреля 2015 года. На этот момент в поиске присутствовала 1 единственная страница — главная.

То есть modtime как минимум для двух url оказался вовсе не датой появления в индексе. Для /kogda.php разница между значением из этого параметра и временем окончательной индексации — почти полгода ! Документ не в индексе — а modtime уже со стажем (солдат спит — служба идет).

Что это означает? Немного утрируя: мы проанализировали конкурентов по запросу, увидели там кучу старых страниц, испугались и не стали по нему продвигаться. А половина конкурентов на самом деле долго была под жесткими фильтрами и побороть их не так уж сложно.

Ситуация теоретическая, описал просто как понятный пример, почему полагаться на modtime нужно с большой оглядкой.

Но это еще цветочки.

Modtime может содержать дату ПОЗЖЕ реальной индексации

В случае с smmup.ru мы по крайней мере можем интерпретировать modtime как время первого визита робота. Даты неплохо коррелируют с реальным появлением страниц на сайте.

Вот вам другой пример. Здесь я просто не решаюсь выдвинуть гипотезу, откуда что берется.

• У моего блога нет проблем с индексацией (тем более что ту статью репостнули в несколько популярных групп).
• Никаких редиректов, смены адресов и тому подобного не было.

Чтобы развеять последние сомнения:

То есть: modtime значительно занизил возраст страницы.

Этот пример был найден ровно за 2 минуты (просто смотрел параметр для страниц блога, без дополнительных ухищрений), что говорит о высокой распространенности подобных результатов. Кроме того, видел немало аналогичных случаев на сайтах, которые аудировал (не показываю по понятным причинам), порой погрешность составляла годы.

Итоги

1. Modtime далеко не всегда отображает корректную дату индексации (собственно, этого никто из Яндекса и не обещал).
2. Опираться только на этот параметр в определении возраста страниц нельзя . Результаты недостоверны.
3. Поэтому его использование для анализа сайтов конкурентов под большим вопросом. Применять в работе с собственными проектами можно — благодаря наличию других данных для контроля. Однако спектр задач, которые можно решать таким образом, довольно узок.

Буду рад дополнительным интерпретациям и интересным примерам!

p.s. На FB было длинное и не особо продуктивное обсуждение этой темы. Возможно, мне недостаточно хорошо удалось сформулировать посыл статьи. Суть не в том, что с modtime какие-то глюки. Понятно, что Яндекс может по тем или иным причинам обнулять «возраст» страницы. Главное — в том, что эти примеры иллюстрируют: а) нельзя полагаться на modtime как на дату первой индексации б) нет уверенности в том, что «сброшенный» согласно modtime возраст означает полную очистку страницы от накопленных факторов, которые прямо или косвенно связаны с возрастом.