Индексация сайта в Яндексе: сроки, проверка и исправление проблем

«У меня страницы не индексируются в Яндексе, что делать» — классический вопрос в SEO-чатах. В большинстве случаев ответ — открыть Вебмастер и посмотреть, что он пишет. Сложность в том, что Вебмастер показывает данные несколькими разными отчётами, и по ним не сразу понятно, куда смотреть в первую очередь.

Ниже разбираем пошагово: сколько на самом деле индексируется новый сайт и новая страница, какие отчёты Вебмастера действительно важны, как читать HTTP-коды страниц, как отправить URL на переобход и сколько у вас есть квоты в сутки. Отдельный раздел — про Google: если сайт продвигается в обоих поисковиках, индексацию приходится проверять и в Search Console. В конце — промпты, которые делегируют всю эту рутину AI через Seely.

Как Яндекс индексирует сайты

Когда вы публикуете новую страницу, Яндекс не индексирует её сразу. Процесс такой:

1. Обнаружение. Робот узнаёт о странице — по ссылке с уже проиндексированной страницы, через sitemap.xml или через ручную отправку в Вебмастере.
2. Скачивание. Робот заходит на страницу и читает её HTML. При HTTP 200 — продолжает, при 404 или 5xx — пропускает.
3. Обработка. Содержимое анализируется, извлекаются текст, ссылки, метаданные.
4. Решение об индексации. Алгоритм решает, стоит ли включать страницу в индекс. Дубли, бедный контент и нарушения правил могут не попасть в индекс, даже если сервер отдаёт 200.
5. Включение в поиск. Только после всех проверок страница появляется в выдаче.

Ключевой момент — между «робот скачал страницу» и «страница в поиске» есть отдельное решение алгоритма. Поэтому страница может быть в отчёте об обходе, но не в выдаче.

Сколько индексируется новый сайт и новая страница в Яндексе

Короткий ответ: новая страница на живом сайте — обычно от нескольких часов до нескольких дней, новый сайт — от одной до нескольких недель до появления первых страниц в поиске. Точного срока Яндекс не гарантирует, и это не отговорка: скорость зависит от того, как быстро робот узнаёт о странице и насколько он доверяет сайту.

Ориентиры из практики:

Это наблюдения, а не норматив: у отдельных сайтов сроки бывают и короче, и длиннее.

От чего зависит скорость:

• Как робот узнаёт о странице. Ссылка с часто обходимой страницы (главной, раздела) и sitemap.xml работают быстрее, чем «когда-нибудь найдёт сам».
• Возраст и доверие к сайту. Новый домен без истории робот обходит реже и осторожнее. Сайт с регулярными обновлениями и нормальными поведенческими факторами — чаще.
• Техника. Ответ 200, отсутствие noindex и запрета в robots.txt, быстрый сервер. Медленный или падающий сервер замедляет обход всего сайта.
• Качество и уникальность страницы. Робот может скачать страницу быстро, но не включить её в поиск: дубль или «недостаточно качественная» — это решение, а не задержка.

Как ускорить индексацию нового сайта — по шагам:

1. Добавьте и подтвердите сайт в Яндекс Вебмастере.
2. Загрузите sitemap.xml в разделе «Индексирование» и проверьте, что он без ошибок.
3. Отправьте главную и ключевые страницы на переобход — это расходует дневную квоту, поэтому начинайте с самых важных.
4. Поставьте ссылки на новые страницы с главной и из разделов.
5. Подключите IndexNow — протокол, по которому сайт сам сообщает Яндексу о новых и изменённых URL (многие CMS поддерживают его плагином).
6. Если на сайте стоит Яндекс Метрика, включите в Вебмастере обход по счётчикам: робот будет узнавать о страницах, которые посещают пользователи.

Если страница опубликована больше 2–3 недель назад и её всё ещё нет в поиске, дальше ждать бессмысленно: ищите причину в разделе о типичных проблемах ниже.

Где смотреть данные об индексации

В Вебмастере несколько отчётов, связанных с индексацией, и они показывают разное. Важно понимать разницу, чтобы не путать сигналы.

Страницы в поиске

Самый важный отчёт. В нём только те страницы, которые уже участвуют в выдаче — на них могут приходить пользователи из Яндекса. Если страницы тут нет, её не покажут пользователю, даже если робот о ней знает.

У каждой страницы свой статус: «В поиске», «Удалена из поиска» (с причиной — дубль, недостаточно качественная и т. п.). Удалённые страницы стоит регулярно просматривать: по причине часто понятно, что именно не так.

Обход страниц

Сюда попадает всё, что Яндекс видел — даже страницы, которые не попали в поиск. Здесь полезно смотреть HTTP-коды: если робот видит 404 на ваших URL, это сразу заметно. Страницы с 5xx выкидываются из индекса быстро.

Важные страницы

В Вебмастере можно отметить до 100 ключевых URL как «важные» — например, главные посадочные, категории каталога, ключевые статьи. По ним приходят отдельные отчёты: история статусов и любые изменения.

Если важная страница пропала из поиска, вы узнаете об этом сразу, без перебора всего сайта.

Переобход

Когда вы обновили контент и хотите ускорить индексацию изменений, отправьте URL на принудительный переобход. У сайта есть дневная квота — обычно 10–30 URL в сутки в зависимости от размера и траста сайта.

Типичные причины, по которым страницы не индексируются

Если страница опубликована и через 2–3 недели её всё ещё нет в поиске — причина почти всегда в одном из пунктов:

• HTTP-статус не 200. Robots.txt запрещает обход, страница отдаёт 404 или 5xx, на странице стоит meta noindex. Частый сценарий — «забыл убрать noindex после деплоя».
• Дубль контента. Страница совпадает на 90% с другой существующей — Яндекс выкидывает дубль.
• Бедный контент. На странице мало текста (меньше 500 знаков), или весь текст — шаблон.
• Низкое качество сайта. Если у сайта слабые поведенческие факторы и низкий ИКС, новые страницы могут долго не индексироваться.
• Нет внутренних ссылок. Если на страницу не ссылается ни одна другая страница сайта и её нет в sitemap, робот её не найдёт.
• Нет в sitemap. Sitemap.xml — основной способ сказать Яндексу: «вот мои страницы». Без него индексация замедляется.

Индексация в Google: чем отличается и как проверить в Search Console

Если сайт продвигается не только в Яндексе, индексацию приходится проверять во втором месте — в Google Search Console. Принцип общий: робот находит страницу, скачивает, обрабатывает и решает, включать ли её в индекс. Различия — в деталях и в том, как это видно в панелях.

• Скорость. Google обычно индексирует новые страницы быстрее, особенно на сайтах с историей. Яндекс бывает медленнее и сильнее зависит от качества сайта и ИКС.
• Названия отчётов. В Яндексе ключевые отчёты — «Страницы в поиске» и «Обход страниц». В Google — отчёт «Страницы» (Pages) со статусами «Проиндексировано» / «Не проиндексировано» и причинами.
• Проверка одного URL. В Search Console есть инструмент проверки URL (URL Inspection): по конкретному адресу видно, в индексе ли он, когда обходился, какой canonical выбрал Google и нет ли проблем. В Яндексе ближайший аналог — статусы важных URL и их история.
• Причины исключения. Формулировки разные: Google пишет «Обнаружена, не проиндексирована», «Страница с переадресацией», «Дубликат, канонический вариант не выбран пользователем»; Яндекс — «Дубль», «Недостаточно качественная», «Запрещена в robots.txt».
• Переобход. В Яндексе есть прямая отправка на переобход с дневной квотой. В Google повторное индексирование запрашивается кнопкой в инспекции URL, по одному адресу.

Как проверить индексацию в Search Console:

1. Отчёт «Страницы» — общая картина: сколько URL в индексе, сколько нет и по каким причинам.
2. Инспекция URL — вердикт по конкретной странице и кнопка «Запросить индексирование».
3. Раздел «Файлы Sitemap» — загрузите тот же sitemap.xml, что и в Вебмастер, и проверьте, что Google его прочитал.

Из-за этих различий страница может быть в индексе Google и отсутствовать в Яндексе (или наоборот), и причины у этого разные. Но если страница выпала из обоих индексов сразу, причина почти всегда техническая — массовые дубли, сломанный robots.txt, ошибочный noindex. Такую проблему чините первой: она бьёт по обоим направлениям.

Сценарии анализа индексации через AI

Дальше — конкретные промпты, которые работают через Seely и MCP. Seely даёт два сервера под одним API-ключом: Яндекс (Метрика + Вебмастер) и Google (Search Console + GA4). Подключение — в гайдах по Яндексу и Google. Сценарии 1–3 касаются только Яндекса, в остальных AI при подключённом Google проверяет обе системы в одном ответе.

Сценарий 1: проверить статус ключевых страниц

Промпт:

Покажи статус всех важных страниц сайта в Вебмастере. Если какие-то выпали из поиска или имеют не-200 HTTP-статус — выдели их отдельно с указанием причины.

AI вызывает get_webm_important_urls, фильтрует список и подсвечивает проблемные. С этой команды удобно начинать рабочий день: за 30 секунд видно, что не так с критичными для бизнеса страницами.

Сценарий 2: история конкретного URL

Когда страница пропадает из поиска, важно понять, когда это произошло. По дате можно соотнести событие с релизом, обновлением контента или сменой шаблона.

Промпт:

Покажи историю изменений по URL https://example.com/landing-page в Вебмастере за 90 дней. Интересует: когда менялся HTTP-статус и был ли период, когда страница исчезала из поиска.

Инструменты get_webm_important_url_history или get_webm_search_urls_in_search_history возвращают хронологию.

Сценарий 3: динамика индексации сайта

Промпт:

Покажи, как менялось общее количество страниц в индексе за последние 6 месяцев. Если был резкий рост или падение — выдели даты и предположи возможные причины.

Инструмент get_webm_indexing_history. Ступенчатое падение в один день почти всегда означает техническую проблему (открыли noindex, сломался robots.txt, упал сервер), а не алгоритмический фильтр.

Сценарий 4: образец проиндексированных URL

Промпт:

Дай 50 URL из обхода, попавших в индекс за последний месяц. Если в выборке есть служебные страницы (фильтры, корзина, технические URL) — выдели их. Те же подозрительные URL проверь на индексацию в Google.

Инструмент get_webm_indexing_samples даёт выборку по Яндексу, gsc_inspect_url подтверждает, попал ли мусор и в Google. Так находятся параметрические страницы фильтров, корзины, страницы поиска по сайту, случайно попавшие в выдачу. Такие страницы тратят краулинговый бюджет и могут каннибализировать целевые посадочные.

Сценарий 5: отправить URL на переобход

Промпт:

Сколько у меня осталось квоты на переобход страниц сегодня? Если квота больше 5 — отправь на переобход эти URL: список через запятую. И подскажи, какие из них стоит дополнительно отправить на переиндексацию в Google.

Инструменты get_webm_reindex_quota и queue_webm_recrawl. AI сначала проверяет остаток квоты, потом ставит URL в очередь. По Google он подскажет, какие адреса имеет смысл переотправить вручную через инспекцию URL: автоматической отправки там нет. Удобно, когда вы массово обновили серию страниц и хотите ускорить переиндексацию.

Сценарий 6: образец страниц, выпавших из поиска

Промпт:

Покажи 30 страниц, которые недавно вышли из поиска Яндекса, и страницы со статусом «не проиндексирована» в Google. Сгруппируй по причинам и скажи, где проблема общая для обоих поисковиков.

Инструмент get_webm_search_urls_in_search_samples плюс данные индексации Search Console. По топовой причине обычно сразу понятно, куда копать: массовые «дубли» — разбираться с canonical и параметрами URL, «недостаточно качественная» — улучшать контент. Общая для обеих систем причина — технический сбой, его в очередь первым.

Сценарий 7: одна страница в Яндексе и Google

Когда важная страница ведёт себя странно, первый вопрос — в индексе ли она там и там.

Промпт:

Проверь индексацию страницы https://example.com/landing в Google и в Яндексе. В Google — статус и дата последнего обхода через инспекцию URL. В Яндексе — статус в поиске и история по этому URL.

Для Google AI вызывает gsc_inspect_url и возвращает вердикт индексации с датой обхода, для Яндекса — статусы из отчётов Вебмастера. В одном ответе видно, где страница в порядке, а где выпала.

Сценарий 8: ранние сигналы проблем

Лучше узнать о падении индексации до того, как просядет трафик.

Промпт:

Проверь, нет ли в Google Search Console новых проблем или предупреждений по сайту за последнее время. Если что-то появилось — объясни, насколько это критично и что делать. Заодно проверь, не выпали ли из поиска Яндекса важные страницы.

Инструмент gsc_check_alerts подсвечивает свежие проблемы в GSC, а get_webm_important_urls — изменения по важным URL в Вебмастере. Вместе это раннее предупреждение по обоим поисковикам.

Как ускорить индексацию

Универсальных трюков нет, но есть проверенные действия:

• Сделайте sitemap.xml и добавьте его в Вебмастер (и в Search Console, если продвигаетесь в Google). Обновляйте при добавлении новых страниц.
• Подключите IndexNow. Сайт сам уведомляет Яндекс о новых и изменённых URL — без ожидания, пока робот их найдёт. Google этот протокол не поддерживает.
• Поставьте внутренние ссылки на новые страницы с уже проиндексированных. Лучшая практика — давать ссылку с главной или из топового раздела.
• Используйте квоту переобхода для приоритетных страниц после публикации.
• Следите за HTTP-кодами. Раз в неделю проверяйте, что важные URL отдают 200, а не 404 или 5xx.
• Уменьшайте дубли. Параметры URL, страницы фильтров, печатные версии — закрывайте через canonical или robots.txt.
• Работайте над качеством контента. На длинной дистанции это сильнее любых технических трюков.

Что НЕ ускоряет индексацию

Мифы, которые встречаются в SEO-чатах и не работают:

• Пинг-сервисы и сервисы «массовой отправки в индекс». Яндекс их игнорирует. Не путайте с IndexNow — это официальный протокол, который Яндекс поддерживает.
• Покупка ссылок «для индексации». Яндекс умеет отличать естественные ссылки от купленных.
• Многократный клик «отправить на переобход». Если страница уже в очереди, повторные клики не ускоряют — только тратят квоту.
• Ежедневное редактирование одной и той же страницы, чтобы «Яндекс заметил». Алгоритм не реагирует на мелкие правки.

Что делать дальше

• Если сайт в индексе, но по запросам его всё равно не видно, — это уже про ранжирование: разберитесь, почему сайта нет в поиске Яндекса.
• Если вы ещё не разобрались, как AI в целом работает с Метрикой и Вебмастером, — начните с пилларной статьи про AI для SEO.
• Если параллельно наблюдаются высокие отказы на индексированных страницах — про анализ отказов в Метрике.
• Если интересно, как именно AI получает доступ к Вебмастеру и почему это безопасно, — статья про MCP-сервер.
• Если сайт продвигается не только в Яндексе — остальные сценарии работы с Google разобраны в статье про Search Console через AI.