Что влияет на индексацию
Что такое индексация сайта и как её проверить
Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.
Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС). В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию. Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.
Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.
1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.
Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер. Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google. Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.
2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.
Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.
Есть несколько способов узнать были ли проиндексированы нужные вам страницы.
1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.
Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.
2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.
3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google. Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.
Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.
Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:
Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:
1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.
Индексация сайта
Чтобы открыть онлайн-магазин, запустить информационный или развлекательный портал в сети необходим сайт – это, буквально, место или сегмент в виртуальном пространстве с уникальным адресом (домен), где размещается контент и файлы по проекту. Но чтобы ресурс можно было найти среди других, его необходимо «прописать» в специальной базе поисковых систем – индексе.
Что такое индексация сайта? Как её правильно выполнить и проверить? Можно ли ускорить этот процесс и полностью отказаться от него, на что влияет индекс? На все вопросы подробно отвечаем в этой статье.
Разбираемся в понятиях
Индексация страницы – это процесс сбора, проверки и внесения информации о контенте сайта в базу поисковых систем. Такая непростая и трудоемкая работа поручается специальным роботам, которые целиком обходят весь сайт и, следуя установленным алгоритмам ПС, собирают информацию со страниц. При индексации учитываются внешние и внутренние ссылки, графические элементы, текстовое наполнение и другое. Если ресурс проходит проверку, то он вносится в индекс ПС, то есть пользователи смогут его найти по поисковым запросам.
Вся информация в базе – это выжимка данных, собранных поисковыми роботами с сайтов в Интернете. Пользователю, обратившемуся к такой библиотеке через ПС, предлагается сначала каталог сайтов с релевантной запросу информацией. Поисковые системы ранжируют ресурсы по собственным алгоритмам, учитывая полезность, тематику и другие параметры. Ознакомившись с краткой информацией о ресурсе (заголовок + сниппет), пользователь кликает на позицию в выдаче и переходит на целевую страницу для дальнейшего изучения.
Попытки структурировать сайты в сети были приняты в конце 90-х годов прошлого века. В то время алгоритмы ПС только разрабатывались, поэтому индекс напоминал предметный указатель по ключевым словам, которые находили роботы на проверяемых страницах. Соответственно в ТОП выдачи часто проникали переоптимизированные и абсолютно бесполезные для пользователей сайты. За 20-30 лет развития алгоритмы отбора усложнились. Сегодня роботы смотрят не только на попадание контента в тематику, но и на его качество, полезность для людей, доступность сайта с разных устройств, скорость загрузки и многое другое.
Как индексируют Яндекс и Google
Для большинства пользователей Рунета, индексация в поисковых системах – это добавление сайта в базу Яндекса и/или Гугла. Обычно достаточно прописать ресурсы только в этих поисковиках, чтобы развивать свой проект. Провести индексацию, независимо от выбранной ПС, можно двумя способами:
Для сканирования сайтов существуют разные боты ПС. Например, проверку новых страниц перед внесением в индекс делает основной робот, который проверяет весь контент на ресурсе. Новую информацию на проиндексированных страницах проверяет быстрый робот в соответствии с графиком обновления. Также используются боты для сканирования новостной ленты, графического контента и другие.
Как проверить?
Алгоритмы индексации и соответственно скорость работы ботов Яндекса и Гугла отличаются. Считается, что Google проверяет страницы быстрее. Это связано с тем, что система сначала сканирует сайт полностью – полезные и неполезные страницы, но в выдачу пропускает только качественные ресурсы. Таким образом, попадание в индекс Гугла ещё не гарантирует место в выдаче.
Индексация сайта в Яндексе, что это такое и почему долго? Роботы ПС проверяют только полезные материалы, отсеивая мусорные страницы. Поэтому индексация затягивается. В любом случае сканирование контента на соответствие требованиям выполняют обе системы: Яндекс сразу, а Гугл после «прописки».
Проверить индексацию можно тремя способами:
Как ускорить?
От того, как быстро роботы ПС проверят новый контент напрямую зависит скорость появления страниц в поисковой выдаче. Соответственно на сайт быстрее придет аудитория и совершит целевые действия. Скорость индексации зависит от нескольких факторов:
Для ускорения индексации рекомендуется выполнить следующие действия:
Часто требуется уменьшить вес изображений, так как «тяжелая» графика замедляет загрузку страниц, плохо сказывается на индексировании и дальнейшем продвижении в поисковой выдаче.
Как закрыть страницы от роботов?
Выше мы узнали, что такое индексация страниц сайта, зачем она нужна, как ускорить этот процесс. Поговорим теперь, как спрятать от проверки информацию на страницах и зачем это делать. Обычно запрет на сканирование ботами ПС устанавливают, чтобы скрыть от публичного просмотра технические и служебные страницы, конфиденциальную информацию, ресурсы в разработке, дубли и другое.
То есть, чтобы качественно продвигаться в поиске, нужно знать, какие данные показывать, а какие скрывать.
Поставить запрет на сканирование ботами можно несколькими способами:
На что влияет индексация?
Благодаря «прописке» в поисковых системах Яндекса и Гугла, сайты попадают в поле видимости пользователей и потенциальных клиентов. Сама по себе целевая страница в сети, онлайн-магазин или Landing Page не представляет ценности. Полезность её определяют посетители. Соответственно находясь в индексе и регулярно обновляя контент, ресурс растет в выдаче. Это увеличивает приток трафика и помогает развивать проект.
Роботы ПС оценивают не только качество контента, но и поведенческие факторы, посещаемость, вовлеченность. С помощью этих метрик определяется полезность сайта. Чем лучше поведенческие факторы аудитории, тем выше страницы в ранге.
Первые 20 строк поисковой выдаче собирают 95% всего трафика по запросу. Поэтому быть в индексе на хорошем счету у ПС – это гарантия успешного продвижения и высоких конверсий.
Резюме
Мы рассмотрели, что такое индексация сайта в поисковых системах Яндекс и Гугла. Изучили основные моменты добавления, проверки и ускорения «прописки» в ПС. Узнали, как и зачем выставлять запреты на сканирование страниц ботами. У индексации простая задача, но с далеко идущими последствиями – внести информацию о сайте в базу поисковых систем.
Индексация сайтов: основные принципы
Индексация сайтов важна. Так как именно в процессе сканирования сайта поисковыми роботами обновляется информацию о сайте в поисковых базах. Чтобы пользователи находили сайт в поиске, ресурс должен попасть в индекс поисковых систем.
Существует два пути:
Первый способ менее эффективный и занимает больше времени, тогда как прямая регистрация быстро направит поисковых роботов на новый ресурс. Ожидаемый срок появления ресурса в поиске — 1-2 недели после подтверждения прав.
Сканирование сайтов роботами проводится регулярно. Если сайт пополнился новыми страницами, либо обновилась информация на существующих, то можно «помочь» роботам обнаружить обновления и ускорить появление новых страниц в поиске.
Для этого сайту необходима карта — Sitemap, указывающая роботам на важные страницы, которые были обновлены либо недавно добавлены. Карта важна как для простых по структуре сайтов, так и для массивных ресурсов с многоуровневой вложенностью. Для того чтобы роботы смогли обработать карту, она должна соответствовать определенным требованиям:
Основные форматы карты: текстовый и XML. XML формат позволяет указать роботам дополнительные данные о страницах: значимость, время последнего обновления, а также частоту обновлений.
Проверяется правильность составления Sitemap стандартными инструментами: валидатор Яндекс и Google. Файл robots.txt должен содержать ссылку на Sitemap.
Что влияет на индексацию сайта
За доступность ресурса для индексации отвечает сервер. Поисковая база постоянно обновляется, сайты, недоступные длительное время, удаляются. Чтобы проверить ответ сервера, используем инструмент.
К примеру, ответ 200 означает, что ресурс доступен роботам и пользователям, а 404 код ответа — что страница удалена. Узнать подробнее о кодах ответов сервера можно в справочнике вебмастера.
Яндекс отправляет на сайты разных роботов индексировать разный контент. Так, существуют отдельные роботы для определения картинок и видео. Важно, чтобы весь контент правильно индексировался. Для этого необходимо поверить настройки и удостовериться, что все роботы имеют доступ к сканированию ресурса.
Вот несколько моментов, которые могут повлиять на индексацию:
Как повлиять на индексацию
Каждый вебмастер может управлять тем, как роботы поиска сканируют страницы сайта, какой материал им доступен, а какой скрыт от индексации.
Для этого существует файл robots.txt, в котором разработчик может закрыть определенные разделы ресурса от индексации. По умолчанию для индексации доступна вся информация на ресурсе, поэтому вебмастер должен принять меры и ограничить роботам доступ к определенному контенту. Как правило, для индексации закрывают личные данные пользователей сайтов, переписку, финансовую информацию. Также закрываем страницы с внутренней, служебной информацией.
Как удалить страницу ресурса из поиска
Проверяем количество страниц в индексе Яндекса и Google.
Удаляем страницы одним из перечисленных способом:
Данные способы не исключают друг друга. То есть можно запретить индексирование в файле robots.txt и удалить страницу через поисковый сервис.
Три важных команды в файле robots.txt
Robots.txt — основной инструмент управления поисковыми роботами на сайте.
Disallow запрещает индексирования определенных разделов ресурса (технические данные, бесполезная для пользователя информация — статистика посещений, дубликаты страниц и прочие).
Crawl Delay указывает поисковому роботу минимальный интервал обращения к серверу, чтобы снизить нагрузку и не повлиять на скорость отображения страниц на стороне пользователя. Это важно для больших сайтов с тысячами страниц. К примеру, Crawl Delay: 2 означает, что минимальный интервал обращения робота к серверу 2 секунды.
Clean Param указывает, какие cgi-параметры, присутствующие в URL, не должны учитываться. К примеру, в URL может содержаться идентификатор сессий. Фактически разные URL будут вести на одну и ту же страницу. Роботы могут «увязнуть» в их индексировании, так и не добравшись до важных и полезных страниц.
Выводы
Поисковые системы выдвигают простые требования к сайтам и индексации.
Карта сайта и файл robots.txt — основные инструменты управления поведением роботов при каждом посещении.
Страницы поисковых систем индексируются быстрее других сайтов, поэтому размещение ссылок на новый сайт в социальных медиа помогает ускорить встречу поискового робота и сайта.
Индексация сайтов: основные принципы : 2 комментария
Я бы добавил, что если хотите проиндексировать не только Главную, но и остальные страницы и поскорее, то «добывайте» ссылки на них, а ещё проще и быстрее — запустите контекст, особенно актуально для яндекса.
А в гугл вебмастере в разделе «посмотреть как гуглебот» можно сразу 10 страниц добавить + страницы на которые они ссылаются или около того
Павел, спасибо за ценное дополнение! Важно воспользоваться всеми возможными способами ускорить индексацию.
Добавить комментарий Отменить ответ
Для отправки комментария вам необходимо авторизоваться.
Что влияет на частоту индексации и как заставить поискового робота посещать ваш сайт чаще
От чего зависит скорость индексации сайта, как на нее можно повлиять и как сообщить роботу Яндекса и Google об изменениях на сайте. Читайте о том, как заставить роботов поисковых систем чаще заходить на ваш сайт.
Вебмастера часто сталкиваются с проблемой, когда страницы неделями не попадают в индекс поисковой системы. Особенно актуальна она в Яндексе – новые страницы в нем появляются значительно позже, чем в Google. А в последнее время Яндекс еще и редко делает текстовые апдейты – 2-3 раза в месяц. В этой статье мы рассмотрим, что влияет на индексацию сайта, как ее можно ускорить и как следить за ней.
Быстрые ссылки:
Что влияет на частоту индексирования сайта поисковым роботом
— Загруженность сервера, на котором находится сайт (качество хостинга)
Если на сервере находится много других ресурсов, а технические характеристики сервера не позволяют оперативно справляться со всеми запросами робота, робот начинает посещать такой сайт реже. Соответственно, ему потребуется больше времени для включения страниц в результаты поиска.
— Частота обновления сайта в целом
Поисковые роботы анализируют частоту обновления контента на сайте, в результате чего определяют, как часто будут посещать тот или иной сайт.
Чем чаще на сайт добавляется новый контент, тем чаще роботы ПС посещают его.
— Интерес посетителей к сайту (ПФ)
Поисковый робот может пересмотреть политику планирования и посещать сайт чаще, если на сайт регулярно добавляются новые материалы, интересные пользователям (например, новости, статьи):
Как улучшить индексацию сайта
Поисковый робот за один визит индексирует определенное количество страниц согласно выделенной квоте, которая зависит от множества параметров сайта. Т.е. даже если робот посетил ваш сайт, это еще не значит, что он проиндексирует и включит в свою базу все страницы сайта. Поэтому очень важно, чтобы робот-индексатор не только посетил ваш сайт, но и включил в свою базу все новые и измененные страницы сайта.
Ниже в статье мы рассмотрим, как заставить робота ПС чаще посещать ваш сайт и при этом увеличить количество страниц, которое за раз может проиндексировать робот ПС, – краулинговый бюджет.
1. Проанализируйте сайт на наличие дублей
Данный пункт поставили первым, так как дубли страниц – одна из основных проблем, которая ухудшает индексацию сайта поисковыми роботами.
Когда на сайте есть дубли, краулинговый бюджет тратится на бесполезные страницы вместо новых страниц или страниц с обновленным материалом.
О том, как найти на сайте дубли, подробно написано в статьях нашего блога:
2. Настройте сервер на выдачу правильного HTTP-статуса
Корректная настройка кодов статуса HTTP очень важна для правильной индексации сайта.
Когда робот ПС запрашивает страницу сайта, код статуса предоставляет ему информацию о сайте и конкретной странице:
Например, код http «404 Not Found» сообщает, что страница по запрашиваемому адресу не существует, а код http «OK 200» сообщает, что страница доступна.
Также рекомендуем настроить заголовок Last-Modified.
Заголовок Last-Modified информирует робота ПС о дате последнего изменения документа. Таким образом, робот-индексатор проверяет на обновление только документы, действительно изменившиеся со времени предыдущего обхода, или новые страницы, не тратя при этом краулинговый бюджет на страницы, которые не менялись.
Подробно о заголовке Last-Modified здесь.
3. Мониторьте время отклика сервера и скорость загрузки страниц
Время ответа сервера на запрос браузера напрямую влияет на индексацию сайта.
С учетом сетевых задержек оно должно быть не более 300 мс.
Сервисы по измерению отклика сервера:
Для индексации сайта также очень важна скорость загрузки сайта.
Время загрузки страницы не должно превышать 3-5 секунд.
Сервисы по проверке скорости загрузки:
Увидеть, есть ли недочеты, можно с помощью сервиса Google PageSpeed.
4. Грамотно организуйте структуру сайта
Чем понятней для поискового робота выглядит структура сайта, тем он лучше будет его индексировать.
Рекомендации по структуре сайта:
— Уровень вложенности страниц
Любая продвигаемая страница должна быть не дальше, чем в 3 кликах от главной. Это очень важно для индексации, так как поисковому роботу потребуется гораздо меньше времени на индексацию простого и неглубокого сайта, чем на сложный ресурс с запутанной системой навигации.
— Реализуйте на сайте хабовые страницы
Хабовые страницы – это страницы, которые содержат ссылки на разделы и подразделы, служащие для навигации пользователей по сайту.
Для того чтобы улучшить индексацию, хабовые страницы необходимо реализовать в один клик от главной страницы сайта.
Что нам даст реализация хабовых страниц:
А. Уменьшит уровень вложенности
Б. Ускорит индексацию страниц поисковым ботом
В. Поможет пользователям легче найти нужный материал
Пример хабовой страницы:
— Выводите анонсы на новые страницы на главную сайта
Поисковый робот чаще всего посещает главную страницу сайта. Если на ней будут размещены ссылки на новые страницы или страницы с обновленным контентом, есть большая вероятность, что робот их проиндексирует.
— Реализуйте виджет в сайдбаре последних статей
Еще один хороший способ связать между собой страницы сайта:
— Не делайте меню на скриптах и flash
Главным недостатком использования меню на скриптах и flash является то, что поисковые роботы его не видят.
5. Настройте файл robots.txt
Корректно составленный robots.txt позволит исключить возможные проблемы, возникающие при сканировании сайта роботом. Это может значительно ускорить индексацию ресурса в целом.
В файле robots.txt нужно прописать инструкции для роботов поисковых систем: какие страницы сайта индексировать, а какие – нет. В таком случае поисковикам потребуется меньше времени для сканирования сайта.
Например, в robots.txt можно закрыть:
Как создать правильный robots.txt?
1. Создайте файл robots.txt в текстовом редакторе.
2. Заполните его в соответствии с правилами. Синтаксис Robots можно посмотреть в рекомендациях Яндекса для вебмастеров.
3. Проверьте файл в сервисе Яндекс.Вебмастер — > Анализ robots.txt.
Скриншот из Яндекс.Вебмастера:
4. Если проверка прошла успешно и ошибок не обнаружено, загрузите файл в корень сайта.
6. Внешние сигналы ссылками
Чтобы ускорить индексацию сайта, рекомендуем привлекать на него роботов ПС с помощью внешних ссылок. Например:
7. Пишите качественный и уникальный контент
Качество контента также влияет на скорость индексации сайта. Плохой контент, который не дает полный ответ на запрос пользователя, в котором есть грамматические ошибки, большая плотность ключевых слов, индексируется хуже.
При написании текста важно учитывать, что:
Как следить за индексацией сайта
Добавьте сайт в сервис Яндекс.Вебмастер и Google Search Console
Если сайт еще не добавлен в панели вебмастеров поисковых систем, настоятельно рекомендуем добавить. С их помощью вы сможете легко анализировать индексацию проекта. Например:
Также вы можете сообщить ПС о новых или удаленных страницах и мониторить другие параметры сайта, не связанные с индексацией. Например, внешние ссылки, ведущие на сайт, запросы, по которым пользователи переходят на сайт, и т.д.
Только полный анализ сможет помочь вовремя выявить и исправить ошибки индексации сайта.
Зарегистрировать сайт в вебмастере Яндекса и Google просто.
Для этого нужно выполнить процедуру в 3 шага, которые сопровождаются подробной инструкцией, в Я.Вебмастер:
Добавление сайта в Google Search Console также сопровождается инструкцией:
Как сообщить роботу ПС об изменениях на сайте
— Создайте карту сайта
Чтобы помочь поисковому роботу найти новые страницы на сайте, рекомендуем создать карту сайта в двух форматах: xml и html.
Карту в формате html нужно выложить на сайт в качестве отдельной страницы. При сканировании сайта робот попадает на данную страницу – она должна содержать ссылки на все страницы сайта, а это поможет ему найти их.
Карту в формате XML (Sitemaps) нужо добавить в панель инструментов для вебмастеров Google и Яндекса.
Рекомендации по созданию карты сайта XML (Sitemap):
— Карта сайта должна автоматически генерироваться и обновляться при добавлении на сайт новых URL или удалении старых.
— В карту сайта не должны попадать закрытые от индексации страницы.
— После создания файла необходимо убедиться, что в нем нет ошибок. Сделать это можно при помощи специальных инструментов поисковых систем:
Также в карте XML (Sitemap) можно указать:
После того как карта сайта будет создана, информацию о ней нужно добавить в панель инструментов для вебмастеров Google и Яндекса.
— Напишите скрипт «Ловец ботов»
Для крупного проекта можно применить следующую методику – в момент прихода робота ПС на сайт специальный скрипт показывает роботу ссылки на не проиндексированные страницы сайта.
Недостаток использования методики – сложная техническая реализация.
— Используйте « Add URL » поисковых систем
Это наиболее «традиционный» способ ускорения индексации новых страниц на сайте. С помощью « Add URL » поисковой системе можно сообщить как о новом сайте, так и о новой странице на сайте.
Ниже приведем ссылки на « Add URL » наиболее популярных поисковых систем:
Чтобы сообщить о новой странице ПС Яндекс, используйте форму add url Яндекс:
Чтобы сообщить о новой ПС Google, используйте форму add url Google: 
Недостаток использования этого инструмента – добавление страниц в данные формы не дает гарантий, что страница сразу же окажется в базе поисковой системы.
— Для быстрой индексации новых страниц в Google используйте инструмент «Посмотреть как Googlebot»
Воспользоваться данным инструментом можно после того, как сайт будет добавлен в Google Search Console (вебмастер).
Google Search Console — > Раздел Сканирование — > Посмотреть как Googlebot — > Вводим нужный URL — > Кнопка «Сканировать» — > Кнопка «Добавить в индекс», после чего появится надпись «URL отправлен на индексирование»:
Также с помощью данного инструмента можно узнать время загрузки страницы и данные по процессу сканирования.
Единственный недостаток – необходимо каждый раз при добавлении нового материала адрес вводить вручную.
— Плагин-пингер для ускорения индексации новых страниц в Яндекс
Повысить приоритет индексирования новых страниц сайта можно с помощью специальных POST-запросов. Подробнее здесь.
Если ваш сайт построен на основе популярных CMS, например, WordPress, Joomla, Drupal – установите специальный плагин Пингер. Он автоматически будет сообщать Яндексу о появлении новых страниц на вашем сайте.
Что для этого необходимо сделать:
Б. Установите и настройте плагин в соответствии с инструкцией:
После публикации новой страницы зайдите в настройки плагина, в окне «Сообщение о статусе плагина» должно появляться сообщение «Плагин работает корректно» и выводиться последний добавленный адрес.
Другие возможные статусы и их значения можно посмотреть здесь.
— Специальные формы ПС для ускорения индексации блога «Пинг»
Если у вас блог с подпиской на RSS, для ускорения индексации новых страниц вы можете использовать специальную форму ПС «Пинг».
«Пинг» – это оповещение поисковых систем об изменениях на вашем сайте.
Для добавления новой записи в ПС Google нужно использовать форму « Blog Search » по адресу:
Для добавления новой записи в ПС Яндекс нужно использовать форму « Отправить пинг » по адресу: 
— Бесплатные сервисы пингования
Для ускорения индексации новых документов используйте бесплатные сервисы пингования, например, https://seo-ng.net/seo-instrumenty/ping_services.html:
Важно! Сервисы пингования используйте только при наличии свежего материала на сайте. Также не стоит один и тот же сайт пинговать в разных сервисах.
Подведем итоги – чтобы ускорить индексацию сайта в целом, необходимо:
1. Провести техническую оптимизацию сайта.
2. Организовать грамотную структуру сайта.
3. Регулярно добавлять новый качественный материал на сайт.
4. Добавляя новые страницы, нужно сообщать о них ПС.
5. Привлекать на сайт роботов ПС с помощью внешних ссылок.