Как выгрузить из Google Search Console более 1000 урлов из отчета индексации
Google Search Console (GSC) позволяет анализировать и отслеживать индексацию страниц вашего сайта в поисковой системе Google. Однако выгрузка более 1000 URL в отчете индексации может стать сложной задачей, поскольку интерфейс Search Console ограничивает количество строк в отчете до 1000 штук. Чтобы обойти это ограничение, можно разбить карту сайта на части, содержащие до 1000 URL в каждой, и выгружать данные по индексации для каждой отдельной части.
В этой статье разберем, как создать несколько карт сайта, как добавить их в Google Search Console и как получать данные об индексации для всех URL вашего сайта.
Шаг 1: Создайте разбитые карты сайта
- Разделите список URL вашего сайта на файлы по 1000 URL в каждом. Если у вас большой сайт, это можно сделать с помощью автоматического скрипта или вручную, разделив основной список на более мелкие части.
- Создайте XML-файлы карт сайта для каждой из частей. Формат карты сайта должен соответствовать стандарту XML Sitemap, где каждая страница находится внутри тега
<url>:<?xml version=»1.0″ encoding=»UTF-8″?>
<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>
<url>
<loc>https://your-site.com/page1</loc>
</url>
<url>
<loc>https://your-site.com/page2</loc>
</url>
<!— Остальные URL —>
</urlset>
Для большого числа URL процесс можно автоматизировать с помощью Python или другого языка программирования, чтобы разбивать основной список на файлы по 1000 URL. - Загрузите файлы карт сайта на ваш сайт в одну папку, например,
https://your-site.com/sitemaps/, где они будут доступны по URL вродеhttps://your-site.com/sitemaps/sitemap1.xml,https://your-site.com/sitemaps/sitemap2.xmlи так далее. - Создайте индексный файл карты сайта, который включает ссылки на все созданные карты сайта:<?xml version=»1.0″ encoding=»UTF-8″?>
<sitemapindex xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>
<sitemap>
<loc>https://your-site.com/sitemaps/sitemap1.xml</loc>
</sitemap>
<sitemap>
<loc>https://your-site.com/sitemaps/sitemap2.xml</loc>
</sitemap>
<!— Остальные карты сайта —>
</sitemapindex>
Этот индексный файл позволит Google обнаружить и обрабатывать все карты сайта автоматически.
Шаг 2: Добавьте карты сайта в Google Search Console
- Перейдите в раздел «Файлы Sitemap» в Google Search Console для вашего сайта.
- Добавьте URL индексного файла карты сайта в поле «Добавить файл Sitemap». Это позволит GSC автоматически прочитать все ссылки на карты сайта и приступить к индексации каждого URL.
- Проверьте статус индексации каждой карты сайта. Через некоторое время после добавления карты вы сможете увидеть отчет по каждой из них, включая количество проиндексированных URL и ошибки, если они есть.
Шаг 3: Получите данные об индексации для каждой карты сайта
Для анализа индексации URL на уровне отдельных карт сайта можно воспользоваться как интерфейсом GSC, так и API.
Метод 1: Использование интерфейса Google Search Console
- Откройте раздел «Индексирование» > «Файлы Sitemap». Здесь вы увидите все добавленные карты сайта и сможете проверять данные по индексации для каждой из них.
- Проверьте данные индексации для каждой карты, такие как количество проиндексированных страниц, ошибки и предупреждения. У меня тут больше — 2000 урлов — сделайте 1000
- Экспортируйте данные: хотя интерфейс позволяет экспортировать данные по 1000 URL за раз, разбивка карт сайта делает возможным скачивание данных по каждой части отдельно.
Так вы получаете данные по карте сайта — все 1000 результатов и можете видеть что в индексе что нет. Если данные по индексации не появились — то делаете без индексной карты — просто загружаете последовательно карты сайта по тыще урлов в каждой. И потом выгружаете по каждой и получаете всю информацию по индексированным страницам. Удачи.
Метод 2: Использование API Google Search Console
Для более масштабной выгрузки можно автоматизировать процесс получения данных о статусе индексации через API GSC. Этот метод удобен для регулярного мониторинга состояния индексации большого количества URL.
Пример на Python:
- Подготовьте учетные данные API и подключитесь к API GSC.
- Отправьте запросы на получение данных для каждой карты сайта.
Этот пример я не буду расписывать — о нем можете прочитать в справке Гугл — https://support.google.com/webmasters/answer/12919192?hl=ru
Добавить комментарий