Sitemap XML – что такое, как создать и проверить

Содержание

Создание и работа с картой сайта — один из обязательных пунктов в  SEO-продвижении. В этой статье мы ответим на все вопросы связанные с картой сайта: что это такое, для чего нужны, какие бывают карты сайта, как создать и настроить файл Sitemap XML на Вашем сайте.

Что такое Sitemap

Sitemap XML — файл который содержит ссылки на страницы сайта, которые должны просканировать и проиндексировать краулеры (сканирующие и индексирующие роботы поисковых систем).

Зачем нужна Sitemap

Карта сайта это один из способов сообщить роботам поисковых систем о том какие страницы нужно просканировать и проиндексировать.

С помощью Sitemap Вы можете более эффективно использовать краулинговый бюджет сайта. Краулинговый бюджет — количество страниц Вашего сайта, которые поисковый робот может просканировать за одно посещение. Вы можете добавить в карту сайта только самые важные страницы — которые точно должны быть проиндексированы поисковыми системами. Таким образом вы сможете направить робота на страницы, которые важны для продвижения и скрыть от него малоценные страницы, которые ещё не успели проработать.

Sitemap XML

Общепринятым стандартом является карта сайта в формате XML-файла.

Файл Sitemap XML является наиболее универсальным, он разработан специально для анализа роботами. Ссылки в нём чётко структурированы и имеют ряд дополнительных параметров которые сообщают поисковым роботам дату последнего изменения страницы, её значимость и частоту обновления её контента.

Зачастую имеет название sitemap.xml, располагается в корне сайта и имеет URL https://site.ru/sitemap.xml.

Пример XML карты сайта

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">
     <url>
          <loc>http://site.ru/</loc>
          <lastmod>2013-11-18</lastmod>
          <changefreq>monthly</changefreq>
          <priority>0.8</priority>
     </url>
</urlset>

У файла Sitemap XML есть два главных ограничения:

1. Он должен содержать не более 50 000 URL;
2. Его размер должен быть не более 50 Мб (52 428 800 байт).

Со временем в сети начали появляться большие сайты, содержащие сотни тысяч ссылок. Для обхода ограничений формата Sitemap XML были придуманы индексные карты сайтов.

Индексная карта сайта Sitemap Index XML

Индексная карта сайта (файл индекса Sitemap XML) — это файл, содержащий в себе только ссылки на другие файлы Sitemap XML того же сайта. Ближайшая аналогия — матрёшка, индексная карта сайта это XML файл Sitemap для других Sitemap XML.

Пример индексной XML карты сайта

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <sitemap>
        <loc>http://www.site.ru/sitemap1.xml.gz</loc>
        <lastmod>2004-10-01T18:23:17+00:00</lastmod>
    </sitemap>
    <sitemap>
        <loc>http://www.site.ru/sitemap2.xml.gz</loc>
        <lastmod>2005-01-01</lastmod>
    </sitemap>
</sitemapindex>

Определения XML-тегов Sitemap

Файлы Sitemap XML состоят из следующих тегов:

Маскирование символов

Файл Sitemap XML должен использовать кодировку UTF-8, для всех символов из таблицы ниже необходимо использовать маскирование.

Например, URL содержащий амперсанд: http://www.site.ru/umlat.html&q=name

Ниже приведён этот же URL, но с использованием маскирования: http://www.site.ru/umlat.html&q=name

HTML карта сайта

HTML карта сайта это полноценная веб-страница, которая содержит ссылки на самые важные страницы сайта — главную, разделы каталога, сервисные страницы (О компании, Доставка, Оплата, Контакты и т. д.).

Она нужна для упрощения навигации пользователей сайта и работы с внутренней перелинковкой.

Часто имеет адрес https://site.ru/sitemap/ или https://site.ru/sitemap.html а ссылка на неё размещается в футере — для того чтобы пользователи могли легко её найти.

В чём разница между XML и HTML картой сайта?

XML карта сайта — предназначена для поисковых роботов, используется для облегчения их работы, указания ссылок на все страницы сайта и работы с краулинговым бюджетом.

HTML карта сайта — предназначена для пользователей сайта, упрощения навигации по нему, позволяет пользователю увидеть все значимые страницы сайта на одной странице.

Мы рекомендуем использовать на Вашем сайте оба варианта карт сайта.

Sitemap TXT

Текстовый файл который содержит только список URL. Он должен соответствовать следующим требованиям:

• один URL в. строке;
• URL должен быть указан полностью, с префиксом http;
• содержать не более 50000 URL;
• размер файла должен быть не более 50 Мб (52 428 800 байт);
• использовать кодировку UTF-8;
• должен содержать только список URL, никаких других данных;
• не должен иметь данных заголовка или нижнего колонтитула
• может быть сжат с помощью архиватора gzip;
• должен быть загружен в каталог самого высокого уровня, который должен сканироваться поисковой системой, рекомендуем расположить его по адресу https://site.ru/sitemap.txt.

Фиды RSS, mRSS и Atom 1.0

Обобщённо называются каналом синдикации.

Поисковые системы получают информацию о страницах из следующих полей фида:

• <link> — URL страницы;
• <publishingdate> — дата последнего изменения страницы (необязательное поле).

Яндекс не поддерживает файлы Sitemap в формате RSS, mRSS и Atom-фидов.

Далее мы будем говорить только о XML карте сайта.

Требования и рекомендации к Sitemap XML

• Кол-во ссылок в одной Sitemap XML не должно быть более 50 000;
• Размер файла Sitemap XML не должен быть более 50 Мб в несжатом виде;
• Необходимо использовать кодировку UTF-8;
• Длина одного URL в. XML карте сайта не может быть более 2048 символов;
• Все URL в. XML карте сайта должны быть абсолютными — иметь префикс http и домен;
• Содержать ссылки только на тот домен, на котором расположен;
• Располагаться на корневом уровне сайта;
• Если XML карта сайта расположена не в корневой директории сайта, то она должна содержать только ссылки включающие URL-адрес на котором расположена сама XML карта сайта;
• При обращению к файлу сервер должен возвращать ответ с HTTP-кодом 200.

Местоположение файла Sitemap

Яндекс и Google рекомендуют располагать файл Sitemap XML в. корне сайта, по URL-адресу https://site.ru/sitemap.xml.

Вы можете расположить её в другом месте, например в одном из каталогов: https://site.ru/catalog/sitemap.xml, но тогда вы сможете записать в неё только URL начинающиеся с https://site.ru/catalog/. Вы не сможете записать в эту карту сайта адреса из других разделов.

Примеры недопустимых URL-адресов в файле https://site.ru/catalog/sitemap.xml:

• https://site.ru/catalog2/sitemap.xml
• https://site.ru/videos/sitemap.xml
• http://site.ru/catalog/page/

Как отправить Sitemap в Google

1. Добавить ссылку на sitemap.xmlв Google Search Console, в отчёте Индексирование → Файлы Sitemap.

   

   После сканирования карты сайта Вам будет доступна информация об имеющихся ошибках.

2. Добавьте директиву Sitemap в robots.txt.

               
                   Sitemap: https://intelsib.ru/sitemap.xml
               
           

   Краулер обнаружит ссылку на карту сайта при следующем сканировании robots.txt.

3. Search Console API
   Используйте HTTP-запрос со ссылкой на Ваш файл Sitemap XML.

               
                   PUT
                   https://www.googleapis.com/webmasters/v3/sites/siteUrl/sitemaps/feedpath
               
           

Как добавить Sitemap в Яндекс Вебмастер

1. Добавьте ссылку на sitemap.xml в разделе Индексирование → Файлы Sitemap

   

   

2. Добавьте директиву Sitemap в robots.txt.

               
                   Sitemap: https://intelsib.ru/sitemap.xml
               
           

   Краулер обнаружит ссылку на XML карту сайта при следующем сканировании robots.txt.

Как проверить Sitemap на ошибки

Screaming Frog SEO Spider

Для проверки XML карты сайта через Screaming Frog SEO Spider переключитесь в режим списка, в меню Mode.

Далее, в выпадающем меню Upload выберите режим загрузки карты сайта — Download XML Sitemap, введите ссылку на свою XML карту сайта и нажмите OK.

Программа сообщит Вам о найденных в карте сайта ссылках. Нажав OK вы запустите парсинг этих страниц и узнаете их HTTP-код.

Анализ файлов Sitemap в Яндекс Вебмастер

Яндекс Вебмастер имеет валидатор для проверки Sitemap XML во вкладке Индексирование → Анализ файлов Sitemap.

Вы можете отправить Sitemap XML на проверку тремя способами:

• отправив содержимое файла Sitemap XML;
• указав URL на XML карту сайта;
• отправить сам файл sitemap.xml предварительно скачав его с сайта.

После проверки Вы получите отчёт о результатах анализа.

Файлы Sitemap в Google Search Console

После добавления карты сайта в панель Google Search Console Вам будет доступна информация о её состоянии.

Перейдя в детальный просмотр данных о Sitemap Вы можете узнать подробную информацию об ошибках, препятствующих обработке карты сайта.

Ошибки файлов Sitemap XML которые могут возникнуть

Другие возможные ошибки в Sitemap XML:

• Наличие редиректных (коды ответа 3xx — 301, 302 и т. д.) или битых (коды ответа 4xx — 404, 403 и т. д.) ссылки.
• Ссылки на страницы, закрытые от сканирования и индексации.
• Sitemap запрещена к индексированию — например, метатегом <meta name=”robots” content=”noindex, nofollow”>, тегом noindex или HTTP-заголовком X-Robots-Tag.
• Файл Sitemap является страницей HTML.

Какие карты сайтов бывают

Помимо ссылок на страницы файл Sitemap также может содержать ссылки на другой контент Вашего сайта.

Карта сайта изображений

Используется для продвижения в сервисах Яндекс Картинки и Google Images.

Рекомендуем использовать карту сайта изображений если Ваш сайт имеет уникальные картинки.

Карта сайта видео

Аналогично карте изображений — используется для продвижения в сервисах Яндекс Видео и Google Video.

Рекомендуем использовать XML карту сайта видео если на Вашем сайте размещён авторский видео-контент.

Карта сайта новостей

Используется для продвижения в Google News, содержит ссылки на новостные статьи сайта.

Перед использованием нужно предварительно подать заявку в Google News, иначе XML карта сайта для новостей не будет обработана.

Как создать файл Sitemap XML

Ручное создание

Создайте XML-файл и заполните его в соответствии со всеми требованиями описанными выше. Это самый трудоёмкий процесс, но в то же время дающий максимальный контроль над файлом. Рекомендуем использовать его только в случае, если Ваш сайт очень маленький.

Не забудьте разместить файл в корне сайта и проверить его ответ сервера и доступность для поисковых роботов.

Генерация Sitemap XML в. Screaming Frog SEO Spider

Перед созданием файла sitemap.xml Вам потребуется спарсить сайт.

После того как краулер завершит свою работу, в верхнем меню кликните по меню Sitemaps и выберите пункт XML Sitemap.

Откроется окно конфигуратора карты сайта, где Вы можете детально настроить экспортируемый файл. Перечень настроек Sitemap XML:

• какие страницы будут включены в XML карту сайта — Вы можете выбрать ответ сервера, указать будут ли включены pdf файлы, страницы пагинации, канноликализированные страницы и страницы скрытые в <noindex>

  

  *не рекомендуем добавлять в xml карту сайта pdf-файлы размером выше 10 Мб, так как Яндекс не индексирует документы выше этого размера.

• добавление тега <lastmod>

  

  можно использовать дату сканирования сайта или указать желаемую

• присвоение тега <priority>

  

  Значение присваивается в зависимости от уровня вложенности страницы, на скрине:

  • уровень 0 — главная страница сайта, intelsib.ru
  • уровень 1 — intelsib.ru/prodvizhenie/
  • уровень 2 — intelsib.ru/prodvizhenie/seo/
  • уровень 3 — intelsib.ru/prodvizhenie/seo/trafik/
    и так далее.

• присвоение тега <changefreq>

  

  значение тега можно задать в зависимости от уровня вложенности страницы, аналогично тегу <priority>, также конфигуратор может вычислить значение на основе HTTP-заголовка страницы Last Modified (не путать с тегом <lastmod>).

• добавление изображений в Sitemap

  

  можно регулировать их добавление, добавление изображений скрытых для индексирования, задать минимальное количество ссылок на изображение необходимое для его добавления в Sitemap XML, а также исключить изображения через использование регулярных выражений.

• настроить добавление языковых версий страниц, использующих атрибут hreflang

  

  ВАЖНО: Screaming Frog может создать Sitemap с языковыми версиями страниц, только если на них уже настроен атрибут hreflang или HTTP-заголовок Link с атрибутом hreflang. Программа не может сравнить контент страниц и связать языковые версии самостоятельно, в автоматическом режиме.

Аналогичные опции имеются для генерации XML карты сайта изображений. Для её создания в меню Sitemaps нужно выбрать пункт Images Sitemap.

Онлайн генераторы карты сайта XML

Существуют сайты позволяющие сгенерировать карту сайта. Вы указываете URL своего сайта, краулер сервиса сканирует страницы и составляет файл Sitemap XML.

Результат работы подобных сервисов всегда требует проверки, зачастую они могут включать в карту сайта технические страницы.

Создание в CMS

Как сделать Sitemap в Tilda

Работа с Sitemap в Tilda полностью автоматизирована, все опубликованные страницы добавляются в  sitemap.xml автоматически.

Вы можете удалить страницу из Sitemap. Для этого откройте таб SEO в настройках страницы.

И активируйте чек-бокс «Запретить поисковикам индексировать эту страницу».

XML Карта сайта в Битрикс

В Bitrix есть два встроенных инструмента работы с Sitemap XML:

• Google Sitemap;
• Настройка sitemap.xml

Google Sitemap в Bitrix

Преимущество данного инструмента в его простоте, он имеет минимум настроек, значимыми являются:

• Использование HTTPS — рекомендуем активировать чекбокс
• Шаг — длительность одного цикла работы алгоритма
• Максимальное количество документов для обработки на одном шаге

Шаг и максимальное кол-во документов позволяют контролировать нагрузку на сервер, которая будет возникать при генерации карты сайта. Изменять эти настройки имеет смысл в том случае, если Ваш сайт большой — имеет тысячи страниц.

Настройка sitemap.xml в Bitrix

Данный инструмент позволяет более тонко контролировать создание карты сайта.

Чтобы использовать его нужно перейти в раздел Маркетинг, раскрывающийся список Поисковая оптимизация, выбрать пункт Настройка sitemap.xml и нажать кнопку Добавить. Если Ваша лицензия Битрикс используется на нескольких сайтах, то потребуется выбрать нужный.

Перед Вами откроется окно редактирования Sitemap XML, в нём несколько табов:

• Настройки — задайте название карты сайта, протокол HTTPS, её адрес, название (рекомендуем оставить стандартное название sitemap.xml), а также автоматически добавить директиву Sitemap в robots.txt.

  

• Файлы — позволяет контролировать какие страницы будут добавляться в карту сайта. В основном это окно управляет статическими страницами: Главная, Контакты, О компании, Корзина, Личный кабинет.
  В этом окне мы рекомендуем деактивировать персонализированные страницы, необходимые для личного использования пользователями сайта, например: Личный кабинет, Корзина, Избранное, Авторизация.
• Инфоблоки — позволяет управлять добавлением элементов инфоблоков в карту сайта. Тут можно управлять тем, какие разделы каталога и товары попадут в Sitemap XML.
• Форумы — контролирует добавление страниц форумов в Sitemap. Для её использования нужно предварительно привязать форум к сайту, в 99% сайтах этот функционал не используется.

Sitemap в Аспро

Шаблоны Bitrix от Аспро позволяют настроить автогенерацию sitemap.xml, инструмент находится в разделе Аспро, выпадающий список Генерация файлов, пункт sitemap.xml.

Для его использования в настройках шаблона Аспро нужно активировать использование региональности на поддоменах.

Кнопка «Пересоздать sitemap.xml» копирует все файлы в корне сайта с маской, указанной здесь же в поле «Адрес карты сайта», в директорию /aspro_regions/sitemap/ для каждого поддомена. Копии файлов для поддоменов имеют вид «файлы_по_маске_DOMAIN.xml». В этих копиях адрес сайта заменяется на значение, указанное в поле «Адрес сайта в карте сайта».

Плагины Sitemap для WordPress

WordPress имеет развитое сообщество и тысячи плагинов для различных задач, в том числе для автоматизации работы с Sitemap XML. Далее мы расскажем о наиболее популярных.

Yoast SEO Sitemap

Yoast SEO — один из самых популярных условно бесплатных плагинов для SEO-оптимизации сайтов, работа с картой сайта в нём полностью автоматизирована.

Чтобы использовать Sitemap от Yoast вам нужно активировать её генерацию в настройках плагина: Общие → Функции сайта → блок настроек API → XML-карта сайта.

Созданный файл индексной карты сайта будет располагаться по адресу https://site.ru/sitemap_index.xml.

В блоках настроек «Типы содержимого», «Категории и метки» и «Дополнительно» Вы можете контролировать создание карт сайта для следующих типов контента:

• записи;
• страницы;
• рубрики;
• метки;
• архивы;
• страниц медиа.

Управлять добавлением конкретных страниц в Sitemap XML можно в окне редактирования страницы. Чтобы убрать URL из карты сайта нужно открыть блок настроек Yoast SEO и запретить поисковым системам показывать содержимое в результатах поиска.

XML Sitemap Generator for Google

Плагин позволяет детально управлять настройками карты сайта в одном месте:

• добавлять в карту сайта определённые типы контента (записи, страницы, архивы и т. д.)
• исключать конкретные категории или записи из карты сайта
• изменить частоту обновления для типов страниц, тег <changefreq>
• изменить приоритет для типов страниц, тег <priority>.

All in One SEO

Ещё один популярный условно бесплатный плагин.

В бесплатной версии позволяет создать XML карту сайта, RSS-фид и страницу с HTML картой сайта.

Генератор Sitemap XML даёт возможность контролировать:

• индексирование карты сайта;
• количество ссылок в одной карте сайта;
• типы записей, которые будут добавляться в файл (рубрики, записи, архивы и т. д.);
• исключать отдельные записи и страницы из карты сайта;
• исключать несколько записей по регулярному выражению.

Генератор RSS-фида позволяет указать лишь количество записей в нём.

Генератор HTML-карты сайта позволяет выбрать способ её отображения:

• выделенная страница — автоматически созданная страница, Вам нужно лишь задать её адрес;
• Gutenberg-блок;
• шорткод;
• виджет;
• php-код.

Помимо этого даёт выбрать какие будут включаться типы контента:

• типы записей — страницы и записи
• таксономии — рубрики и метки

И, аналогично генератору Sitemap XML — даёт выбрать какие записи и страницы будут исключены из карты сайта.

Платные версии даёт возможность генерации карты сайта для видео и новостной карты сайта.

WP Sitemap Page

Плагин для создания HTML-карты сайта, предлагает широкий выбор шорткодов с помощью которых вы можете создать общую HTML карту сайта или отдельные страницы для разных типов содержимого. Вот несколько примеров:

• [wp_sitemap_page]  — отображение стандартной карты сайта;
• [wp_sitemap_page only=«page»]  — показывать страницы;
• [wp_sitemap_page only=«post»]  — показывать записи из рубрик;
• [wp_sitemap_page only=«post» sort=«count»]  — показывать записи из рубрик. Рубрики отсортированы по количеству записей. Возможные значения: 'id', 'name', 'slug', 'count', 'term_group';
• [wp_sitemap_page only=«category»]  — показывать рубрики.

Sitemap в ModX

Для создания карты сайта используется пакет pdoToos. Установить его можно в менеджере пакетов ModX. Далее:

1. Создайте ресурс с заголовком и псевдонимом sitemap.
2. Укажите шаблон → (Пустой шаблон).
3. В разделе Настройки задайте тип содержимого → XML.
4. В поле Содержимое напишите [[!pdoSiteMap]].
5. Опубликуйте и сохраните.

Sitemap в OpenCart

Существует встроенный генератор «Google Sitemap» для Opencart. Чтобы его запустить, необходимо в боковом меню админпанели перейти в раздел Дополнения, список модулей, затем в «Каналы продвижения» (для версий 2.0 — 2.2) или «Модули / Расширения» и только там выбрать фильтр «Каналы продвижения» (для версий 2.3 и выше).

Переходите в меню Редактировать Google Sitemap. Переключите статус sitemap на «включено» и скопируйте адрес Data Feed.

Sitemap в Webasyst

Фреймворк автоматически генерирует индексную карту сайта, в неё добавляются все приложения подходящие трём требованиям:

• у них есть фронтенд → frontend => true
• они подключены в маршрутизации сайта
• умеют генерировать собственный Sitemap. Чтобы приложение могло генерировать собственную карту сайта — sitemap-APP_ID.xml, нужно создать файл wa-apps/APP_ID/lib/config/APP_IDSitemapConfig.class.php.

Подробнее, Вы можете ознакомиться на сайте с  официальной документацией.

Sitemap в Drupal

Если Вы используете Drupal 7, то для Вас разработан модуль, способный создавать и регистрировать карту сайта автоматически. Его можно найти на официальном сайте друпала, называется он «XML sitemap», устанавливается он не сложно, на просторах интернета можно найти предостаточно инструкций для новичков на данной CMS. Достаточно включить следующие составляющие модуля:

• XML sitemap
• XML sitemap engines
• XML sitemap menu
• XML sitemap node
• XML sitemap taxonomy

Прежде, чем приступить к настройке модуля, нам потребуется открыть доступ всем пользователям, и даже анонимам, на просмотр профилей пользователей. И так, в верхнем меню переходим в Пользователи → Права доступа. В строке «просмотр профилей пользователей» ставим все галочки. Далее, идем в «Конфигурация» → «Поиск и метаданные». Там вы увидите ссылку ссылка на XML-карту сайта, кликаем.

Настройка следует начать с раздела «Поисковые системы», в нём нужно выставить все галочки на «Отправлять карту сайта на следующие поисковики», а в поле «Не отправлять чаще чем раз в» записать ограничение по частоте отправки файла.

Следующий раздел — «Настройки», он содержит следующие параметры:

• Минимальное время жизни карты сайта — цикл жизни XML файла. Рекомендуем увеличить его, если на Вашем сайте большое кол-во страниц (больше 400), в иных случаях настраивать время жизни не обязательно.
• Предварительно запрашивать URL синонимы во время генерации карты сайта — ресурсозатратная для сервера опция, т. к. она одномоментно запрашивает все URL. Если сайт крупный, её рекомендуется отключить чтобы не перегружать сервер.

После того как настройка модуля завершена нужно добавить материалы, термины и меню в получившуюся карту сайта.

1. Перейдите в Структуру, типы материалов.
2. Справа от каждого типа материала находится нужная нам ссылка «Изменить».
3. Далее нужно пролистать до конца и перейти в раздел «XML-карты сайта».
4. В графе «Добавлять в карту сайта» установить галочку на «включить», а в приоритетности, для basic page, поставить «1.0». Для всех остальных проделать то же самое, но с корректировкой приоритета, исходя из важности выбранного материала.
5. Включить Sitemap для пунктов меню и терминов таксономии. В верхнем меню перейти в «словарь», который находится по пути «Структура» → «Таксономия»

   

6. Изменить словарь

   

7. Добавить наши материалы в карту сайта.

Далее нужно вернуться в окно настроек модуля. Там в подразделах должна появиться новая кнопка «Обновить карту сайта».

На странице необходимо оставить галочку «Сохранить и восстановить любые текущие включения и приоритет ссылок." и обновить карту сайта.

В конце нужно запустить планировщик Cron в ручном режиме. В админ панели перейдите в раздел «Конфигурация» → «Система», там Вы увидите «Cron Settings».

Запустите крон с помощью соответствующей кнопки в раскрывшемся окне.
Карта сайта готова!

Sitemap в Django

Для работы с картой сайта на Django потребуется добавить 2 модуля в файле settings.py и в INSTALLED_APPS. Также, после переменной BASE_DIR в начале файла нужно добавить новую переменную SITE_ID = 1.

Добавляемые модули:

    
        'django.contrib.sites',
        'django.contrib.sitemaps',
    

Далее, выполните миграции python manage.py migrate.

Запустите Django и перейдите в панель администрирования, в ней Вы увидите новый пункт меню → Сайты. Перейдите в него и нажмите на появившийся в списке сайт example.com, так Вы перейдете к его редактированию. На открывшейся странице введите адрес Вашего сайта, если он размещён локально, введите IP-адрес localhost → 127.0.0.1.

Для формирования файла карты сайта Вам нужно создать файл sitemap.py в директории приложения.

Создайте класс PostSitemap, наследуемый от Sitemap.

В теле класса опишите пять методов (для класса категории, их будет четыре):

• items  — возвращает все объекты модели, в данном случае — все опубликованные посты;
• lastmod  — возвращает дату обновления поста, этот метод не нужен для класса с категориями, поскольку нет поля изменения категории;
• priority  — возвращает приоритет для объектов модели от 0.0 до 1.0 — выше коэффициент, выше приоритет;
• changefreq  — возвращает периодичность обновления постов, возможные значения: «always», «hourly», «daily», «weekly», «monthly», «yearly», «never»;
• location  — возвращает URL-адрес объекта, заполняется также как метод get_absolute_url.

Полный код:

from django.contrib.sitemaps import Sitemap
from django.urls import reverse

from . import models

class PostSitemap(Sitemap):
    def items(self):
        return models.PostModel.objects.filter(status=models.PostModel.Status.PUBLISHED)

    def lastmod(self, obj):
        return obj.updated

    def priority(self, obj):
        return 0.8

    def changefreq(self, obj):
        return "weekly"

    def location(self, obj):
        return reverse('blog:post_page', args=[obj.pk, obj.slug])

По аналогии создайте классы для других моделей, которые необходимо внести в файл sitemap.xml, например, модель категории.

Чтобы задать URL-паттерн для карты сайта нужно открыть файл urls.py в директории проекта.

Создайте словарь, в котором перечислите все классы из файла sitemap.py, в конце urlpatterns Добавьте строку для доступа к файлу:

from django.contrib.sitemaps.views import sitemap

from blog.sitemap import PostSitemap, CategorySitemap

sitemaps = {
    'PostSitemap': PostSitemap,
    'CategorySitemap': CategorySitemap,
}

urlpatterns = [
    # ...
    path('sitemap.xml', sitemap, {'sitemaps': sitemaps}, name='django.contrib.sitemaps.views.sitemap'),
]

Sitemap в Joomla

Базовый функционал CMS Joomla 3 не предусматривает создание файла карты сайта, но существуют специальные расширения, позволяющие создать Sitemap в общепринятых форматах.

Наиболее популярные:

• Xmap
• mapX
• OSMap
• JSitemap
• JL Sitemap

1. Xmap

   Данный генератор является самым популярным на Joomla, поскольку он:

   • самый первый генератор карт сайта для Joomla
   • свободно распространяемый (бесплатный)
   • простой для освоения
   • имеет широкий функционал
   • прекрасно справляется со своей задачей

   Его о недостатки:

   • устарел и очень давно не обновляется

     Последняя версия плагина была выпущена в 13 году, из-за чего могут возникать проблемы при взаимодействии с другими используемыми компонентами Joomla.

   • требует наличия дополнительных плагинов

     Если на сайте установлены сторонние компоненты, то для добавления в карту сайта некоторых документов, которые создаются этими компонентами, понадобятся дополнительные решения, которых может уже и не существовать, т. к. их актуальность непрерывно стремится к нулю.

   Создать карту сайта с Xmap можно практически в пару кликов:

   • устанавливаем компонент,
   • открываем настройки,
   • создать и опубликовать sitemap,
   • создать и опубликовать пункт меню.

2. MapX

   По сути тот же Xmap, но с некоторыми дополнениями:

   • обновленный интерфейс,
   • функция «Пинг», сообщающая об обновлении карты поисковым системам.

3. OSMap

   Наследник Xmap, но, в отличие от своего предка, поддерживается разработчиком и, как следствие, регулярно обновляется.

   JSitemap и JL Sitemap имеют очень широкий функционал, и рекомендуется их использовать только в тех случаях, когда просто сгенерировать sitemap вам не достаточно или если вы просто не ищете легких путей.

Sitemap для Laravel

Для работы с Sitemap XML в. Laravel разработан модуль laravel-sitemap, он позволяет автоматизировать создание карты сайта путём его сканирования.

Для создания файла Sitemap Вам нужно подключить модуль и выполнить метод SitemapGenerator.

    
        use Spatie\Sitemap\SitemapGenerator;
        SitemapGenerator::create('https://example.com')->writeToFile($path);
    

Также Вы можете создать XML карту сайта вручную, контролируя какие ссылки попадут в неё.

use Carbon\Carbon;
use Spatie\Sitemap\Sitemap;
use Spatie\Sitemap\Tags\Url;

Sitemap::create()
    ->add(Url::create('/home')
        ->setLastModificationDate(Carbon::yesterday()))
    ->add(...)
    ->writeToFile($path);

Или объединить эти методы — автоматически сгенерировать Sitemap и добавить в неё нужные ссылки.

SitemapGenerator::create('https://example.com')
    ->getSitemap()
    ->add(Url::create('/extra-page')
        ->setLastModificationDate(Carbon::yesterday()))
    ->add(...)
    ->writeToFile($path);

Модуль позволяет ограничить глубину сканирования сайта при создании Sitemap, для этого используйте следующий код:

SitemapGenerator::create('https://example.com')
    ->configureCrawler(function (Crawler $crawler) {
        $crawler->setMaximumDepth(3);
    })
    ->writeToFile($path);

В случае, если некоторые ссылки добавляются в DOM Вашего сайта с помощью JavaScript генератор автоматически добавит их в карту сайта, т. к. имеет поддержку рендеринга JavaScript.

Подробности Вы можете прочитать в документации: https://github.com/spatie/laravel-sitemap.

Sitemap для сайтов с Nuxt JS

Nuxt JS имеет модуль для работы с Sitemap XML.

Для установки модуля нужно прописать зависимость:

    
        npx nuxi@latest module add sitemap
    

Его функции:

• создавать одну sitemap.xml или множество Sitemap в зависимости от типа контента;
• извлекать URL Ваших страниц откуда угодно;
• автоматически обнаруживать изображения;
• автоматически добавлять <lastmod>;
• поддержка SWR кэширования;
• поддержка правил маршрутизации;
• отладка с использованием интеграции Nuxt DevTools или таблицы стилей XML
• полная интеграция с  Nuxt I18n ии  Nuxt Content

Подробности Вы можете прочитать в документации: https://nuxt.com/modules/sitemap.

Sitemap для сайтов с Next JS

Есть два способа для создания Sitemap XML на сайте использующем Next JS:

1. Вручную создать xml файл и поместить его в директорию app;
2. Использовать пакет next-sitemap.

Рассмотрим шаги использования пакетного решения:

1. Первым делом нужно установить пакет в Ваш проект:

               
                   npm install next-sitemap
               
           

2. Создайте конфигурационный файл next-sitemap.config.js в корневой директории Вашего проекта. В него нужно добавить код:

   
   /** @type {import('next-sitemap').IConfig} */
   module.exports = {
     siteUrl: process.env.SITE_URL || 'https://example.com',
     generateRobotsTxt: true, // (optional)
     // ...other options
   }
           

3. Добавьте в файл package.json скрипт:

   
   "scripts": {
     "build": "next build",
     "postbuild": "next-sitemap"
   }
          

4. Запустите сбор билда

               
                   npm run build
               
           

5. Проверьте sitemap.xml в корневой директории Вашего проекта

   
   | app
       | /pages
       | /public
           | /sitemap.xml
           | /robots.txt
           

При успешной сборке в корне проекта будут добавлены файлы sitemap.xml и robots.txt.

Если у Вам не нужен файл robots.txt — добавьте в файл next-sitemap.config.js следующее свойство: generateRobotsTxt: false.