Содержание
Для показа в выдаче поисковой системе необходимо проиндексировать страницы сайта. Для этого в 2005 году компания Google был создан инструмент, который назвали sitemap. Это файл с расширением XML для описания страниц, где компактно можно описать все страницы сайта для их индексации поисковой системой. Теперь этот формат используется всеми поисковиками, поэтому надо правильно его настраивать.
Если сайт имеет большое количество страниц, сразу возникает вопрос - как создавать карту сайта? Многие CMS имеют встроенные функционал для его создания, но можно генерировать и скриптом. Чтобы понять можно взглянуть на пример:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://example.com/</loc>
<lastmod>2013-11-18</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
- encoding="UTF-8" - указываем кодировку для файла
- urlset xmlns - указывает стандарт протокола
- url - родительский тег для всех урлов в sitemap
- loc - сюда записываем url-страницы, которую хотим предоставить для индексации поисковику
- lastmod - необязательный тег, который указывает дату последнего обновления
- changefreq - вероятная частота обновления для страницы, также необязательный тег
- priority - приоритет для ПС для этой страницы относительно остальных страниц в файле сайтмап, необязателен
Где взять файл sitemap для своего сайта
- Найти генератор карты сайта онлайн;
- Воспользоваться специальной программой, имеющей данный функционал: Screaming Frog, WonderWebWare Sitemap Generator;
- Написать сайтмап собственноручно;
- Сгенерировать с помощью CMS (если доступна такая функция), о чем мы поговорим далее.
Генератор карты картинок
Эта возможность актуальна только для Гугла, с учетом необходимости продвижения в поиске по картинкам. Также как и обычный sitemap имеет схожую структуру:
Не забывайте добавлять карту картинок в файл robots.txt, вместе с обычной картой. У Яндекса такой функционал не предусмотрен.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">
xmlns:image="https://www.google.com/schemas/sitemap-image/1.1"> <url> <loc>http://example.com/</loc>
<image:image>
<image:loc><image:loc>
</image:image>
</url>
</urlset>
Как добавить карту сайта в Яндекс
Для помощи в индексации сайта Яндексу, файл sitemap необходимо добавить в вебмастер (или проверить добавлен ли он). Заходим в индексирование > файлы sitemap и можем добавить и просмотреть текущие файлы.
В инструментах вы можете проверить карту на наличие ошибок, добавив ссылку на файл, загрузить или просто вставить код. Если интересно посмотреть какие бывают ошибки в файле, то можете сразу промотать сюда.
Добавление и просмотр файлов sitemap в Google
Для добавления карты надо открыть новую версию Search Console от гугл и для выбранного проекта добавить карту сайта в выделенное поле (актуально и для карты картинок)
Далее заходим на просмотр конкретной карты и можем узнать более подробную информацию (в том числе и ошибки).
Создание файла sitemap xml в Opencart
Существует встроенный генератор “Google Sitemap” для Opencart. Чтобы его запустить, необходимо перейти в список модулей, затем в “Каналы продвижения” (для версий 2.0 - 2.2) или “Модули / Расширения” и только там выбрать фильтр “Каналы продвижения” (для версий 2.3 и выше).
В админ панели OpenCart зайдите в Дополнения -> Каналы продвижения. Переходите в меню Редактировать Google Sitemap. Переключите статус sitemap на “включено” и скопируйте адрес Data Feed.
Для использования этого плагина сайт необходимо зарегистрировать в Google Search Console, поскольку далее нам понадобится перейти в меню Сканирование-> Файлы Sitemap и указать там адрес нашей карты сайта.
Недостатки
Как и в любом плагине, у Google Sitemap тоже есть свои недостатки.
- Во-первых: на исполнение скрипта генерации карты сайта отведено ограниченное время (обычно это 30, 60, или 180 сек.). Решается эта проблема только путем установки более нового усовершенствованного генератора.
- Во-вторых: Возникает конфликт с Яндексом из-за наличия изображений. Устранить конфликт можно установкой модуля Yandex Sitemap, он отличается от предыдущего только лишь тем, что не содержит тега image.
- В-третьих: Неправильный приоритет добавления страниц. В первую очередь в сайтмап должны добавляться категории, а для нашего модуля товары имеют больший вес - 1.0, когда категории и производители - всего лишь 0,7. При этом вес у товаров будет одинаковым независимо от того, старые они или новые. В таком случае ПС должны применять свои алгоритмы для определения приоритетных страниц, и кроме того, карта сайта с правильно расставленными приоритетами будет плюсом для выбранной вами страницы.
Как создать карту сайта sitemap.xml в Wordpress
Самый доступный вариант - воспользоваться плагином Google XML Sitemaps.
- В меню панели управления WordPress переходим в плагины
- Добавить новый
- В строке поиска пишем “Google XML Sitemaps”
- Устанавливаем плагин
- По окончании установки кликаем на “Активировать плагин”
Карта сайта создается сразу после активации плагина, далее нам нужно правильно это все дело настроить.
- Переходим в Настройки -> XML-Sitemap
- В появившейся странице нам понадобится изменить следующее:
- В настройках приоритета выбираем “Не использовать автоматическое вычисление приоритета
- В содержании отмечаем те пункты, которые мы хотим добавить в карту сайта
Другие опции настраиваются индивидуальным образом для каждого проекта, если все оставить как есть, сайтмап все равно будет замечательно работать.
Как включить sitemap xml в Yoast SEO
Yoast SEO - довольно популярный плагин для WordPress, и следует отметить, что в нем предусмотрена настройка карты сайта.
После установки данного плагина в левом меню появится пункт “SEO”. Здесь нам нужно включить построение карты сайта в соответствующем пункте. Далее пробежимся по вкладкам с настройками.
Общие: Здесь можно посмотреть созданную карту сайта. Если сайт работает слишком медленно, попробуйте уменьшить значение “Max entries per sitemap”.
Карта сайта со списком пользователей: Если у вас интернет-магазин или любой другой ресурс, не подразумевающий создание записей различными пользователями, рекомендуется поставить галочку на “Отключить карту сайта со списком авторов и пользователей”, чтобы исключить из карты сайта лишнюю информацию.
Типы записей: Отключаем ненужные типы ресурсов. Для блогов рекомендуется отключить медиафайлы, это сделает xml карту сайта легче и при ее построении уменьшит нагрузку на блог.
Таксономии: Исключаем из карты метки, форматы и рубрики (если они не приносят трафик).
Ежели по какой-либо причине Яндекс.Вебмастер утверждает, что “нет используемых роботом файлов sitemap” в сайте на WordPress, придется залить карту сайта вручную.
Карта сайта для Joomla 3
Базовый функционал этой CMS не предусматривает создание файла карты сайта, но для нашей цели существуют специальные расширения, позволяющие создать Sitemap в общепринятых форматах.
Поговорим о самых известных из них:
- Xmap
- mapX
- OSMap
- JSitemap
- JL Sitemap
Начнем с Xmap
Данный генератор является самым популярным на Joomla, поскольку он:
- самый первый генератор карт сайта для Joomla
- свободно распространяемый (бесплатный)
- простой для освоения
- функциональный
- прекрасно справляется со своей задачей
Теперь о недостатках
- устарел и очень давно не обновляется
Последняя версия плагина была выпущена в 13 году, из-за чего могут возникать проблемы при взаимодействии с другими используемыми компонентами Joomla.
- требует наличия дополнительных плагинов
Если на сайте установлены сторонние компоненты, то для добавления в карту сайта некоторых документов, которые создаются этими компонентами, понадобятся дополнительные решения, которых может уже и не существовать, т. к. их актуальность непрерывно стремится к нулю.
Создать карту сайта с Xmap можно практически в пару кликов:
- устанавливаем компонент,
- открываем настройки,
- создать и опубликовать sitemap,
- создать и опубликовать пункт меню.
Компонент MapX
По сути тот же Xmap, но с некоторыми дополнениями:
- обновленный интерфейс,
- функция “Пинг”, сообщающая об обновлении карты поисковым системам.
OSMap
Наследник Xmap, но, в отличие от своего предка, поддерживается разработчиком и, как следствие, регулярно обновляется.
JSitemap и JL Sitemap имеют очень широкий функционал, и рекомендуется их использовать только в тех случаях, когда просто сгенерировать sitemap вам не достаточно, или если вы просто не ищете легких путей.
Создание карты сайта в MODx
Здесь все будет крайне просто:
Для создания карты сайта будем использовать пакет pdoTools, если он не установлен, найдите его в установщике приложений Modx.
Далее идем по пунктам:
- Создаем новый файл с именем sitemap.xml и псевдонимом sitemap
- указываем шаблон (пустой шаблон)
- Переходим в настройки - тип содержимого XML
- В поле "содержимое" пишем [[!pdoSitemap? &checkPermissions= list ]]
- Публикуем и сохраняем
Карта сайта в Drupal
Если вы используете Drupal 7, то для вас разработан модуль, способный создавать и регистрировать карту сайта автоматически. Его можно найти на официальном сайте друпала, называется он “XML sitemap”, устанавливается он не сложно, на просторах интернета можно найти предостаточно инструкций для новичков на данной CMS. Достаточно включить следующие составляющие модуля:
- XML sitemap
- XML sitemap engines
- XML sitemap menu
- XML sitemap node
- XML sitemap taxonomy
Прежде, чем приступить к настройке модуля, нам потребуется открыть доступ всем пользователям, и даже анонимам, на просмотр профилей пользователей. И так, в верхнем меню переходим в Пользователи -> Права доступа.
В строке “просмотр профилей пользователей” ставим все галочки.
Далее, идем в «Конфигурация» -> «Поиск и метаданные». Там вы увидите ссылку ссылка на XML-карту сайта, кликаем. Настройку начнем с раздела “Поисковые системы”.
Здесь выставляем все галочки на «Отправлять карту сайта на следующие поисковики», а в поле «Не отправлять чаще чем раз в» настраиваем ограничение по частоте отправки файла сколько вам нужно. Плавно перемещаемся в следующий раздел “Настройки”
Минимальным временем жизни карты сайта является цикл жизни XML файла.Трогать соответствующее поле стоит в том случае, когда у вас большое кол-во страниц (больше 400), в иных случаях настраивать время жизни не обязательно.
Предварительно запрашивать URL синонимы во время генерации карты сайта – опция достаточно тяжелая для сервера, т.к. она одномоментно запрашивает все ur. Поэтому, если сайт крупный, чтобы не перегружать сервер, её рекомендуется отключить.
После того как мы завершили настройку нашего модуля, давайте добавим материалы, термины и меню в получившуюся карту сайта.
- Для начала перейдем в Структуру, типы материалов.
- Справа от каждого типа материала находится нужная нам ссылка «Изменить».
- Листаем до конца и переходим в раздел «XML-карты сайта»
- В графе «Добавлять в карту сайта» устанавливаем галочку на "включить", а в приоритетности, для basic page, ставим «1.0». Для всех остальных проделываем то же самое, но с корректировкой приоритета, исходя из важности выбранного материала.
- Включаем Sitemap для пунктов меню и терминов таксономии. В верхнем меню идем в “словарь”, который находится по пути «Структура» -> «Таксономия»
- Изменить словарь
- Добавляем наши материалы в карту сайта.
Возвращаемся в окно настроек модуля. Там мы видим, что в подразделах появилась новая вкладка «Обновить карту сайта», что нам, собственно, и нужно.
На странице необходимо оставить галочку «Сохранить и восстановить любые текущие включения и приоритет ссылок.» и здесь же обновляем карту сайта.
Последнее, что от нас нужно, это запустить планировщик Cron в ручном режиме. В админ панели идем в раздел «Конфигурация» -> «Система», там вы увидите «Cron Settings»
Запускаем крон с помощью соответствующей кнопки в раскрывшемся окне.
Карта сайта готова.
Sitemap в 1С Bitrix
Как известно, Битрикс - это замечательная CMS, в том числе и потому, что Sitemap.xml в ней создается автоматически. Для кастомизации есть пользовательская форма создания карты сайта, в которой можем указать материалы и разделы инфоблоков, которые мы собираемся добавить в карту.
Развернутый список настроек карты сайта расположен в Маркетинг > Поисковая оптимизация > Настройка sitemap.xml.
Немного расскажу о кнопках, которые мы увидим в контекстной панели
- Добавить - нужна для перехода к форме добавления новой настройки генерации карты сайта.
- Настроить - переход к окну настройки отображения (внешнего вида) отчетной формы.
- Excel - экспорт данных из отображаемой таблицы в MS Excel.
Список настроек
- Колонка флажков - выбор настроек, к которым предполагается применить какое-либо действие.
- Меню действий - перечень доступных для нас действий;
- Редактировать - переход в окно редактирования выбранной настройки генерации карты сайта;
- Запустить - запуск встроенного генератора карты сайта sitemap.xml;
- Удалить - удаление настройки.
- ID - идентификатор настройки.
- Изменено - последнее изменения в настройках или последняя генерация карты в формате дата и время.
- Название - название настройки карты сайта.
- Сайт - идентификатор и название сайта, для которого составлена настройка.
- Последний запуск - последняя генерация карты сайта в формате дата и время.
Список ошибок
| Ошибка |
Способ устранения |
| файл не проиндексирован |
загрузка файла прошла неудачно, стоит проверить доступность сайта по заданному url |
| размер файла больше допустимого значения |
размер файла превысил 50 кб, стоит разделить файл не несколько |
| ошибка при ответе HTTP, Неправильный HTTP-ответ |
файл отдает ответ отличный от 200 или ответ не соответствует HTTP протоколу, проверить ответ |
| невалидный URL |
невалидная запись URL-сайта |
| Ошибка DNS |
Проверить чтобы ссылка на файл была правильной |
| Соединение было прервано, ошибка при соединении |
при загрузке файла, соединение с сервером было разорвано или не удалось установить его |
| URL запрещен в файле robots.txt |
Урлы запрещенные в robots.txt должны быть удалены из sitemap |
| Ответ не содержит данных |
Сервер передал пустой файл |
| Тег встречается более одного раза |
Все теги должны быть использованы только один раз для каждой записи |
| Неизвестный тег |
В файле не должно быть лишних тегов |
| Тег не найден |
Обязательным должно быть включение трех тегов urlset xmlns, url, loc |
| Некорректный URL (не соответствует местоположению файла Sitemap) |
Необходимо формировать отдельный sitemap для поддоменов |
| Слишком длинный URL |
Длина урла не должна превышать 1024 символа |
| Нет данных в теге, тег не должен содержать другие теги, превышено допустимое число данных |
Все эти ошибки говорят о том что данные в тегах неверны |
| Неверная кодировка |
Эта строка обязательна и указывает на кодировку <?xml version="1.0" encoding="UTF-8"?> |
| Невалидный XML |
Неправильная структура XML |
| Число URL превышает заданный предел |
Если записей больше 50000, то надо разделить файл на несколько и сделать индексный файл Sitemap |
| Число файлов Sitemap превышает заданный предел |
Также и файл индекса сайтмап не может быть больше чем 50000 записей |
| Много некорректных URL в начале файла и слишком много ошибок |
Надо проверить правильность вывода url и вообщем файла, загрузка прекращается на начальной стадии (требуется повторно проверить на ошибки) |
| Файл Sitemap index не может содержать ссылки на файлы Sitemap index |
Если вы используете конструкцию <sitemapindex>, то в перечисление не должно быть файлов, содержащих <sitemapindex> |
| Ошибка в корневом теге |
Не удалось правильно обработать корневой тег. Проверьте тег <urlset> |
