Настройка ROBOTS.txt

Содержание

Файл robots.txt: полное руководство

Robots.txt - это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. В robots.txt можно ограничить индексирование роботами страниц сайта, что может снизить нагрузку на сайт и ускорить его работу. Правильная настройка этого файла направляет поисковых ботов на важные страницы, не тратя время на технические и дублирующие разделы.

Что такое robots.txt и как он работает

Robots.txt – это текстовый файл, который лежит в корне, главная задача которого сообщать поисковым системам, какие страницы/файлы можно сканировать, а какие запрещено. Большинство поисковых роботов (например, Googlebot и YandexBot) следуют указанным инструкциям, но некоторые, например, спам-боты, могут их игнорировать.

Когда поисковый робот заходит на сайт, он ищет файл по пути https://site.ru/robots.txt. Если файл найден, робот считывает из него директивы и следует им, прежде чем приступить к сканированию.

Основные директивы файла robots.txt

Файл robots.txt состоит из правил, каждый из которых начинается с директивы User-agent.

• User-agent: указывает, для какого поискового робота предназначены написанные инструкции. Можно задать общие правила для всех (User-agent: *) или же настроить директивы для конкретных ботов. Например, User-agent: YandexBot будет действовать только для робота Яндекса.
• Disallow: запрещает сканирование указанной страницы/каталога. Это самая популярная директива. Например:
  • Disallow: /admin/ — запрещает сканирование папки admin
  • Disallow: /? — запрещает сканирование страниц с  GET-параметрами (например, /?page=2)
• Allow: разрешает сканирование, даже если оно запрещено вышестоящей директивой Disallow. Это позволяет делать исключения. Например:
  • Disallow: /papka/ — запрещает сканирование всей папки.
  • Allow: /papka/file.html — разрешает сканирование конкретного файла внутри этой папки. Важно: директива Allow всегда имеет более высокий приоритет.
• Sitemap: указывает поисковым системам путь к XML-карте сайта. Это помогает роботам быстрее находить важные страницы. Рекомендуется указывать полный URL. Sitemap: https://site.ru/sitemap.xml.
• Crawl-delay: (директива только для Яндекса) указывает временную задержку между запросами робота ПС. Crawl-delay: 7 (устанавливает задержку в 7 секунд).
• Host: (только для Яндекса, директива устарела) указывает основное зеркало сайта (версию с www. или без него). Сегодня Яндекс рекомендует настраивать 301-редиректы и rel="canonical".

Настройка robots.txt

Правильно настроенный файл robots.txt это первый шаг на пути к эффективному управлению краулинговым бюджетом и индексацией. Давайте разберем, как создать файл robots.txt и настроить для самых популярных систем управления контентом (CMS).

Как создать robots.txt: пошаговая инструкция

Создание и настройка файла robots.txt не требует специальных навыков. Следует придерживаться следующих правил:

1. Для создания файла воспользуйтесь любым текстовым редактором, например, стандартный «Блокнот» в Windows или TextEdit на macOS. Избегайте сложных программ вроде Microsoft Word (добавляют лишние символы форматирования).
2. В правильном файле robots.txt присутствует хотя бы одно правило, состоящие из нескольких директив. Каждое правило обязательно должно содержать:
   • для какого робота данное правило (User-agent);
   • к каким ресурсам у данного агента есть доступ (Allow), либо к каким ресурсам нет доступа (Disallow).

В первой строке всегда указывайте User-agent. Далее, на новой строке, прописывайте Disallow или Allow для каждого правила. Каждая директива располагается на отдельной строке. Значение правила Disallow/Allow должно начинаться либо с символа /, либо с *.

Строки, начинающиеся с символа # считаются комментариями и не учитываются User-agent.

1. В конце файла обязательно добавьте абсолютный URL-адрес XML-карты сайта, используя директиву Sitemap.
2. Размер файла не должен превышать 500 кБ.
3. Кодировка файла robots.txt должна использоваться ASCII или UTF-8.

Пример файла для простого сайта

    
        User-agent: *
        Disallow: /cgi-bin/
        Disallow: /tmp/
        Disallow: /cart/
        Sitemap: https://domain.ru/sitemap.xml
    

В примере выше мы запретили ПС сканировать папки cgi-bin, tmp и cart, так как они содержат служебную информацию и не несут ценности для пользователей.

Типовые варианты robots.txt для разных CMS

Для популярных систем управления сайтом, таких как WordPress, 1С-Битрикс, Joomla, Drupal, Tilda, ModX и OpenCart, есть стандартные рекомендации, которые помогают закрыть от индексации служебные файлы и папки.

Настройка robots.txt для WordPress

WordPress по умолчанию создаёт много технических страниц и файлов, которые не должны быть в индексе.

    
        User-agent: *
        Disallow: /wp-admin/
        Disallow: /wp-includes/
        Disallow: /wp-content/plugins/
        Disallow: /wp-content/themes/
        Disallow: /wp-json/
        Disallow: /*?*
        Disallow: /author/
        Disallow: /tag/
        Disallow: */feed/
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /wp-admin/ и /wp-includes/: запрет на индексацию служебных папок.
• Disallow: /wp-content/plugins/ и /wp-content/themes/: Служебные папки с файлами плагинов и тем.
• Disallow: /*?*: Закрывает все страницы с GET-параметрами (например, страницы пагинации или сортировки).
• Disallow: /author/ и /tag/: Закрывает страницы авторов и тегов, которые часто дублируют контент.
• Disallow: */feed/: запрет сканирования RSS-лент.

Настройка robots.txt для 1С-Битрикс

Система 1С-Bitrix имеет свои стандартные служебные папки, которые необходимо закрыть.

    
        User-agent: *
        Disallow: /bitrix/
        Disallow: /upload/
        Disallow: /404.php
        Disallow: /auth/
        Disallow: /*?logout=yes
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /bitrix/ и /upload/: Закрывает от сканирования основные служебные папки.
• Disallow: /404.php: Страница с ответом сервера 404, которая не должна попасть в индекс.
• Disallow: /auth/ и /*?logout=yes: запрет индексации страниц авторизации и выхода из профиля.

Настройка robots.txt для Joomla

Joomla также создаёт много служебных URL, которые необходимо закрывать.

    
        User-agent: *
        Disallow: /index.php?option=com_
        Disallow: /component/
        Disallow: /plugins/
        Disallow: /modules/
        Disallow: /templates/
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /index.php?option=com_: закрывает страницы, создаваемые компонентами, которые являются дубликатами.
• Disallow: /component/, /plugins/, /modules/ и /templates/: Закрывает папки с файлами компонентов, плагинов, модулей и шаблонов.

Настройка robots.txt для Drupal

    
        User-agent: *
        Disallow: /core/
        Disallow: /modules/
        Disallow: /themes/
        Disallow: /sites/all/
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /core/: запрет индексации основного ядра системы.
• Disallow: /modules/ и /themes/: Закрывает папки с модулями и темами.
• Disallow: /sites/all/: запрет индексации служебных файлов, которые хранятся в папке /sites/.

Настройка robots.txt для OpenCart

OpenCart популярный движок для интернет-магазинов, где важно закрыть страницы корзины, авторизации и служебные разделы.

    
        User-agent: *
        Disallow: /index.php?route=checkout/
        Disallow: /index.php?route=account/
        Disallow: /index.php?route=product/search
        Disallow: /admin/
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /index.php?route=checkout/ и /index.php?route=account/: запрет индексации страниц оформления заказа и личного кабинета.
• Disallow: /index.php?route=product/search: Закрывает страницу внутреннего поиска.
• Disallow: /admin/: запрет индексации админ-панели.

Настройка robots.txt для Tilda

Tilda это конструктор сайтов, который автоматически создает robots.txt. В большинстве случаев он уже оптимизирован.

    
        User-agent: *
        Disallow: /tilda/
        Disallow: /system/
        Disallow: /project/
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /tilda/: запрет индексации служебной папки tilda.
• Disallow: /system/ и /project/: Закрывает служебные папки.

Настройка robots.txt для Laravel

Laravel — это фреймворк, и у него нет стандартных служебных папок, как у CMS. Robots.txt для Laravel обычно зависит от конкретной реализации, но есть и общие рекомендации.

    
        User-agent: *
        Disallow: /storage/
        Disallow: /routes/
        Disallow: /vendor/
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /storage/: запрет индексации папки с загруженными файлами и кэшем.
• Disallow: /routes/ и /vendor/: Закрывает служебные папки.

Настройка robots.txt для MODX

    
        User-agent: *
        Disallow: /core/
        Disallow: /assets/components/
        Disallow: /connectors/
        Disallow: /manager/
        Sitemap: https://domain.ru/sitemap.xml
    

• Disallow: /core/ и /manager/: Запрещает индексацию ядра системы и админ-панели.
• Disallow: /assets/components/ и /connectors/: Закрывает служебные папки с файлами компонентов и коннекторов.

Особенности настройки для Google и Яндекса

Многие SEO-специалисты сталкиваются с трудностями из-за разницы в подходах Google и Яндекса. Хотя Google и Яндекс следуют одним и тем же основным принципам, их веб-краулеры имеют свои специфики.

Googlebot:

• Игнорирует директивы Crawl-delay и Host. Для Google эти директивы не имеют никакого значения. Управлять скоростью сканирования и указывать главное зеркало сайта нужно через Google Search Console.
• Googlebot может проиндексировать страницу, которая запрещена в robots.txt, если на неё есть ссылки со сторонних сайтов.
• Google всегда отдаёт приоритет Allow. Например, если вы запретили Disallow: /catalog/ и разрешили Allow: /catalog/product.html, Google будет сканировать и индексировать только указанный файл.

YandexBot:

• Яндекс активно использует Crawl-delay.
• Яндекс более строго, чем Google, следует инструкциям в robots.txt и реже индексирует запрещённые страницы.
• Яндекс официально заявил, что директива Host устарела и рекомендует использовать 301-редирект.
• Уникальная директива Clean-param, которая позволяет указать роботу, какие динамические параметры (?param=value) не влияют на содержание страницы. Это помогает бороться с дубликатами, которые возникают на сайтах с фильтрами и сортировкой.

Пример использования Clean-param: Clean-param: sort_by&color&price /catalog/. Это правило говорит Яндексу, что страницы с параметрами сортировки, цвета и цены не являются уникальными, и ему не нужно их сканировать.

Генераторы robots.txt: польза или риск?

Генераторы robots.txt — это онлайн-сервисы, которые автоматически создают файл robots.txt и подходят для новичков, которым нужно быстро создать базовый набор правил, чтобы избежать хаотичной индексации.

Но есть и минусы: генераторы не учитывают особенности вашего сайта, они создают стандартные правила, которые могут быть неэффективны или даже навредить.

Эти инструменты можно использовать как черновик, но финальную версию robots.txt нужно проверять вручную и корректировать. Для профессиональной настройки лучше писать директивы самостоятельно с нуля.

Типичные ошибки в файле robots.txt и их решение

Некорректная настройка robots.txt может привести к тому, что сайт или его важные страницы пропадут из поисковой выдачи.

Ошибка 1: Закрыть от сканирования, но не закрыть от индексации

ошибочно думать, что директива Disallow полностью закрывает страницу от индексации поисковых систем. На самом деле, она лишь запрещает роботу сканировать контент, но не мешает индексировать URL.

Если на страницу, закрытую с помощью Disallow, есть ссылки с других сайтов, Google может отразить в индексе её. В результате, URL появится в поисковой выдаче, но без заголовка и описания.

Для надёжного закрытия страницы от индексации используйте метатег noindex. Он должен быть размещён в <head> страницы.

Пример: <meta name="robots" content="noindex, follow">

Это говорит роботу: «Не индексируй эту страницу, но можешь следовать по ссылкам, которые на ней размещены».

Ошибка 2: Синтаксические недочеты

Файл robots.txt чувствителен к синтаксису: опечатка или дополнительный пробел могут привести к тому, что весь файл будет проигнорирован:

• Неправильное имя файла (robot.txt вместо robots.txt).
• Пробелы в начале строк или между директивами.
• Использование кириллицы или других символов.
• Файл сохранён не в кодировке UTF-8 без BOM.

Используйте официальные валидаторы. Это самые надёжные инструменты для проверки синтаксиса.

Ошибка 3: Файл недоступен для роботов

Если робот не может получить доступ к файлу robots.txt, он будет сканировать весь сайт:

• Файл не загружен в корневую папку сайта.
• Сервер возвращает 404 (Not Found) или 503 (Service Unavailable) ответ при попытке получения доступа к файлу.
• Доступ к файлу закрыт через файл .htaccess или настройки сервера.

Убедитесь, что файл доступен по пути https://domain.ru/robots.txt и что сервер возвращает ответ 200 OK.

Как проверить robots.txt

Чтобы избежать ошибок, используйте официальные инструменты:

• Инструмент проверки robots.txt в Google Search Console поможет протестировать файл и увидеть, как Googlebot воспринимает директивы файла.
• Анализатор robots.txt в Яндекс.Вебмастере проверяет синтаксис и удостоверяется, что файл корректен для Яндекса.

Работа с указанными инструментами должна стать вашей привычкой при взаимодействии с robots.txt.

Часто задаваемые вопросы

1. robots.txt нужен для каждого сайта?

Да. Даже если вы хотите, чтобы все страницы были проиндексированы, лучше создать пустой файл robots.txt или указать в нём только путь к Sitemap. Это избавит веб-краулеры от необходимости тратить время на его поиск. Отсутствие файла может вызвать 404-ответ сервера, что нежелательно.

2. Можно ли закрыть сайт от индексации только с помощью robots.txt?

Нет. robots.txt не даёт 100% гарантии. Если на закрытую с помощью Disallow страницу есть ссылки с других сайтов, Google может отразить в индексе её. Для закрытия страницы от индексации нужно использовать метатег noindex или пароль.

3. Что будет, если robots.txt отсутствует?

Если файл robots.txt отсутствует, роботы будут сканировать весь сайт, включая те страницы, которые не предназначены для индексации. Это может привести к потере краулингового бюджета и индексации мусорных страниц.

4. Как быстро учитываются изменения в robots.txt?

Изменения вступают в силу в течение 48 часов, но процесс может занять и больше времени, в зависимости от активности роботов на вашем сайте.

5. Влияет ли robots.txt на скорость загрузки сайта?

Нет, файл robots.txt загружается моментально и не оказывает никакого влияния на скорость загрузки сайта.

6. Влияет ли robots.txt на SEO-позиции?

Напрямую — нет, но правильная настройка помогает управлять краулинговым бюджетом и избегать дублей, что косвенно влияет на ранжирование и формирует фундамент для успешного SEO-продвижения.

7. Можно ли в robots.txt запретить сканировать файлы?

Да. Вы можете запретить сканирование отдельных файлов, используя их расширения, например, Disallow: /*.png.