Содержание
Что такое robots.txt?
ROBOTS.TXT - Стандарт исключений для роботов - файл в текстовом формате.txt для ограничения доступа роботам к содержимому сайта. Файл должен находиться в корне сайта (по адресу /robots.txt). Использование стандарта необязательно, но поисковые системы следуют правилам, содержащимся в robots.txt. Сам файл состоит из набора записей вида
<поле>:<необязательный пробел><значение><необязательный пробел>
где поле - название правила (User-Agent, Disallow, Allow и проч.)
Записи разделяются одной или более пустых строк (признак конца строки: символы CR, CR+LF, LF)
Как правильно настроить ROBOTS.TXT?
В данном пункте приведены основные требования по настройке файла, конкретные рекомендации по настройке здесь, примеры для популярных CMS здесь.
- Размер файла не должен превышать 32 кБ.
- Должна использоваться кодировка ASCII или UTF-8.
- В правильном файле robots.txt должны обязательно присутствовать хотя бы одно правило, состоящие из нескольких директив. Каждое правило обязательно должно содержать следующие директивы:
- для какого робота данное правило (директива User-agent)
- к каким ресурсам у данного агента есть доступ (директива Allow), либо к каким ресурсам нет доступа (Disallow).
- Каждое правило и директива должны начинаться с новой строки.
- Значение правила Disallow/Allow должно начинаться либо с символа /, либо с *.
- Все строки, начинающиеся с символа #, либо части строк начиная с данного символа считаются комментариями и не учитываются агентами.
Таким образом минимальное содержание правильно настроенного файла robots.txt выглядит так:
~~~~
User-agent: \* #для всех агентов
Disallow: #запрещено ничего = разрешен доступ ко всем файлам
~~~~
Как создать ROBOTS.TXT?
Создать файл возможно с помощью любого текстового редактора (например, notepad++). Кодировка файла должна быть ASCII или UTF-8, а размер файла не должен превышать 32 КБ. Для создания, либо изменения файла robots.txt обычно требуется доступ к серверу по FTP/SSH, впрочем, многие CMS/CMF имеют встроенный интерфейс управления содержимым файла через панель администрирования (“админку”), например: Bitrix, ShopScript и другие. Файл доступен в браузере когда он создан и работает корректно.
Для чего нужен файл ROBOTS.TXT на сайте?
Как видно из определения, robots.txt позволяет управлять поведением роботов при посещении сайта, т.е. настроить индексирование сайта поисковыми системами - это делает данный файл важной частью SEO-оптимизации вашего сайта. Самая важная возможность robots.txt - запрет на индексацию страниц / файлов не содержащих полезную информацию. Либо вообще всего сайта, что может быть необходимо, например, для тестовых версий сайта.
Основные примеры того, что нужно закрывать от индексации будут рассмотрены ниже.
Что нужно закрывать от индексации?
Во-первых, всегда следует запрещать индексацию сайтов в процессе разработки, чтобы избежать попадания в индекс страниц, которых вообще не будет на готовой версии сайта и страниц с отсутствующим / дублированным / тестовым контентом до того как они будут заполнены.
Во-вторых, следует запретить индексировать копии сайта, созданные как тестовые площадки для разработки.
В-третьих, разберем какой контент непосредственно на сайте нужно запрещать индексировать.
- Административная часть сайта, служебные файлы.
- Страницы авторизации / регистрации пользователя, в большинстве случаев - персональные разделы пользователей (если не предусмотрен публичный доступ к личным страницам).
- Корзина и страницы оформления, просмотра заказа.
- Страницы сравнения товаров, возможно выборочно открывать такие страницы для индексации при условии их уникальности. В общем случае таблицы сравнения - бессчетное количество страниц с дублированным контентом.
- Страницы поиска и фильтрации возможно оставлять открытыми для индексации только в случае их правильной настройки: отдельные урлы, заполненные уникальные заголовки, мета-теги. В большинстве случаев такие страницы следует закрывать.
- Страницы с сортировками товаров / записей, в случае наличия у них разных адресов.
- Страницы с utm-, openstat-метками в URl (а также всеми прочими).
Синтаксис ROBOTS.TXT
Теперь остановимся на синтаксисе robots.txt более подробно.
Общие положения:
- каждая директива должна начинаться с новой строки;
- строка не должна начинаться с пробела;
- значение директивы должно быть в одну строку;
- не нужно обрамлять значения директив в кавычки;
по умолчанию для всех значений директив в конце прописывается *, Пример:
User-agent: Yandex
Disallow: /cgi-bin\* # блокирует доступ к страницам
Disallow: /cgi-bin # то же самое
пустой перевод строки трактуется как окончание правила User-agent;
- в директивах «Allow», «Disallow» указывается только одно значение;
- название файла robots.txt не допускает наличие прописных букв;
- robots.txt размером более 32 Кб не допускается, роботы не будут загружать такой файл и посчитают сайт полностью разрешенным;
- недоступный robots.txt может трактоваться как полностью разрешающий;
- пустой robots.txt считается полностью разрешающим;
- для указания кириллических значений правил используйте Punycode;
- допускаются только кодировки UTF-8 и ASCII: использование любых национальных алфавитов и прочих символов в robots.txt не допускается.
Специальные символы:
- # - Символ начала комментирования, весь текст после # и до перевода строки считается комментарием и не используется роботами.
- * - Подстановочное значение обозначающее префикс, суффикс либо значение директивы полностью - любой набор символов (в том числе пустой).
$ - Указание на конец строки, запрет достраивания * к значению, наПример:
~~~
User-agent: * #для всех
Allow: /$ #разрешить индексацию главной страницы
Disallow: * #запретить индексацию всех страниц, кроме разрешенной
~~~~
Список директив
User-agent
Обязательная директива. Определяет к какому роботу относится правило, в правиле может быть одна или несколько таких директив. Можно использовать символ * как указание префикса, суффикса или полного названия робота. Пример:
#сайт закрыт для Google.Новости и Google.Картинки
User-agent: Googlebot-Image
User-agent: Googlebot-News
Disallow: /
#для всех роботов, чье название начинается с Yandex, закрываем раздел “Новости”
User-agent: Yandex\*
Disallow: /news
#открыт для всех остальных
User-agent: \*
Disallow:
Здесь можно посмотреть список роботов поисковых систем
Disallow
В каждом правиле должна быть по крайней мере одна директива Disallow: или Allow:.
Директива указывает какие файлы или каталоги нельзя индексировать. Значение директивы должно начинаться с символа / либо *. По умолчанию в конце значения проставляется *, если это не запрещено символом $.
Allow
В каждом правиле должна быть по крайней мере одна директива Disallow: или Allow:.
Директива указывает какие файлы или каталоги следует индексировать. Значение директивы должно начинаться с символа / либо *. По умолчанию в конце значения проставляется *, если это не запрещено символом $.
Использование директивы актуально только совместно с Disallow для разрешения индексации какого-то подмножества запрещенных к индексированию страниц директивой Disallow.
Clean-param
Необязательная, межсекционная директива. Используйте директиву Clean-param, если адреса страниц сайта содержат GET-параметры (в URL отображается после знака ?), которые не влияют на их содержимое (например, UTM). С помощью данного правила все адреса будут приведены к единому виду - исходному, без параметров.
Роботы Google не учитывают данную директиву.
Синтаксис директивы:
Clean-param: p0[&p1&p2&..&pn] [path]
p0… - названия параметров, которые не нужно учитывать
path - префикс пути страниц, для которых применяется правило
Пример.
На сайте есть страницы вида
www.example.com/some\_dir/get\_book.pl?ref=site\_1&book\_id=123
www.example.com/some\_dir/get\_book.pl?ref=site\_2&book\_id=123
www.example.com/some\_dir/get\_book.pl?ref=site\_3&book\_id=123
При указании правила
User-agent: Yandex
Disallow:
Clean-param: ref /some\_dir/get\_book.pl
робот сведет все адреса страницы к одному:
www.example.com/some\_dir/get\_book.pl?book\_id=123
Sitemap
Необязательная директива, возможно размещение нескольких таких директив в одном файле, межсекционная (достаточно указать в файле один раз, не дублируя для каждого агента).
Используется для указания ссылки на xml-карту сайта. Должен быть указан полный URL.
Пример:
Sitemap: https://example.com/sitemap.xml
Crawl-delay
Директива позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Поддерживаются дробные значения.
Минимально допустимое значение для роботов Яндекс - 2.0.
Роботы Google не учитывают данную директиву.
Пример:
~~~
User-agent: Yandex
Crawl-delay: 2.0 # задает тайм-аут в 2 секунды
User-agent: \*
Crawl-delay: 1.5 # задает тайм-аут в 1.5 секунды
~~~
Host
Директива указывает главное зеркало сайта. На данный момент из популярных поисковых систем поддерживается только Mail.ru.
Пример:
User-agent: Mail.Ru
Host: www.site.ru # главное зеркало с www
Примеры robots.txt для популярных CMS
ROBOTS.TXT для 1С:Битрикс
В CMS Битрикс предусмотрена возможность управления содержимым файла robots.txt. Для этого в административном интерфейсе нужно зайти в инструмент “Настройка robots.txt”, воспользовавшись поиском, либо по пути Маркетинг->Поисковая оптимизация->Настройка robots.txt. Также можно изменить содержимое robots.txt через встроенный редактор файлов Битрикс, либо через FTP.
Приведенный ниже пример может использоваться как стартовый набор robots.txt для сайтов на Битрикс, но не является универсальным и требует адаптации в зависимости сайта.
Пояснения:
- в директивах Allow указаны пути к файлам стилей, скриптов, картинок: для правильной индексации сайта необходимо, чтобы они были доступны роботам;
разбиение на правила для разных агентов обусловлено тем, что Google не поддерживает директиву Clean-param.
User-Agent: Yandex
Disallow: \*/index.php
Disallow: /bitrix/
Disallow: /\*filter
Disallow: /\*order
Disallow: /\*show\_include\_exec\_time=
Disallow: /\*show\_page\_exec\_time=
Disallow: /\*show\_sql\_stat=
Disallow: /\*bitrix\_include\_areas=
Disallow: /\*clear\_cache=
Disallow: /\*clear\_cache\_session=
Disallow: /\*ADD\_TO\_COMPARE\_LIST
Disallow: /\*ORDER\_BY
Disallow: /\*?print=
Disallow: /\*&print=
Disallow: /\*print\_course=
Disallow: /\*?action=
Disallow: /\*&action=
Disallow: /\*register=
Disallow: /\*forgot\_password=
Disallow: /\*change\_password=
Disallow: /\*login=
Disallow: /\*logout=
Disallow: /\*auth=
Disallow: /\*backurl=
Disallow: /\*back\_url=
Disallow: /\*BACKURL=
Disallow: /\*BACK\_URL=
Disallow: /\*back\_url\_admin=
Disallow: /\*?utm\_source=
Disallow: /\*?bxajaxid=
Disallow: /\*&bxajaxid=
Disallow: /\*?view\_result=
Disallow: /\*&view\_result=
Disallow: /\*?PAGEN\*&
Disallow: /\*&PAGEN
Allow: \*/?PAGEN\*
Allow: /bitrix/components/\*/
Allow: /bitrix/cache/\*/
Allow: /bitrix/js/\*/
Allow: /bitrix/templates/\*/
Allow: /bitrix/panel/\*/
Allow: /bitrix/components/\*/\*/
Allow: /bitrix/cache/\*/\*/
Allow: /bitrix/js/\*/\*/
Allow: /bitrix/templates/\*/\*/
Allow: /bitrix/panel/\*/\*/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Clean-Param: PAGEN\_1 /
Clean-Param: PAGEN\_2 / #если на сайте больше компонентов с пагинацией, то дублировать правило для всех вариантов, меняя номер
Clean-Param: sort
Clean-Param: utm\_source&utm\_medium&utm\_campaign
Clean-Param: openstat
User-Agent: \*
Disallow: \*/index.php
Disallow: /bitrix/
Disallow: /\*filter
Disallow: /\*sort
Disallow: /\*order
Disallow: /\*show\_include\_exec\_time=
Disallow: /\*show\_page\_exec\_time=
Disallow: /\*show\_sql\_stat=
Disallow: /\*bitrix\_include\_areas=
Disallow: /\*clear\_cache=
Disallow: /\*clear\_cache\_session=
Disallow: /\*ADD\_TO\_COMPARE\_LIST
Disallow: /\*ORDER\_BY
Disallow: /\*?print=
Disallow: /\*&print=
Disallow: /\*print\_course=
Disallow: /\*?action=
Disallow: /\*&action=
Disallow: /\*register=
Disallow: /\*forgot\_password=
Disallow: /\*change\_password=
Disallow: /\*login=
Disallow: /\*logout=
Disallow: /\*auth=
Disallow: /\*backurl=
Disallow: /\*back\_url=
Disallow: /\*BACKURL=
Disallow: /\*BACK\_URL=
Disallow: /\*back\_url\_admin=
Disallow: /\*?utm\_source=
Disallow: /\*?bxajaxid=
Disallow: /\*&bxajaxid=
Disallow: /\*?view\_result=
Disallow: /\*&view\_result=
Disallow: /\*utm\_
Disallow: /\*openstat=
Disallow: /\*?PAGEN\*&
Disallow: /\*&PAGEN
Allow: \*/?PAGEN\*
Allow: /bitrix/components/\*/
Allow: /bitrix/cache/\*/
Allow: /bitrix/js/\*/
Allow: /bitrix/templates/\*/
Allow: /bitrix/panel/\*/
Allow: /bitrix/components/\*/\*/
Allow: /bitrix/cache/\*/\*/
Allow: /bitrix/js/\*/\*/
Allow: /bitrix/templates/\*/\*/
Allow: /bitrix/panel/\*/\*/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Sitemap: http://site.com/sitemap.xml #заменить на адрес вашей карты сайта
ROBOTS.TXT для WordPress
В “админке” Вордпресс нет встроенного инструмента для добавления и настройки robots.txt, поэтому доступ к файлу возможен только с помощью FTP, либо после установки специального плагина (например, DL Robots.txt).
Приведенный ниже пример может использоваться как стартовый набор robots.txt для сайтов на Wordpress, но не является универсальным и требует адаптации в зависимости сайта.
Пояснения:
- в директивах Allow указаны пути к файлам стилей, скриптов, картинок: для правильной индексации сайта необходимо, чтобы они были доступны роботам;
- разбиение на правила для разных агентов обусловлено тем, что Google не поддерживает директиву Clean-param;
- для большинства сайтов страницы архивов записей по автору и меток только создают дублирование контента и не создают полезного контента, поэтому в данном примере они закрыты для индексации. Если же на вашем проекте подобные страницы необходимы, полезны и уникальны, то следует удалить директивы Disallow: /tag/ и Disallow: /author/.
Пример правильного ROBOTS.TXT для сайта на WoRdPress:
~~~
User-agent: Yandex # Для Яндекса
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: \*?s=
Disallow: \*&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: \*/trackback
Disallow: \*/feed
Disallow: \*/rss
Disallow: \*/embed
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /readme.html
Disallow: \*?replytocom
Allow: \*/uploads
Allow: /\*/\*.js
Allow: /\*/\*.css
Allow: /wp-\*.png
Allow: /wp-\*.jpg
Allow: /wp-\*.jpeg
Allow: /wp-\*.gif
Clean-Param: utm\_source&utm\_medium&utm\_campaign
Clean-Param: openstat
User-agent: \*
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: \*?s=
Disallow: \*&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: \*/trackback
Disallow: \*/feed
Disallow: \*/rss
Disallow: \*/embed
Disallow: /xmlrpc.php
Disallow: \*?utm
Disallow: \*openstat=
Disallow: /tag/
Disallow: /readme.html
Disallow: \*?replytocom
Allow: \*/uploads
Allow: /\*/\*.js
Allow: /\*/\*.css
Allow: /wp-\*.png
Allow: /wp-\*.jpg
Allow: /wp-\*.jpeg
Allow: /wp-\*.gif
Sitemap: http://site.com/sitemap.xml #заменить на адрес вашей карты сайта
~~~
ROBOTS.TXT для OpenCart
В “админке” OpenCart нет встроенного инструмента для настройки robots.txt, поэтому доступ к файлу возможен только с помощью FTP.
Приведенный ниже пример может использоваться как стартовый набор robots.txt для сайтов на OpenCart, но не является универсальным и требует адаптации в зависимости сайта.
Пояснения:
- в директивах Allow указаны пути к файлам стилей, скриптов, картинок: для правильной индексации сайта необходимо, чтобы они были доступны роботам;
разбиение на правила для разных агентов обусловлено тем, что Google не поддерживает директиву Clean-param;
User-agent: \*
Disallow: /\*route=account/
Disallow: /\*route=affiliate/
Disallow: /\*route=checkout/
Disallow: /\*route=product/search
Disallow: /index.php?route=product/product\*&manufacturer\_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /\*?sort=
Disallow: /\*&sort=
Disallow: /\*?order=
Disallow: /\*&order=
Disallow: /\*?limit=
Disallow: /\*&limit=
Disallow: /\*?filter\_name=
Disallow: /\*&filter\_name=
Disallow: /\*?filter\_sub\_category=
Disallow: /\*&filter\_sub\_category=
Disallow: /\*?filter\_description=
Disallow: /\*&filter\_description=
Disallow: /\*?tracking=
Disallow: /\*&tracking=
Disallow: /\*compare-products
Disallow: /\*search
Disallow: /\*cart
Disallow: /\*checkout
Disallow: /\*login
Disallow: /\*logout
Disallow: /\*vouchers
Disallow: /\*wishlist
Disallow: /\*my-account
Disallow: /\*order-history
Disallow: /\*newsletter
Disallow: /\*return-add
Disallow: /\*forgot-password
Disallow: /\*downloads
Disallow: /\*returns
Disallow: /\*transactions
Disallow: /\*create-account
Disallow: /\*recurring
Disallow: /\*address-book
Disallow: /\*reward-points
Disallow: /\*affiliate-forgot-password
Disallow: /\*create-affiliate-account
Disallow: /\*affiliate-login
Disallow: /\*affiliates
Disallow: /\*?filter\_tag=
Disallow: /\*brands
Disallow: /\*specials
Disallow: /\*simpleregister
Disallow: /\*simplecheckout
Disallow: \*utm=
Disallow: /\*&page
Disallow: /\*?page\*&
Allow: /\*?page
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/\*/
User-agent: Yandex
Disallow: /\*route=account/
Disallow: /\*route=affiliate/
Disallow: /\*route=checkout/
Disallow: /\*route=product/search
Disallow: /index.php?route=product/product\*&manufacturer\_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /\*?sort=
Disallow: /\*&sort=
Disallow: /\*?order=
Disallow: /\*&order=
Disallow: /\*?limit=
Disallow: /\*&limit=
Disallow: /\*?filter\_name=
Disallow: /\*&filter\_name=
Disallow: /\*?filter\_sub\_category=
Disallow: /\*&filter\_sub\_category=
Disallow: /\*?filter\_description=
Disallow: /\*&filter\_description=
Disallow: /\*compare-products
Disallow: /\*search
Disallow: /\*cart
Disallow: /\*checkout
Disallow: /\*login
Disallow: /\*logout
Disallow: /\*vouchers
Disallow: /\*wishlist
Disallow: /\*my-account
Disallow: /\*order-history
Disallow: /\*newsletter
Disallow: /\*return-add
Disallow: /\*forgot-password
Disallow: /\*downloads
Disallow: /\*returns
Disallow: /\*transactions
Disallow: /\*create-account
Disallow: /\*recurring
Disallow: /\*address-book
Disallow: /\*reward-points
Disallow: /\*affiliate-forgot-password
Disallow: /\*create-affiliate-account
Disallow: /\*affiliate-login
Disallow: /\*affiliates
Disallow: /\*?filter\_tag=
Disallow: /\*brands
Disallow: /\*specials
Disallow: /\*simpleregister
Disallow: /\*simplecheckout
Disallow: /\*&page
Disallow: /\*?page\*&
Allow: /\*?page
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/\*/
Clean-Param: page /
Clean-Param: utm\_source&utm\_medium&utm\_campaign /
Sitemap: http://site.com/sitemap.xml #заменить на адрес вашей карты сайта
ROBOTS.TXT для Joomla3
В “админке” Джумла нет встроенного инструмента для настройки robots.txt, поэтому доступ к файлу возможен только с помощью FTP. В стандартном файле Joomla до версии 3.3 роботы не понимают оформление сайта (не видят часть контента), не видят изображений. Кроме того, в файле закрыты основные служебные директории, но в то же время много ненужной информации остается открытой.
Приведенный ниже пример может использоваться как стартовый набор robots.txt для сайтов на Joomla с включенным SEF, но не является универсальным и требует адаптации в зависимости сайта.
Пояснения:
- в директивах Allow указаны пути к файлам стилей, скриптов, картинок: для правильной индексации сайта необходимо, чтобы они были доступны роботам;
разбиение на правила для разных агентов обусловлено тем, что Google не поддерживает директиву Clean-param;
User-agent: Yandex
Disallow: /\*%
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /log/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /plugins/
Disallow: /modules/
Disallow: /component/
Disallow: /search\*
Disallow: /\*mailto/
Allow: /\*.css?\*$
Allow: /\*.less?\*$
Allow: /\*.js?\*$
Allow: /\*.jpg?\*$
Allow: /\*.png?\*$
Allow: /\*.gif?\*$
Allow: /templates/\*.css
Allow: /templates/\*.less
Allow: /templates/\*.js
Allow: /components/\*.css
Allow: /components/\*.less
Allow: /media/\*.js
Allow: /media/\*.css
Allow: /media/\*.less
Allow: /index.php?\*view=sitemap\* #открываем карту сайта
Clean-param: searchword /
Clean-param: limit&limitstart /
Clean-param: keyword /
User-agent: \*
Disallow: /\*%
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /log/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /plugins/
Disallow: /modules/
Disallow: /component/
Disallow: /search\*
Disallow: /\*mailto/
Disallow: /\*searchword
Disallow: /\*keyword
Allow: /\*.css?\*$
Allow: /\*.less?\*$
Allow: /\*.js?\*$
Allow: /\*.jpg?\*$
Allow: /\*.png?\*$
Allow: /\*.gif?\*$
Allow: /templates/\*.css
Allow: /templates/\*.less
Allow: /templates/\*.js
Allow: /components/\*.css
Allow: /components/\*.less
Allow: /media/\*.js
Allow: /media/\*.css
Allow: /media/\*.less
Allow: /index.php?\*view=sitemap\* #открываем карту сайта
Sitemap: http://ваш\_адрес\_карты\_сайта
Перечень основных агентов
| Бот |
Функция |
| Google |
|
| Googlebot |
основной индексирующий робот Google |
| Googlebot-News |
Google Новости |
| Googlebot-Image |
Google Картинки |
| Googlebot-Video |
видео |
| Mediapartners-Google |
Google AdSense, Google Mobile AdSense |
| Mediapartners |
Google AdSense, Google Mobile AdSense |
| AdsBot-Google |
проверка качества целевой страницы |
| AdsBot-Google-Mobile-Apps |
Робот Google для приложений |
| Яндекс |
|
| YandexBot |
основной индексирующий робот Яндекса |
| YandexImages |
Яндекс.Картинки |
| YandexVideo |
Яндекс.Видео |
| YandexMedia |
мультимедийные данные |
| YandexBlogs |
робот поиска по блогам |
| YandexAddurl |
робот, обращающийся к странице при добавлении ее через форму «Добавить URL» |
| YandexFavicons |
робот, индексирующий пиктограммы сайтов (favicons) |
| YandexDirect |
Яндекс.Директ |
| YandexMetrika |
Яндекс.Метрика |
| YandexCatalog |
Яндекс.Каталог |
| YandexNews |
Яндекс.Новости |
| YandexImageResizer |
робот мобильных сервисов |
| Bing |
|
| Bingbot |
основной индексирующий робот Bing |
| Yahoo! |
|
| Slurp |
основной индексирующий робот Yahoo! |
| Mail.Ru |
|
| Mail.Ru |
основной индексирующий робот Mail.Ru |
Частые вопросы
Как проверить robots.txt сайта?
Проверка валидности robots.txt, а также проверка страниц сайта на возможность индексирования может быть осуществлена с помощью специальных инструментов поисковых систем:
По результатам проверки robots.txt на ошибки вы можете внести необходимые корректировки. Если краулер не получает ответ 200 ОК, то он считает, что файла нет, и сайт открыт для индексации полностью.
Как посмотреть robots.txt чужого сайта?
Чтобы посмотреть robots.txt чужого сайта достаточно открыть в вашем браузере адрес вида сайт.ru/robots.txt. Также можно воспользоваться одним из онлайн-инструментов для проверки robots.txt чужого сайта, например, инструментом Яндекс.Вебмастера.
Текстовый файл robots.txt является общедоступным, что следует учитывать, и не использовать данный файл как средство сокрытия конфиденциальной информации.
Файл robots.txt для Яндекс и Google?
Принципиальных отличий в обработке robots.txt поисковыми системами Яндекс и Google нет, но все же следует выделить ряд моментов:
как уже указывалось ранее правила в robots.txt носят рекомендательный характер, чем активно пользуется Google.
В документации по работе с robots.txt Google указывает, что “..не предназначена для того, чтобы запрещать показ веб-страниц в результатах поиска Google. “ и “Если файл robots.txt запрещает роботу Googlebot обрабатывать веб-страницу, она все равно может демонстрироваться в Google”. Для исключения страниц из поиска Google необходимо использовать мета-теги robots.
Яндекс же исключает из поиска страницы, руководствуясь правилами robots.txt.
Яндекс в отличие от Google поддерживает директивы Clean-param и Crawl-delay.
- Роботы AdsBot Google не следует правилам для User-agent: *, для них необходимо задавать отдельные правила.
Как закрыть сайт от индексации в robots.txt?
Чтобы закрыть сайт (запретить его индексацию) в Robots.txt нужно использовать одно из следующих правил:
User-agent: \*
Disallow: /
User-agent: \*
Disallow: \*
Запретить индексацию можно как для всего сайта, так и для отдельных элементов, например, устаревшие данные, служебную информацию, сессии и utm-метки. Для каждого запрета создавайте отдельное правило. Запрещайте всем поисковым роботам через * или указывайте название конкретного краулера. Возможно закрыть сайт только для какой-то одной поисковой системы (или нескольких), при этом оставив остальным возможность индексирования. Для этого в правиле нужно изменить директиву User-agent: заменить * на название агента, которому нужно закрыть доступ (здесь можно ознакомиться с перечнем основных агентов).
Как открыть сайт для индексации в robots.txt?
В обычном случае, чтобы открыть сайт для индексации в robots.txt не нужно предпринимать никаких действий, просто нужно убедиться, что в robots.txt открыты все необходимые директории. Например, если ранее ваш сайт был скрыт от индексации, то следует удалить из robots.txt следующие правила (в зависимости от использованного):
Обратите внимание, что индексация может быть запрещена не только с помощью файла robots.txt, но и использованием мета-тега robots.
Также следует учесть, что отсутствие файла robots.txt в корне сайта означает, что индексация сайта разрешена.
Как указать главное зеркало сайта в robots.txt?
На данный момент указание главного зеркала с помощью robots.txt невозможно. Ранее ПС Яндекс использовала директиву Host, которая и содержала указание на главное зеркало, но с 20 марта 2018 Яндекс полностью отказался от ее использования. Сейчас указание главного зеркала возможно только с помощью 301-го постраничного редиректа.
Как найти файл robots.txt на сайте
Файл robots.txt должен находиться в корневой папке сайта. Чаще всего название папки совпадает с доменным именем вашего сайта. Если файл существует, то он будет доступен по адресу домен_сайта/robots.txt.
Как настроить robots.txt для Google?
Для поисковой системы Google настройка файла мало чем отличается от вышенаписанного. Но все же имеются рекомендации от Google, на которые нужно обратить внимание, это:
- открыть для индексации директивы, разрешающие индексировать JS-скрипты;
- открыть для индексации директивы, разрешающие индексировать CSS-файлы.
Заметим, что файлы скриптов и стилей (.js, .css) нужно открывать для индексации только роботам Google, но и для Яндекс: с 9.11.2015 Яндекс начал использовать js и css при индексации сайтов (сообщение в официальном блоге). Само собой, скрипты и таблицы в поиск не попадут, но это поможет роботу корректнее провести индексацию и отображение сайта в выдаче.
