- Robots meta tag and X-Robots-Tag HTTP header
- Directives supported by Yandex
- Specifying multiple directives
- Instructions for specific robots
- Метатег robots и HTTP-заголовок X-Robots-Tag
- Поддерживаемые Яндексом директивы
- Указание нескольких директив
- Указания для определенных роботов
- Метатег robots и HTTP-заголовок X-Robots-Tag
- Поддерживаемые Яндексом директивы
- Указание нескольких директив
- Указания для определенных роботов
Robots meta tag and X-Robots-Tag HTTP header
Note. If the page is prohibited in the robots.txt file, the meta tag or header directive does not apply.
By default, the search robots take into account the meta tag and header. You can specify directives for certain robots.
Directives supported by Yandex
| Directive | Description | Robots meta tag | X-Robots-Tag header |
|---|---|---|---|
| noindex | Prohibits indexing the page text. The page won't be included in the search results. | ||
| nofollow | Prohibits following the links on the page. The robot will not follow links when crawling the site, but it can find out about them from other sources. For example, on other pages or sites. | ||
| none | Similar to the noindex and nofollow directives. | ||
| noarchive | Prohibits showing the link to the saved copy on the search results page. | ||
| noyaca | Prohibits using an automatically generated description. | — | |
| index | follow | archive | Disables the corresponding prohibiting directives. | — | |
| all | Allows you to index text and links on the page, similar to the index and follow directives. | — |
| Directive | Description | Robots meta tag | X-Robots-Tag header |
|---|---|---|---|
| noindex | Prohibits indexing the page text. The page won't be included in the search results. | ||
| nofollow | Prohibits following the links on the page. The robot will not follow links when crawling the site, but it can find out about them from other sources. For example, on other pages or sites. | ||
| none | Similar to the noindex and nofollow directives. | ||
| noarchive | Prohibits showing the link to the saved copy on the search results page. | ||
| noyaca | Prohibits using an automatically generated description. | — | |
| index | follow | archive | Disables the corresponding prohibiting directives. | — | |
| all | Allows you to index text and links on the page, similar to the index and follow directives. | — |
The robot uses allow directives by default, so you can omit them if there are no other directives. Allow directives have priority over prohibiting directives if there's a combination of both. Example.
Robots from other search engines and services may interpret the directives in a different way.
An element that disables page indexing.
<html>\n <head>\n <meta name="robots" content="noindex" />\n </head>\n <body>. </body>\n</html>An HTTP response with a header that prohibits indexing the page.
HTTP/1.1 200 OK\nDate: Tue, 25 May 2010 21:42:43 GMT\nX-Robots-Tag: noindexSpecifying multiple directives
You can specify multiple directives separated by commas.
<meta name="yandex" content="noindex, nofollow" />You can pass multiple headers in a single response and a list of comma-separated directives.
HTTP/1.1 200 OK\nDate: Tue, 25 May 2010 21:42:43 GMT\nX-Robots-Tag: noindex, nofollow\nX-Robots-Tag: noarchiveIf conflicting directives are specified for the Yandex robot, it will consider a positive value. Example of meta tag directives:
<meta name="robots" content="all"/>\n<meta name="robots" content="noindex, follow"/>\n<!-- The robot will choose the value "all", the text and the links will be indexed.-->\n<meta name="robots" content="all"/>\n<meta name="robots" content="noarchive"/>\n<!--The text and links will be indexed, but there won't be a link \nto the saved copy of the page.-->Instructions for specific robots
You can use the robots meta tag to give a directive to the Yandex robots only. Example:
<meta name="yandex" content="noindex" />If you list common directives and directives for the Yandex robots, the search engine will take into account all of them.
<meta name="robots" content="noindex" />\n<meta name="yandex" content="nofollow" />The Yandex robot will treat these directives as noindex, nofollow .
If pages don't appear in the search results for a long time or were excluded from them, provide examples of such pages in the form.
Метатег robots и HTTP-заголовок X-Robots-Tag
Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.
По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.
Поддерживаемые Яндексом директивы
| Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
|---|---|---|---|
| noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. | ||
| nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | ||
| none | Соответствует директивам noindex , nofollow . | ||
| noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | ||
| noyaca | Не использовать сформированное автоматически описание. | — | |
| index | follow | archive | Отмена соответствующих запрещающих директив. | — | |
| all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | — |
| Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
|---|---|---|---|
| noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. | ||
| nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | ||
| none | Соответствует директивам noindex , nofollow . | ||
| noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | ||
| noyaca | Не использовать сформированное автоматически описание. | — | |
| index | follow | archive | Отмена соответствующих запрещающих директив. | — | |
| all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | — |
Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.
Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.
Запись, которая запрещает индексирование страницы.
<html>\n <head>\n <meta name="robots" content="noindex" />\n </head>\n <body>. </body>\n</html>HTTP-ответ, где заголовок запрещает индексирование страницы.
HTTP/1.1 200 OK\nDate: Tue, 25 May 2010 21:42:43 GMT\nX-Robots-Tag: noindexУказание нескольких директив
Вы можете указать директивы через запятую.
<meta name="yandex" content="noindex, nofollow" />Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.
HTTP/1.1 200 OK\nDate: Tue, 25 May 2010 21:42:43 GMT\nX-Robots-Tag: noindex, nofollow\nX-Robots-Tag: noarchiveЕсли для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:
<meta name="robots" content="all"/>\n<meta name="robots" content="noindex, follow"/>\n<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->\n<meta name="robots" content="all"/>\n<meta name="robots" content="noarchive"/>\n<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки \nна сохраненную копию страницы.-->Указания для определенных роботов
Указать директиву только для роботов Яндекса можно с помощью метатега robots . Пример:
<meta name="yandex" content="noindex" />Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.
<meta name="robots" content="noindex" />\n<meta name="yandex" content="nofollow" />Такие директивы робот Яндекса воспримет как noindex, nofollow .
Если страницы долгое время не попадают в результаты поиска или были исключены, в форме приведите примеры таких страниц.
Метатег robots и HTTP-заголовок X-Robots-Tag
Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.
По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.
Поддерживаемые Яндексом директивы
| Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
|---|---|---|---|
| noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. | ||
| nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | ||
| none | Соответствует директивам noindex , nofollow . | ||
| noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | ||
| noyaca | Не использовать сформированное автоматически описание. | — | |
| index | follow | archive | Отмена соответствующих запрещающих директив. | — | |
| all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | — |
| Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
|---|---|---|---|
| noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. | ||
| nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | ||
| none | Соответствует директивам noindex , nofollow . | ||
| noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | ||
| noyaca | Не использовать сформированное автоматически описание. | — | |
| index | follow | archive | Отмена соответствующих запрещающих директив. | — | |
| all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | — |
Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.
Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.
Запись, которая запрещает индексирование страницы.
<html>\n <head>\n <meta name="robots" content="noindex" />\n </head>\n <body>. </body>\n</html>HTTP-ответ, где заголовок запрещает индексирование страницы.
HTTP/1.1 200 OK\nDate: Tue, 25 May 2010 21:42:43 GMT\nX-Robots-Tag: noindexУказание нескольких директив
Вы можете указать директивы через запятую.
<meta name="yandex" content="noindex, nofollow" />Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.
HTTP/1.1 200 OK\nDate: Tue, 25 May 2010 21:42:43 GMT\nX-Robots-Tag: noindex, nofollow\nX-Robots-Tag: noarchiveЕсли для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:
<meta name="robots" content="all"/>\n<meta name="robots" content="noindex, follow"/>\n<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->\n<meta name="robots" content="all"/>\n<meta name="robots" content="noarchive"/>\n<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки \nна сохраненную копию страницы.-->Указания для определенных роботов
Указать директиву только для роботов Яндекса можно с помощью метатега robots . Пример:
<meta name="yandex" content="noindex" />Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.
<meta name="robots" content="noindex" />\n<meta name="yandex" content="nofollow" />Такие директивы робот Яндекса воспримет как noindex, nofollow .
Если страницы долгое время не попадают в результаты поиска или были исключены, в форме приведите примеры таких страниц.