Калуга

Укажите свой город

8 (800) 250-32-83

Телефоны для связи:

Техническая поддержка

+7 (4932) 21-22-34

Отдел продаж

+7 (4932) 22-21-23

SEO специалисты

+7 (4932) 21-22-34

Бухгалтерия

+7 (4932) 22-13-33

Руководство

+7 (4932) 21-22-33

Контакты

Обратный звонок

Как настроить файл robots.txt?

Как правильно необходимо настроить файл robots.txt?

вопрос задан 21.10.2020

|

9505 просмотров

Ответ на вопрос

21.10.2020

robots.txt – это важный файл в текстовом формате, который имеет служебное назначение и указывает поисковым системам, какие страницы индексировать, а какие нет. Также в данном файле можно настроит частоту обращений ботов на сайт. Благодаря грамотной настройке этого файла можно снизить нагрузку, которые оказывают на ресурс роботы ПС.

В файле содержится набор директив и их значений. Примечания разделяются решеткой #.

Как указать, для какого робота действует указание?

В начале каждого блока прописывается директива User-agent и бот, для которого она предназначена. К примеру, User-agent: YandexBot – так будет начинаться блок указаний для бота Яндекса, отвечающего за индексацию страниц. Если сводка правил относится ко всем ботам без исключения, это будет выглядеть следующим образом: User-agent: *

Как настроить индексацию страниц?

Для этого в файле robot.txt существуют правила Disallow и Allow. Допустим, вам нужно, чтобы робот Google не индексировал конкретный раздел, при этом один из подразделов подлежит индексации.

User-agent: Google

Disallow: /название раздела

Allow: /название раздела/название подраздела

Для закрытия или открытия доступа к нескольким разделам, нужно прописывать директиву для каждого раздела отдельно.

Директива Disallow может запретить доступ к ресурсу нежелательных ботов, которые создают лишнюю нагрузку. Кроме поисковых ботов сайт могут посещать поисковые боты, которые собирают информацию для конкурентов. К ним относятся SemrushBot, BLEXBot и другие. Прописуем так:

User-agent: SemrushBot

User-agent: BLEXBot

Disallow: /

Здесь можно указать любой нежелательный бот. И еще один момент, если после Disallow ничего не указано, это значит «ничего не запрещать».

Как настроить индексацию Sitemap?

Если на сайте есть файл sitemap.xml, нужно разрешить к нему доступ в robots.txt указать путь к этому файлу.

User-agent: *

Disallow:

Sitemap: https://yorsite-name.com/название папки/sitemap.xml

Как указать на основное зеркало сайта?

Для этого существует директива Host и работает она по отношению к ботам Яндекса. Знак $, который стоит рядом с названием каталога, означает, что команда относится конкретно к указанному каталогу.

User-agent: Yandex

Disallow: /catalog/new

Host: https://my-site.com

Как настроить интервалы между посещениями сайта роботом?

Для этого существует команда Crawl-delay рядом с которой указывается интервал в секундах.

User-agent: Yandex

Disallow:

Crawl-delay: 1

Ищете SEO продвижение сайта?

Если вы хотите опередить своего конкурента и улучшить видимость в поиске, увеличить качество и количество трафика и вывести сайт в ТОП, попробуйте наши услуги по SEO оптимизации и продвижению. Подробнее »

Наши специалисты готовы ответить на ваши вопросы

Интернет-маркетологи, программисты, контент-менеджеры и копирайтеры компании «Web Project Group» готовы быстро ответить на ваши вопросы о продвижении, создании, наполнении и поддержке современных сайтов

На ваши вопросы отвечают

Максим Марков

Максим Марков

Менеджер по развитию

Сергей Горностаев

Сергей Горностаев

Специалист по интернет-маркетингу

Константин Покровский

Константин Покровский

Специалист отдела разработки

Владимир Федоров

Владимир Федоров

Контент-менеджер

Россия:

8-800-250-32-83

Москва:

+7 (985) 768-32-83

Санкт-Петербург:

+7 (812) 925-42-72

Нижний новгород:

+7 (831) 410-72-73

Иваново:

+7 (4932) 21-22-33

Владимир:

+7 (919) 002-1-002

Кострома:

+7 (4942) 499-664

Ярославль:

+7 (4942) 499-664

support@webproject.group

manager@webproject.group

seo@webproject.group

billing@webproject.group

director@webproject.group

Написать нам

© 2011–2024 ООО «Web Project Group»