Основы SEO - индексирование с помощью Robots.txt, метатега и канонических файлов

1. Какие есть методы?
2. robots.txt
3. Метатеги
4. канонический
5. льготы
6. недостатки
7. вывод

гусеничный

Есть несколько причин контролировать индексацию и, таким образом, сообщать поисковой системе, как обрабатывать веб-страницы и ссылки:

• Запретить доступ к нерелевантным страницам и каталогам
• Разрешить или запретить отслеживание ссылок
• Запрет индексирования нерелевантных сайтов
• Индексировать дублирующийся контент только под одним URL

Целью является передача только в индекс поисковой системы. Это в природе вещей, что это не всегда работает гладко. Из-за технических проблем быстро возникает дублированный контент, но «человеческий фактор» всегда хорош и для решения проблемы. Чтобы противостоять этому, есть способы сохранить индекс чистым.

Какие есть методы?

Я работаю в статье с 3 методами, чтобы повлиять на индексацию. Что это такое и как их использовать, я бы хотел выделить:

robots.txt

Robots.txt - это «вышибала» для поисковых роботов. Это явно позволяет, какой сканер не может сканировать, какие каталоги домена. Большинство сканеров придерживаются спецификаций Robots.txt.

Robots.txt в основном использует два оператора:

User-Agent: определяет сканер, для которого должны применяться следующие инструкции

Разрешить / запретить: указывает файл или каталог

Пустая строка завершает запись. Блоки операторов файла robots.txt всегда должны быть разделены пустой строкой. Каждый бот всегда использует первый соответствующий блок операторов здесь. Если вы хотите дать конкретные инструкции для бота, порядок инструкций должен быть структурирован, чтобы начинаться со специальных инструкций для выбранных сканеров. Только тогда могут быть введены инструкции для всех сканеров. Если кто-то не придерживается этой структуры, все инструкции выполняются после User-Agent: * практически бесплатно.

Вот как выглядит Robots.txt:

# robots.txt to http://www.example.com/ User-agent: ROBOTNAME Disallow: / Images / User-agent: * Disallow: / SecretData / Disallow: /allpasswords.html

Если вы хотите обратиться ко всем сканерам, выберите следующее выражение: User-agent: *

Внимание, вы блокируете с помощью Disallow: / все роботы для всего домена. Это может быть причиной, по которой вы не получаете органический трафик. Поскольку работа в тестовой среде и данные еще не найдены, полезно не индексировать целые каталоги.

На роботы сомнительных поставщиков Robots.txt обычно не влияет. Сканеры популярных поисковых систем следуют инструкциям.

Но почему я должен запретить сканерам доступ к частям моего домена? Легко. Индекс поисковой системы не должен показывать все содержимое веб-сервера. Оператор просит сканеры не индексировать определенные пути. Это может иметь место, например, если тестовые страницы на веб-сервере не предназначены для широкой публики. Или не все изображения из соответствующей папки должны быть включены в указатель.

Robots.txt особенно подходит для запрета индексации не релевантных HTML-страниц. Тем не менее, URL-адреса страниц могут попасть в индекс. Например, когда страницы связаны внешне. Если это так, никакой фрагмент не будет отображаться в результатах поиска. Если вы хотите исключить отдельные URL-адреса из индекса, подойдет следующий метод.

Метатеги

Два элемента метатега полезны для управления сканерами и индексации HTML-страниц. Это позволяет вам указывать для каждой HTML-страницы, такой как индексатор и содержал ссылки HTML-страницы следует продолжить.

Оператор meta <meta name = "robots" content = "index, follow" /> обращается к сканеру по отдельности на каждой странице HTML и дает ему следующие возможные инструкции:

параметр

смысл

content = "index, follow" индексировать HTML-страницу, переходить по ссылкам content = "noindex, follow" не индексировать HTML-страницу, переходить по ссылкам content = "index, nofollow" индексировать HTML-страницу, Не переходите по ссылкам content = "noindex, nofollow" Не индексировать HTML-страницу, не переходить по ссылкам

Это сообщает сканеру, разрешено ли включать HTML-страницу в индекс и может ли он переходить по ссылкам HTML-страницы. Ссылки с «nofollow» HTML-страниц не передают силу ссылок. Атрибут "nofollow" может использоваться выборочно, чтобы остановить передачу Linkjuice.

Если вы имеете дело с документами, у которых нет диапазона HEAD, тег X-Robots поможет. Этот тег не может индексировать документы HTML, такие как изображения или файлы PDF.

Лучший способ использовать метатеги - это запретить следующие ссылки и / или индексацию на отдельных HTML-страницах.

канонический

Тег Canonical - это прежде всего инструмент, позволяющий избежать дублирования содержимого в индексе. Canonicals сообщает поисковой системе, что вместо найденной страницы в индекс входит оригинальная (более релевантная) страница.

Тег Canonical находится в начале HTML-страницы и применяется следующим образом:

<link rel = "canonical" href = "http://www.example.com/correct_page.html">

Дублированный контент создается, например, с помощью:

• URL-адреса с и без www. доступной
• Работает с идентификаторами сессий в URL
• похожий контент на HTML страницах
  • один и тот же продукт предлагается в интернет-магазине в нескольких категориях

Имеет смысл дать каждой статической HTML-странице канонический тег с собственным URL-адресом, указывающим на себя. Таким образом, любые параметры динамической фильтрации или отслеживания на одном и том же URL не будут вызывать дублирование контента.

Canonicals использует вас наилучшим образом для предотвращения дублирования контента в индексе.

льготы

Все 3 варианта помогают контролировать гусеничный ход. Главное - не допускать дублирования контента и индексировать только HTML-страницы, которые также должны появляться в индексе.

Robots.txt предоставляет грубую структуру для сканера. Мета-теги уточняют это и могут дать точные инструкции для отдельных HTML-страниц. Canonicals предотвращает попадание дублирующегося контента в индекс посредством манипулирования URL.

недостатки

Методы не только приносят пользу. При использовании важно убедиться, что нет противоречивых инструкций. Например, не следует делать ссылки на HTML-страницы, которые исключены из Robots.txt. Содержимое карты сайта также должно быть проверено на наличие противоречий. Тег Canonical всегда должен быть последним возможным решением, чтобы избежать дублирования контента. Гораздо лучше создавать проекты с самого начала.

вывод

Для хороших результатов в поисковых системах контроль индексации неизбежен. Три метода являются хорошими инструментами, чтобы избежать ошибок. Прежде всего, robots.txt и метатеги предоставляют инструкции для поисковых роботов. Canonicals поможет вам с индексом дубликата контента защищать.

Похожие

Комментарии