Руководство для начинающих роботов TXT файлов для SEO

  1. Почему я не должен редактировать файл robots.txt с моим FTP-клиентом Dreamweaver, например?
  2. Где я могу разместить файл robots.txt на веб-сайте?
  3. Могу ли я использовать Robots.txt в подкаталогах?
  4. Почему я должен создавать свой файл robots.txt только в формате ASCII?
  5. Могу ли я использовать файл Robots.txt, если я на бесплатном хосте ?
  6. Что я помещаю в файл robots.txt?
  7. Скажем, я хочу сохранить файл / папку вне Google. Что именно мне нужно сделать?
  8. Могу ли я автоматически сгенерировать и замаскировать robots.txt?

Джон Мюллер дал недавнюю презентацию (в видео выше) о том, как использовать файл robots

Джон Мюллер дал недавнюю презентацию (в видео выше) о том, как использовать файл robots.txt. Мой друг Себастьян был также достаточно мил, чтобы помочь мне создать руководство для идиота на Robots.txt. Q & A ниже:

Что ж, у «версии идиота» не будет интересных деталей, но это поможет вам начать. Robots.txt - это простой текстовый файл. Вы не должны редактировать его с помощью HTML-редакторов, текстовых процессоров или других приложений, кроме простого текстового редактора, такого как vi (хорошо, notepad.exe также разрешен). Вы не должны вставлять изображения и тому подобное, также любой другой HTML-код строго запрещен.

Оглавление

Почему я не должен редактировать файл robots.txt с моим FTP-клиентом Dreamweaver, например?

Потому что все эти модные приложения содержат бесполезную ерунду, такую ​​как форматирование, HTML-код и так далее. Скорее всего, поисковые системы не способны интерпретировать файл robots.txt, например:

DOCTYPE text / plain PUBLIC "- // W3C // DTD TEXT 1.0 Transitional // Суахили" "http://www.w3.org/TR/text/DTD/plain1-transitional.dtd"> {\ b \ lang2057 \ langfe1031 \ langnp2057 \ insrsid6911344 \ charrsid11089941 Пользовательский агент: Googlebot } {\ lang2057 \ langfe1031 \ langnp2057 \ insrsid6911344 \ charrsid11089941 \ Отключение строки : / \ \ line Allow: } {\ cs15 \ i \ lrs10 \ lrs10 \ i \ lang2057 \ langfe1031 \ langnp2057 \ insrsid6911344 \ charrsid2903095 content } {\ cs15 \ i \ lang2057 \ langfe1031 \ langnp2057 \ insrsid6911344 \ charrsid2903095 / } ...

(Хорошо, хорошо, я составил этот пример, но он представляет необработанное содержимое текстовых файлов, сохраненных с помощью HTML-редакторов и текстовых процессоров.)

Где я могу разместить файл robots.txt на веб-сайте?

Robots.txt находится в корневом каталоге вашего веб-пространства, например, это домен или поддомен.

"/Web/user/htdocs/example.com/robots.txt"

решив к

http://example.com/robots.txt.

Могу ли я использовать Robots.txt в подкаталогах?

Конечно, вы можете создавать файлы robots.txt во всех ваших подкаталогах, но вы не должны ожидать, что поисковые системы будут запрашивать / подчиняться им. Если вы по каким-то странным причинам используете субдомены, такие как crap.example.com, то example.com/robots.txt не совсем подходит для управления сканированием субдоменов, поэтому убедитесь, что каждый субдомен обслуживает свой собственный robots.txt. Когда вы загружаете свой robots.txt, а затем делаете это в режиме ASCII, ваш FTP-клиент обычно предлагает «ASCII | Auto | Binary» - выбирайте «ASCII», даже если вы использовали редактор ANSI для его создания.

Почему я должен создавать свой файл robots.txt только в формате ASCII?

Поскольку простые текстовые файлы содержат только содержимое ASCII. Иногда стандарты, которые гласят «загружать * .htm * .php * .txt .htaccess * .xml файлы в режиме ASCII, чтобы предотвратить их непреднамеренное повреждение во время передачи, хранение с недопустимыми кодами EOL и т. Д.», Имеют смысл. (Вы просили версию идиота, не так ли?)

Могу ли я использовать файл Robots.txt, если я на бесплатном хосте ?

Если у вас бесплатный хостинг, robots.txt не для вас. Ваша хостинговая служба создаст файл «robots.txt» только для чтения, который подходит для кражи еще большего количества трафика, чем его реклама, которую вы не можете удалить из своих верхних и нижних колонтитулов. Теперь, если вам все еще интересна эта тема, вы должны узнать, как работают поисковые системы, чтобы понять, что вы можете заархивировать с помощью файла robots.txt и какие просто мифы размещены на вашем любимом форуме.

Что я помещаю в файл robots.txt?

Ваш файл robots.txt содержит полезные, но в значительной степени игнорируемые утверждения, такие как

# Пожалуйста, не сканируйте этот сайт в рабочее время!

(сканер не знает о вашем часовом поясе и не получает ваши часы работы с вашего сайта), а также фактические директивы сканера. Другими словами, все, что вы пишете в своем robots.txt, является директивой для сканеров (тупых веб-роботов, которые могут извлекать ваше содержимое, но не более того), а не индексаторов (высокотехнологичных алгоритмов, которые ранжируют только мозговые далекие от Мэтта и меня).

В настоящее время в robots.txt можно использовать только три оператора:

Запретить: / путь Разрешить: / путь Карта сайта: http://example.com/sitemap.xml

Некоторые поисковые системы поддерживают другие директивы, такие как «crawl-delay», но это совершенно бессмысленно, поэтому их можно игнорировать.

Содержимое файла robots.txt состоит из разделов, посвященных определенным сканерам. Если вам нечего скрывать, то ваш файл robots.txt выглядит так:

Пользовательский агент: * Disallow: Разрешить: / Карта сайта: http://example.com/sitemap.xml

Если вы знакомы с Google, но MSN вас пугает, напишите:

User-agent: * Disallow: User-agent: Googlebot Disallow: User-agent: msnbot Disallow: /

Обратите внимание, что вы должны завершить каждую секцию сканера пустой строкой. Вы можете собрать имена сканеров, посетив раздел веб-мастеров поисковой системы.

Из приведенных выше примеров вы узнали, что каждая поисковая система имеет свой собственный раздел (по крайней мере, если вы хотите что-то скрыть от определенного SE), что каждый раздел начинается с

Агент пользователя: [имя сканера]

и каждый раздел заканчивается пустой строкой. Имя пользовательского агента «*» обозначает универсального веб-робота, это означает, что если в вашем файле robots.txt отсутствует раздел для определенного сканера, он будет использовать директивы «*», а также, когда у вас есть раздел для определенного сканер будет игнорировать раздел «*». Другими словами, если вы создаете раздел для сканера, вы должны продублировать все операторы из раздела «все сканеры» («User-agent: *»), прежде чем редактировать код.

Теперь к директивам. Самая важная директива для гусеничных

Disallow: / путь

«Disallow» означает, что сканер не должен извлекать содержимое из URI, которые соответствуют «/ path». «/ Путь» является либо относительным URI, либо шаблоном URI («*» соответствует любой строке, а «$» обозначает конец URI). Не все поисковые системы поддерживают символы подстановки, например, в MSN отсутствует поддержка символов подстановки (они могут когда-нибудь вырасти).

URI всегда относятся к корню веб-пространства, поэтому, если вы копируете и вставляете URL-адреса, удалите часть http://example.com, но не косую черту.

Разрешить: путь /

уточняет Disallow: заявления, например

Пользователь-агент: Googlebot Disallow: / Разрешить: / content /

позволяет сканировать только в пределах http://example.com/content/

Карта сайта: http://example.com/sitemap.xml

указывает поисковым системам, которые поддерживают протокол sitemaps, на отправку файлов.

Обратите внимание, что все директивы robots.txt являются директивами сканеров, которые не влияют на индексацию. Поисковые системы индексируют запрещенные URL-адреса, извлекая заголовок и фрагмент из иностранных источников, например списков ODP (DMOZ - The Open Directory) или каталога Yahoo. Некоторые поисковые системы предоставляют метод удаления запрещенного содержимого из своих поисковой выдачи по запросу.

Скажем, я хочу сохранить файл / папку вне Google. Что именно мне нужно сделать?

Вы проверяете каждый HTTP-запрос на Googlebot и отправляете ему код ответа 403 или 410 HTTP. Или добавьте метатег Googlebot «noindex, noarchive».
(* meta name = ”Googlebot” content = ”noindex, noarchive” / *). Блоки Robots.txt с Disallow: не препятствуют индексации. Не блокируйте сканирование страниц, которые вы хотите деиндексировать, если вы не хотите использовать терминатор URL на основе robots.txt от Google каждые шесть месяцев.

Если кто-то хочет узнать больше о robots.txt, куда они идут?

Честно говоря, я не знаю лучшего ресурса, чем мой мозг, частично сброшенный сюда. Я даже разработал несколько новых директив robots.txt и опубликовал запрос на комментарии несколько дней назад. Я надеюсь, что Google, единственная поисковая система, которая серьезно инвестирует в развитие REP, не будет игнорировать этот пост, вызванный скрытно встроенной «Google bashing». Я планирую написать еще несколько постов, не техничных и реальных примеров.

Могу ли я автоматически сгенерировать и замаскировать robots.txt?

Конечно, вы можете спросить, и да, это для всех и на 100% этично. Это очень простая задача, на самом деле это простая маскировка. Хитрость заключается в том, чтобы сделать файл robots.txt серверным скриптом. Затем проверьте все запросы на наличие проверенных сканеров и предоставьте нужное содержимое каждой поисковой системе. Умный robots.txt даже поддерживает списки IP-адресов сканеров и сохраняет необработанные данные для отчетов. Недавно я написал руководство по скрытым файлам robots.txt по запросу лояльного читателя.

Если вам понравилось это пошаговое руководство для начинающих - вы можете перенести свои знания на следующий уровень по адресу http://sebastians-pamphlets.com/

Что Google говорит о текстовых файлах Robots

Файл robots.txt ограничивает доступ к вашему сайту роботами поисковых систем, которые сканируют Интернет. Эти боты автоматизированы, и перед тем, как получить доступ к страницам сайта, они проверяют, существует ли файл robots.txt, который не позволяет им получить доступ к определенным страницам. (Все уважаемые роботы будут уважать директивы в файле robots.txt, хотя некоторые могут интерпретировать их по-разному. Однако robots.txt не подлежит применению, и некоторые спамеры и другие нарушители могут его игнорировать. По этой причине мы рекомендуем защищать паролем конфиденциальная информация.)

Если вы хотите, чтобы поисковые системы проиндексировали все на вашем сайте, вам не нужен файл robots.txt (даже не пустой). Пока Google не будет сканировать или индексировать содержимое страниц, заблокированных robots.txt, мы можем по-прежнему индексировать URL-адреса, если мы находим их на других страницах в Интернете.

В результате URL-адрес страницы и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт…. может появиться в результатах поиска Google.

Статьи по Теме


Похожие

Файл WordPress и Robots.txt: Должен ли я создать файл Robots.txt?
... я использую WordPress, и мне интересно, должен ли я создать файл robots.txt. Я читал в разных местах, что мне нужно, и в других местах, где WordPress создает свой собственный файл robots.txt. Что за настоящая история? Тим, Мэдисон, Висконсин Ответ: WordPress и файл Robots.txt: что нужно знать Тим, еще один замечательный
Seo Software
... могут использовать при поиске в Интернете такого продукта или услуги, как ваша. Например, скажем, вы продаете обувь для пингвинов. Вы хотели бы создать ключевые слова или ключевые фразы, такие как антарктическая обувь, обувь для пингвинов и коньки для птиц. Как только ваш сайт будет оптимизирован, и пользователь наберет именно эту фразу, ваш сайт появится в верхней части страницы результатов поиска. Как вы наверняка видели, поиски могут дать тысячи или даже миллионы уникальных результатов.
Руководство для начинающих по Google Analytics
Последняя проверка 14 марта 2019 года в 16:33 Google Analytics является одним из лучших инструментов, которые вы можете свободно использовать для измерения и улучшения вашего сайта. Он имеет дело с вашими посетителями, пользовательской активностью, показателями времени ожидания, входящими условиями поиска и тем, что у вас есть. На данный момент мы собрали серию учебных пособий, которые помогут вам начать использовать Google Analytics:
SEO на странице и SEO вне страницы: что нужно вашему бизнесу?
Время чтения: 2 минуты Улучшение поисковой оптимизации (SEO) для вашего сайта не является быстрой или легкой задачей. Когда дело доходит до укрепления вашей цифровой стратегии, на самом деле бизнес
Что такое SEO? Как сделать это правильно?
Поисковая оптимизация ( SEO ) или Оптимизация для поисковых систем - это методы, направленные на улучшение позиционирования ваших страниц в поисковых системах, таких как Google, Bing, Yahoo и других. Когда пользователь вводит в Google или другой поисковой системе интересующий термин (ключевое слово), цель SEO состоит в том, чтобы одна или несколько страниц вашего сайта, блога или электронной коммерции появлялись в первых результатах обычного
IIS SEO Toolkit Что это?
... я веб-разработчиков, администраторов веб-серверов и хостинг-провайдеров, чтобы улучшить их веб-сайты в поисковых системах. Я не буду вдаваться в подробности всех функций, скорее всего, я расскажу совсем немного о том, что предлагает набор, вместо этого сосредоточившись на преимуществах SEO или нет. Как его установить Бинг предлагает
Что такое SEO? Нужно ли это моему сайту?
... могут помочь вам опередить конкурентов и позволить вашей целевой аудитории найти вас первым. Что делать перед запуском SEO сервиса? Прежде чем начать SEO, сначала подумайте, что вы хотите, чтобы человек, который посещает ваш сайт, делал. Вы
Learn SEO - SEO блог для начинающих и профессионалов
Я все еще помню свои первые шаги как SEO (они также очень хороши в этом понятном блоге). В то время некоторые вещи, о которых говорили мои опытные коллеги, были для меня очень странными. Было так много странных аббревиатур, что мне приходилось просить их все, поэтому я иногда выступал со мной как доверчивый партнер по обмену ссылками, которого можно было опрокинуть через стол. Сегодня все по-другому, сегодня я знаю, что есть ключевые показатели эффективности (KPI), которые
Алекса SEO
Термин Alexa SEO относится к оптимизации продуктов на платформе Amazon для голосового поиска Alexa. В отличие от классической поисковой оптимизации для веб-поисковых систем, Alexa SEO стремится обеспечить максимально возможное качество продукции. Голосовой поиск с цифровым переводчиков может быть найден Amazon. Голосовой поиск играет все более важную роль в
Базового SEO не существует
Вы слышали об основных SEO ? Да, я был на конференции на днях, и один парень спросил меня, как он может сделать «базовый SEO», чтобы предложить своим клиентам. Мой ответ определенно не очень понравился ему, так как я не нашел другого возможного ответа, кроме как - Как сделать основной SEO? Я не знаю о чем ты говоришь. Поверьте мне, я действительно не знаю, что, черт возьми, оказывается основным SEO. Для меня либо есть работа по оптимизации сайта для поисковых
6 основных инструментов SEO, чтобы начать
... я новичков немного сложно, потому что эта тема для этой аудитории кажется очень технической. На самом деле, понять Что такое SEO? нет ничего очень сложного. Что многие испытывают трудности при применении их методов. Тем не менее, технология была отличным союзником для людей, которые еще не являются экспертами SEO. Существует целый ряд инструментов, которые в настоящее время помогают большинству

Комментарии

Но это означает, что вам нужно ПОНИМАТЬ то, что вы собираетесь сказать - потому что, если вы не понимаете себя, как кто-то еще поймет вас?
Но это означает, что вам нужно ПОНИМАТЬ то, что вы собираетесь сказать - потому что, если вы не понимаете себя, как кто-то еще поймет вас? Это ОСОБЕННО важно, если вы пишете все, что использует технический жаргон любого рода, потому что эксперт будет знать, что у вас НЕТ ИДЕИ, о которой вы говорили. Следствие? Вы потеряете клиента, если будете фрилансом, и потеряете потенциальных клиентов / посетителей, если будете писать для своего сайта! Что
И если вы регулярно пишете блоги, вы бы не хотели, чтобы ваши читатели и подписчики теряли интерес, потому что ваш сайт / блог не подходит для мобильных устройств, не так ли?
И если вы регулярно пишете блоги, вы бы не хотели, чтобы ваши читатели и подписчики теряли интерес, потому что ваш сайт / блог не подходит для мобильных устройств, не так ли? Итак, действуй сейчас! Кнопки социальных сетей Кнопки «Поделиться» в социальных сетях помогают читателям легко делиться своими публикациями в своих профилях в социальных сетях. Для этого вам нужно установить плагин, который будет включать кнопки социальных сетей. Вы можете свободно выбирать платформы социальных
Что хорошего в веб-сайте или социальной сети, если никто не видит или не взаимодействует с ним?
Что хорошего в веб-сайте или социальной сети, если никто не видит или не взаимодействует с ним? Вот где зарабатываются средства массовой информации. Заработанные средства массовой информации - это, по сути, онлайн-сарафанное радио, обычно представляемое в форме «вирусных» тенденций, упоминаний, акций, репостов, обзоров, рекомендаций или контента, получаемого сторонними сайтами. Одной из наиболее эффективных движущих сил заслуженных медиа обычно является совокупный результат сильного органического
Sidenote: Кстати, если изменение ваших страниц так, чтобы поисковые системы оценивали их лучше, это blackhat, тогда не все ли seo blackhat seo?
sidenote: Кстати, если изменение ваших страниц так, чтобы поисковые системы оценивали их лучше, это blackhat, тогда не все ли seo blackhat seo? Хммм кто знает. Я думаю, что я подпишусь на несколько месяцев и посмотрю, как все пойдет. Я люблю видеть, что работает, а что нет в мире черных. 1) Если наставничество «1 на 1» вдвое меньше, чем заявлено на странице продажи только по соображениям безопасности, я думаю, что оно того стоит. Rsnake и другие администраторы
Пейдж узнал об этом от Питера Тиля: «Если у вас есть 10-летний план того, как достичь того, чего вы хотите, задайте себе вопрос:« Почему я не могу сделать это через шесть месяцев?
Пейдж узнал об этом от Питера Тиля: «Если у вас есть 10-летний план того, как достичь того, чего вы хотите, задайте себе вопрос:« Почему я не могу сделать это через шесть месяцев? »». Этот вопрос помогает предпринимателям всех мастей. прорыв стандартных и ограничивающих рамок в их сознании вокруг любой цели или цели. Первоначально опубликовано на Entrepreneur.com , © 2017 от Entrepreneur Media, Inc. Все
Так что же означает SEO вне страницы и что еще можно сделать?
Так что же означает SEO вне страницы и что еще можно сделать? Проще говоря, вне страницы SEO означает создание ССЫЛКИ на ваши списки eBay! Почему мы должны это сделать? Потому что в глазах Google ссылки, которые указывают на вашу страницу, очень и очень важны. Часто они могут быть даже более важными, чем сами по себе факторы. Ссылки похожи на «голоса» для Google - чем больше голосов на любой странице, тем важнее эта страница, верно? Если вы подумаете
Вы уверены, что ваш бизнес не имеет ничего общего с Интернетом, что вам нечего получить от сети, что есть только маленькие мальчики, которые бездельничают?
Вы уверены, что ваш бизнес не имеет ничего общего с Интернетом, что вам нечего получить от сети, что есть только маленькие мальчики, которые бездельничают? Свяжитесь с нами без обязательств, и мы сделаем углубленный анализ вашего рынка , ваших конкурентов, их действий и того, что вы можете получить из сети. Мы покажем вам стратегии, которые вы можете использовать для увеличения вашего оборота и увеличения оборота . Проверка 24:
Раньше было так, что нужны только сайты электронной коммерции SEO , Вы заметили, что никто больше не использует желтые страницы?
Вы уверены, что ваш бизнес не имеет ничего общего с Интернетом, что вам нечего получить от сети, что есть только маленькие мальчики, которые бездельничают? Свяжитесь с нами без обязательств, и мы сделаем углубленный анализ вашего рынка , ваших конкурентов, их действий и того, что вы можете получить из сети. Мы покажем вам стратегии, которые вы можете использовать для увеличения вашего оборота и увеличения оборота . Проверка 24:
Вы бы купили себя в грязном магазине, где вы не понимаете, что и где продукты?
Вы бы купили себя в грязном магазине, где вы не понимаете, что и где продукты? То же самое относится и к цифровому магазину, где больше, чем физическое хранилище, приоритет должен быть отдан организации и описанию и категоризации продукта. Когда мы создаем новую категорию в PrestaShop, мы помним некоторые моменты: Используйте имя, которое на самом деле является представителем категории, поэтому я предлагаю вам использовать
Это все очень хорошо, но не было бы удобно, если бы вы могли просматривать только ваш органический трафик через весь ваш Google Аналитика?
Что если кто-то сначала нашел ваш сайт через Google и не конвертировал, но затем вернулся на ваш сайт, введя прямой URL-адрес, а затем конвертировал? При первом посещении веб-сайта пользователи часто не переходят, особенно если они находятся на этапе информирования или рассмотрения воронки продаж. При возвращении в следующий раз, чтобы совершить покупку, они, скорее всего, пойдут прямо или, возможно, увидят напоминание в социальных сетях. Это где помогли преобразования могут
» тогда как в SEO вы спрашиваете: «Где я с этим ключевым словом, или я не ранжируюсь по этому ключевому слову - как мне начать ранжировать по нему»?
» тогда как в SEO вы спрашиваете: «Где я с этим ключевым словом, или я не ранжируюсь по этому ключевому слову - как мне начать ранжировать по нему»? » Что, по вашему мнению, станет наиболее важным фактором органического ранжирования в будущем? «Я довольно увлечен новыми рДВУ [общие домены верхнего уровня]. Я думаю, что они будут стимулировать SEO в будущем. Я знаю, что они отсутствовали в течение двух лет, и они еще не оказали большого влияния, но им придется это делать

Txt с моим FTP-клиентом Dreamweaver, например?
Txt на веб-сайте?
Txt в подкаталогах?
Txt только в формате ASCII?
Txt, если я на бесплатном хосте ?
Txt?
Что именно мне нужно сделать?
Txt?
Txt с моим FTP-клиентом Dreamweaver, например?
Txt на веб-сайте?