Файл WordPress и Robots.txt: Должен ли я создать файл Robots.txt?

  1. Ответ: WordPress и файл Robots.txt: что нужно знать
  2. Файл WordPress и The Robots.TXT: быстрый ответ
  3. Что делать, если вы не видите файл Robots.Txt?
  4. Что делать, если мне нужно что-то добавить в файл Robots.Txt?
  5. Будет ли ваш Robots.txt перезаписывать WordPress Virtual Robots.Txt?
  6. Пример Robots.Txt для загрузки
  7. Приложение: файл WordPress Robots.Txt - исчерпывающее обсуждение
  8. Ричард Каммингс

Вопрос: я использую WordPress, и мне интересно, должен ли я создать файл robots.txt. Я читал в разных местах, что мне нужно, и в других местах, где WordPress создает свой собственный файл robots.txt. Что за настоящая история? Тим, Мэдисон, Висконсин

Тим, Мэдисон, Висконсин

Ответ: WordPress и файл Robots.txt: что нужно знать

Тим, еще один замечательный вопрос. Что вы должны делать с файлом robots.txt при использовании WordPress?

Есть два ответа на этот вопрос. Первый - короткий, быстрый ответ, а второй - длинный и сложный… вы услышите, как эксперты обсуждают файл WordPress robots.txt до тошноты .

Итак, давайте сначала перейдем к быстрому ответу, а затем посмотрим на «длинный ответ» и завалим вас ссылками, в которых эксперты обсуждают эту проблему до тех пор, пока они не станут голубыми.

Файл WordPress и The Robots.TXT: быстрый ответ

Тим, быстрый ответ таков:

Вам не нужно создавать файл robots.txt, потому что WordPress автоматически создает виртуальный robots.txt для вас.

Чтобы просмотреть этот файл, вы можете посетить http://yoursite.com/robots.txt .

Файл должен выглядеть примерно так:

Пользовательский агент: * Disallow: / wp-admin / Disallow: / wp-includes / Карта сайта: http://yoursite.com/sitemap.xml.gz

Первая строка этого файла, строка «user-agent», является объявлением бота . * Указывает на всех поисковых роботов (например, Google, Yahoo и т. Д.). И, по умолчанию, все будет проиндексировано, кроме строк, которые мы упоминаем ниже.

Вторая и третья строки этого файла говорят пользовательским агентам ( в данном случае всем ) не искать эти конкретные каталоги WordPress, потому что они не предоставляют никакого дополнительного содержимого.

Наконец, строка карты «Карта сайта» информирует ботов о местонахождении вашего файла карты сайта. Эта строка считается полезной и должна быть включена в ваш файл robots.txt. Если вы используете Google XML sitemaps плагин (что вы должны), эта строка будет включена ... и разрыв строки после последней строки запрета также должен быть там.

Что делать, если вы не видите файл Robots.Txt?

Тим, у некоторых людей есть эта проблема, поэтому я подумал, что я бы тоже дал ответ.

Если вы не видите виртуальный файл robots.txt, который должен был создать WordPress, возможно, вы используете устаревшую версию WordPress ИЛИ виртуальный файл robots.txt мог быть прерван плагином.

В этом случае вы можете легко создать свой собственный файл robots.txt. Используя приведенный выше пример WordPress, просто скопируйте и вставьте информацию в текстовый файл, назовите его robots.txt, а затем загрузите в свой корневой каталог. Очевидно, вы хотите изменить свой сайт на фактический URL-адрес веб-сайта.

Что делать, если мне нужно что-то добавить в файл Robots.Txt?

Могут быть случаи, когда вы хотите, чтобы другие каталоги (каталоги, которые могут существовать вне вашей среды WordPress) также были запрещены, потому что вы не хотите, чтобы они появлялись в результатах поиска.

Это также легко сделать, создав собственный файл robots.txt. Если у вас есть подкаталог вашего сайта, который вы не хотите, чтобы боты включали, вы просто добавили бы такую ​​строку:

Disallow: / thisdirectory /

Обязательно добавьте завершающий «/» ! Если вы этого не сделаете, он не будет индексировать что-либо, начиная со слов «thisdirectory».

Будет ли ваш Robots.txt перезаписывать WordPress Virtual Robots.Txt?

Да. Если вы загрузите свой собственный файл robots.txt, вы увидите, что теперь он является активным файлом , посетив http://yoursite.com/robots.txt .

Пример Robots.Txt для загрузки

Тим, если тебе не нужно запрещать какие-либо другие файлы, файл WordPress virtual robots.txt будет в порядке.

Однако, если вы не видите виртуальный файл robots.txt или вам нужно создать его вручную, чтобы исключить другие подкаталоги на вашем веб-сайте, используйте следующие строки в качестве шаблона:

Пользовательский агент: * Disallow: / wp-admin / Disallow: / wp-includes / Disallow: / subdirdontindex1 / Disallow: / subdirdontindex2 / Карта сайта: http://yoursite.com/sitemap.xml

Приложение: файл WordPress Robots.Txt - исчерпывающее обсуждение

Для большинства из вас я считаю, что упомянутых выше стратегий достаточно. Это связано с тем, что «окончательный ответ» не был объявлен со 100% уверенностью, и, за исключением основной ошибки, такой как непреднамеренный запрет на весь ваш сайт ( это было сделано! ), Ваш файл robots.txt должен быть в порядке.

Тем не менее, исчерпывающее обсуждение WordPress и Robots.txt продолжается.

Вот несколько ссылок, которые обсуждают этот вопрос с кратким описанием каждой ссылки:

Поисковая оптимизация для WordPress Это обсуждение на сайте WordPress.org SEO для WordPress, и здесь они представляют рекомендуемый файл robots.txt. Вы, конечно, можете использовать их рекомендуемый файл robots.txt, но он был разоблачен в нескольких статьях за то, что слишком много запрещал

Пример WordPress robots.txt : Один автор, которого я очень уважаю, потому что он является создателем лучший плагин для WordPress SEO говорит, что рекомендации WordPress слишком строгие. Он говорит, что единственная строка в вашем файле robots.txt должна быть «Disallow: / wp-content / plugins /».

WordPress нужен файл robots.txt по умолчанию и многое другое ... Знаете ли вы, что WordPress.org имеет раздел идей ? Ну, они делают, и одна из идей заключается в предоставлении файла robots.txt по умолчанию. Мне нравится эта идея (хотя она действительно существует с виртуальным robots.txt), и она позволила бы всем нам быть довольными одним ответом.

WordPress robots.txt SEO : Хочешь по-настоящему вникнуть в гайки и болты ? Эта страница действительно углубляется в подробности robots.txt со многими сценариями «если это страница, делай это».

Добавление файла Robots.txt увеличило мой трафик Google на 16% за 4 дня Многие люди утверждают, что вам не нужен файл robots.txt. Тем не менее, автор этой статьи заметил определенный рост после его создания.

Добавьте Actual robots.txt или используйте Virtual robots.txt ? Это длительное обсуждение среди участников WordPress.org. Возможно, вы захотите посмотреть это ... или это может просто оставить вас в замешательстве Добавьте Actual robots

6 способов контролировать, что и как ваш контент появляется в поисковых системах Мне понравилась эта всеобъемлющая статья от Antezeta Web Marketing, потому что они очень подробно рассказывают о robots.txt, используемом в сочетании с AdWords и целевыми страницами.

Robots.txt Инструменты для создания : Если вы стесняетесь создать свой собственный файл robots.txt, эта ссылка содержит инструменты, которые вам помогут.

Ричард Каммингс

Директор по SEO, социальным медиа и разработке веб-контента в Система SEO

Ричард Каммингс занимается интернет-маркетингом уже много лет и создал и оптимизировал сотни сайтов WordPress. Он основал систему SEO для обеспечения SEO, социальных сетей, онлайн-маркетинга и программного обеспечения для бизнеса.

Последние записи Ричарда Каммингса ( увидеть все )

Похожие

Руководство для начинающих роботов TXT файлов для SEO
... robots"> Джон Мюллер дал недавнюю презентацию (в видео выше) о том, как использовать файл robots.txt. Мой друг Себастьян был также достаточно мил, чтобы помочь мне создать руководство для идиота на Robots.txt. Q & A ниже: Что ж, у «версии идиота» не будет интересных деталей, но это поможет вам начать. Robots.txt - это простой текстовый файл. Вы не должны редактировать его с помощью HTML-редакторов, текстовых процессоров или
SEO менеджер
Что такое SEO? Нужно ли это моему сайту?
Это вопрос, который задают многие предприниматели, когда они начинают интернет-бизнес, что может сделать SEO для моего онлайн-бизнеса? Правда в том, что SEO может творить чудеса с вашим бизнесом, включая повышение узнаваемости бренда и увеличение прибыли компании. Инвестирование в SEO похоже на инвестирование в другие маркетинговые материалы, такие как визитные карточки, электронный маркетинг, онлайн-реклама и другие. Тем не менее, нет более высокой прибыли, чем вы получите,
Джона Мюллера из Google спросили о том, как GoogleBot управляет сканированием, индексацией и ранжиров...
Джона Мюллера из Google спросили о том, как GoogleBot управляет сканированием, индексацией и ранжированием SPA, одностраничных приложений в Интернете. Джон сказал на
7 инструментов поисковой оптимизации, которые должен знать каждый издатель контента
ФОТО: Shutterstock Публикация контента в масштабе - кропотливая задача, даже когда это труд любви. Помимо публикации проницательного контента, авторы, редакторы и администраторы должны обеспечить, чтобы контент работал в режиме реального времени и соответствовал стандартам поисковой оптимизации (SEO), установленным такими, как Google, Bing и DuckDuckGo, для того, чтобы
Что нужно знать об испанском SEO
Хорошей новостью в этой статье является то, что вам не нужно узнавать что-то новое о SEO. Методы, которые мы используем для выполнения базовая поисковая оптимизация не меняйте язык Тем не менее, перевод всего сайта на другой
Что такое SEO для копирайтеров: шаг за шагом
... что такое SEO . Кто рискует написать не понимая, что любит Google , имеет при отсутствии хитов следствие. Это верно для владельцы блогов что касается тех, кто производит для третьих лиц. И ты не хочешь быть одним. свободный художник нет работы, верно?
Shopify Vs. WooCommerce: что выбрать в 2019 году?
... WordPress. Но давайте пойдем немного глубже. В отличие от прошлых лет, когда вам приходилось нанимать разработчика для создания магазина электронной коммерции для вас, сейчас существует ряд сервисов, которые позволяют вам создать магазин электронной коммерции практически без знания кодирования. Когда дело доходит до создания вашего магазина электронной коммерции, есть два, которые действительно стоят на голову выше остальных: Shopify и WooCommerce.
Как создать пост в WordPress: SEO
Как создать пост в WordPress: SEO Этот пост является продолжением серии, которая объясняет, как вставить пост в WordPress и расскажет еще несколько полезных функций при создании и редактировании контента, а именно использование плагина All in One SEO. Это обязательная функция в каждом блоге. Этот плагин позволяет вам добавлять метатеги ко всем сообщениям, что является одной из самых важных вещей,
IIS SEO Toolkit Что это?
IIS SEO Toolkit предназначен для веб-разработчиков, администраторов веб-серверов и хостинг-провайдеров, чтобы улучшить их веб-сайты в поисковых системах. Я не буду вдаваться в подробности всех функций, скорее всего, я расскажу совсем немного о том, что предлагает набор, вместо этого сосредоточившись на преимуществах SEO или нет. Как его установить Бинг предлагает
Основы SEO - индексирование с помощью Robots.txt, метатега и канонических файлов
... robotstxt-metatega-i-kanoniceskih-fajlov-1.png"> гусеничный Есть несколько причин контролировать индексацию и, таким образом, сообщать поисковой системе, как обрабатывать веб-страницы и ссылки: Запретить доступ к нерелевантным страницам и каталогам Разрешить или запретить отслеживание ссылок Запрет индексирования нерелевантных сайтов Индексировать дублирующийся контент только под одним URL Целью является передача

Комментарии

И если вы регулярно пишете блоги, вы бы не хотели, чтобы ваши читатели и подписчики теряли интерес, потому что ваш сайт / блог не подходит для мобильных устройств, не так ли?
И если вы регулярно пишете блоги, вы бы не хотели, чтобы ваши читатели и подписчики теряли интерес, потому что ваш сайт / блог не подходит для мобильных устройств, не так ли? Итак, действуй сейчас! Кнопки социальных сетей Кнопки «Поделиться» в социальных сетях помогают читателям легко делиться своими публикациями в своих профилях в социальных сетях. Для этого вам нужно установить плагин, который будет включать кнопки социальных сетей. Вы можете свободно выбирать платформы социальных
Я что-то пропустил, есть еще что-то, что вы хотите знать, или вы думаете, что заметили что-то, что я пропустил?
Я что-то пропустил, есть еще что-то, что вы хотите знать, или вы думаете, что заметили что-то, что я пропустил? Продолжайте разговор об этом щебет ,
Но это означает, что вам нужно ПОНИМАТЬ то, что вы собираетесь сказать - потому что, если вы не понимаете себя, как кто-то еще поймет вас?
Но это означает, что вам нужно ПОНИМАТЬ то, что вы собираетесь сказать - потому что, если вы не понимаете себя, как кто-то еще поймет вас? Это ОСОБЕННО важно, если вы пишете все, что использует технический жаргон любого рода, потому что эксперт будет знать, что у вас НЕТ ИДЕИ, о которой вы говорили. Следствие? Вы потеряете клиента, если будете фрилансом, и потеряете потенциальных клиентов / посетителей, если будете писать для своего сайта! Что
Лора: Если бы вы могли предсказать будущее SEO, какие изменения вы видите и как вы видите, как SEO PowerSuite адаптируется к этим изменениям?
Лора: Если бы вы могли предсказать будущее SEO, какие изменения вы видите и как вы видите, как SEO PowerSuite адаптируется к этим изменениям? Aleh: Поскольку в распоряжении SEO остается очень мало манипулятивных методов, мы можем даже не говорить о SEO как об отдельной дисциплине в ближайшем будущем. SEO постепенно сливается с маркетингом, PR, пользовательским опытом в сети, дизайном, большими данными и тем, что не формирует хорошо продуманные цифровые
Вы уверены, что ваш бизнес не имеет ничего общего с Интернетом, что вам нечего получить от сети, что есть только маленькие мальчики, которые бездельничают?
Вы уверены, что ваш бизнес не имеет ничего общего с Интернетом, что вам нечего получить от сети, что есть только маленькие мальчики, которые бездельничают? Свяжитесь с нами без обязательств, и мы сделаем углубленный анализ вашего рынка , ваших конкурентов, их действий и того, что вы можете получить из сети. Мы покажем вам стратегии, которые вы можете использовать для увеличения вашего оборота и увеличения оборота . Проверка 24:
Это все очень хорошо, но не было бы удобно, если бы вы могли просматривать только ваш органический трафик через весь ваш Google Аналитика?
И вы хотели бы знать, что вы можете сделать, чтобы ваш сайт был легче найти? Тогда 1-дневный SEO-курс «Сделайте ваш сайт легче найти» для вас: Просмотр программы и данных SEO курса Затем вы можете оптимизировать свой сайт для Google самостоятельно, без каких-либо технических хлопот. Этот курс SEO экономит вам много времени, потому что вам не нужно самим разбираться,
Теперь, когда вы поняли, вы, должно быть, поняли, почему ваш фрагмент так важен, не так ли?
Теперь, когда вы поняли, вы, должно быть, поняли, почему ваш фрагмент так важен, не так ли? Фрагмент важен, потому что пропорция кликов по результату может помочь (и многое) странице лучше позиционироваться. Если вы хотите смоделировать и создать свой сниппет, вы можете сделать это в плагине Yoast SEO для WordPress. Если вы не используете Yoast, есть бесплатный инструмент под названием SERP Preview Tool
У вас установлены правильные кнопки и социальные плагины для того, что вы пытаетесь достичь, и что вы хотите, чтобы пользователь мог делать?
У вас установлены правильные кнопки и социальные плагины для того, что вы пытаетесь достичь, и что вы хотите, чтобы пользователь мог делать? (Например, «разделяет ли пост», а не «нравится» вашей странице в Facebook.) 22. SERP Дисплей Являются ли поисковые системы правильное отображение ваших страниц в
Что вы думаете, когда вы ищете компанию, с которой вы можете иметь дело, и обнаруживаете, что у них нет веб-сайта?
Что вы думаете, когда вы ищете компанию, с которой вы можете иметь дело, и обнаруживаете, что у них нет веб-сайта? Ваши первые мысли: «Какая компания не имеет веб-сайта в эти дни?» И «Хочу ли я вообще иметь с ними дело?». Это мысли, которые возникают у меня в голове и создают такое же впечатление, что вы, возможно, покидаете на потенциальных кандидатов. Сегодня во многих случаях ваш сайт является вашей витриной. Ваш сайт - это брошюра вашей компании, в которой описаны ваши услуги.
Конечно, вы можете сказать, что хотите достичь вершины SERP, но знаете ли вы, как вы туда доберетесь?
Конечно, вы можете сказать, что хотите достичь вершины SERP, но знаете ли вы, как вы туда доберетесь? Вероятно, не теми же методами, которые вы практиковали, если ваш SEO останавливается. Вместо этого вам нужно провести SEO-эксперименты, чтобы найти подходящие методы для вашего сайта. Поскольку каждая отрасль отличается и каждый конкурентный набор отличается, совет SEO не может быть отрезком печенья во всех этих наборах. Чтобы найти лучшую формулу успеха, вы должны экспериментировать.
Что если вы посчитаете, что ваш клиент может зарабатывать дополнительно 5000 долларов в месяц с вашей помощью?
Что если вы посчитаете, что ваш клиент может зарабатывать дополнительно 5000 долларов в месяц с вашей помощью? Сколько стоит эта работа? Вы не хотите давать обещания с вашими ценами, которые вы не можете поставить. Фриланс почасовая ставка Понимание ценности ваших услуг является лишь частью уравнения. Другая часть этого уравнения, ну, в общем, фактическое уравнение. Каждый фрилансер, независимо от профессии, должен рассчитать почасовую ставку фрилансера. Да,

Txt?
Txt?
Txt?
Что за настоящая история?
Txt при использовании WordPress?
Txt?
Txt?
Txt?
Txt ?
Нужно ли это моему сайту?