Захват результатов поиска Google для развлечения, а не для прибыли: SEO в Великобритании раскрывает уязвимость XML-карты сайта в консоли поиска Google

1. Захват SERPs
2. Понимание объема
3. Процесс исследования
4. Отчетность и разрешение

В 2017 году Google выплатил около 3 миллионов долларов отдельным лицам и исследователям в рамках своей программы вознаграждений за уязвимости ( VRP ), что побуждает сообщество исследователей безопасности находить и сообщать об уязвимостях в продуктах Google.

На этой неделе Том Энтони (Tom Anthony), который возглавляет отдел исследований и разработок продуктов в Distilled, агентстве SEO, получил награду в размере 1337 долларов за обнаружение эксплойта, позволившего одному сайту захватывать видимость страницы результатов поисковой системы (SERP) и трафик другого. быстро индексируется и легко ранжируется по конкурентоспособным ключевым словам потерпевшего сайта.

Подробно в своем блоге Энтони описывает, как Консоль поиска Google (GSC) Передача карты сайта с помощью ping URL позволила ему отправить XML-карту сайта для сайта, который он контролирует, как если бы это была карта сайта, для которой он не контролирует. Он сделал это, сначала найдя целевой сайт, который позволял открывать перенаправления; очистка его содержимого и создание дубликата этого сайта (и его структур URL) на тестовом сервере. Затем он отправил в Google карту сайта XML (размещенную на тестовом сервере), которая включала URL-адреса целевого домена с директивами hreflang, указывающими на те же URL-адреса, которые теперь также присутствуют в тестовом домене.

Захват SERPs

В течение 48 часов тестовый домен начал получать трафик. В течение недели тестовый сайт занимал место по конкурентным условиям на странице 1 поисковой выдачи. Кроме того, GSC показала два сайта как связанные - указав целевой сайт как ссылку на тестовый сайт:

Консоль поиска Google связывает два несвязанных сайта. Источник: http://www.tomanthony.co.uk

Эти предполагаемые отношения также позволили Энтони отправлять другие карты сайта XML - в пределах GSC тестового сайта на данный момент, а не через ping URL - для целевого сайта:

Карта сайта жертвы, загруженная непосредственно в GSC - Источник: http://www.tomanthony.co.uk

Понимание объема

Сами открытые перенаправления не являются новой или новой проблемой, и Google предупреждает веб-мастеров об использовании их сайтов для защиты от этого вектора атаки. с 2009 года , Здесь следует отметить, что использование открытого перенаправления работало не только для отправки поддельной карты сайта, но и для эффективного ранжирования нового домена, нового сайта, с нулевыми фактическими входящими ссылками и без продвижения по службе. А затем, чтобы за три недели получить на этом новом сайте и домене более миллиона поисковых показов, 10 000 уникальных посетителей и 40 000 просмотров страниц (только через поисковый трафик).

«Ошибка» здесь - это проблема как с представлением карты сайта (последующие сквозные представления карты сайта GSC вызывают тревогу), так и с большей проблемой в том, как алгоритм немедленно применил все средства от одного сайта к совершенно отдельному и не связанному домену ,

Источник: http://www.tomanthony.co.uk

Я обратился к Google с серией подробных вопросов об этом эксплойте, в том числе об участии команды по обеспечению качества поиска в разработке и внедрении исправления, а также о том, способны ли они обнаруживать и предпринимать действия в отношении любых плохих действующих лиц, которые, возможно, уже воспользовались этим. уязвимость. Представитель Google ответил:

Когда нас предупредили об этой проблеме, мы тесно сотрудничали между командами для ее решения. Это не было ранее известной проблемой, и мы не считаем, что она использовалась.

В ответ на вопросы об изменениях в отношении представления карты сайта, GSC и передачи справедливости, влияющих на результаты, представитель сказал:

Мы по-прежнему рекомендуем владельцам сайтов использовать карты сайта, чтобы сообщать нам о новых и обновленных страницах своего веб-сайта. Кроме того, новая консоль поиска также использует файлы Sitemap как способ детализировать конкретную информацию на вашем веб-сайте в отчете об охвате индекса. Если вы размещаете свои карты сайта за пределами своего сайта, для правильного использования важно, чтобы оба сайта были проверены в одной и той же учетной записи консоли поиска.

Я подробно обсудил этот подвиг и исследование с Энтони.

Процесс исследования

Когда его спросили о его мотивации для продолжения этой работы, он сказал: «Я считаю, что эффективный SEO - это тот, кто экспериментирует и пытается понять вещи за кулисами. Я никогда не занимался SEO в черной шляпе, и поэтому поставил перед собой задачу найти что-то на этой стороне вещей; прежде всего для обучения и как способ защиты, если я когда-либо видел это в дикой природе ».

Он добавил: «Мне нравится проводить исследования в области безопасности как хобби на стороне, поэтому решил, что вместо того, чтобы пойти по« традиционному »черному пути манипулирования сигналами ранжирования алгоритма, я бы посмотрел, смогу ли я найти прямую ошибку в Это."

Часто побудительная мотивация в преследовании данного метода связана с тем, что он испытал (или имел клиента, который испытал) внезапное падение трафика или рейтинга SERP. Энтони отметил: «В Distilled, как и во многих SEO-компаниях, я работал с сайтами, у которых были необъяснимые потери. Часто клиенты заявляют о «негативном SEO», но обычно это нечто более приземленное. В этой конкретной проблеме беспокоит то, что типичные негативные SEO-атаки можно обнаружить. Если я рассылаю вам спам с некачественными ссылками, вы можете найти их, подтвердить, что они существуют. Похоже, что с этой проблемой злоумышленник может использовать ваш капитал в Google, и вы не узнаете ».

В течение четырехнедельных вечеров и выходных, проведенных в его изучении, Энтони обнаружил, что объединение различных исследовательских потоков оказалось эффективным, когда каждый из них по отдельности приводил к тупикам. «Я закончил с двумя нитями исследований - один вокруг открытых перенаправлений, так как они являются трещиной в том, как работают сайты, которые я чувствовал, могут быть использованы для SEO - а другой был с XML-картами сайтов и пытался сделать ошибку робота Googlebot при разборе их (я пробежал около 20 вариантов этого, но ни один не работал!). В этот момент я был так глубоко погружен в это и получил откровение, когда понял, что эти два потока исследований могут быть объединены ».

Отчетность и разрешение

Как только он осознал влияние и вред, которые могут быть нанесены на сайты, Энтони сообщил об ошибке в службу безопасности Google (см. Полную хронологию в своем посте). Поскольку этот метод был ранее неизвестен Google, но явно использовался, Энтони отметил: «Это ужасная перспектива, что это могло уже быть там и использоваться. Однако природа ошибки будет означать, что она по существу не обнаружима. «Жертва» не может быть затронута напрямую, если ее капитал используется для ранжирования в другой стране, и тогда жертвы становятся законными компаниями, которые атакующий отталкивает вниз по рейтингу. У них не было бы никакого способа сказать, как сайт злоумышленника так хорошо ранжируется ».

Как отмечалось выше, представитель Google сказал, что они не считают, что он был использован. Из их ответа неясно, есть ли у них доступные данные, которые позволили бы им обнаруживать проверенные карты сайта, используемые таким образом. Если будет дан дальнейший комментарий или информация, мы обновим этот пост.

Что касается конкретно проблемы обнаружения, я попросил Энтони порассуждать о масштабировании этого эксплойта. «Самым большим недостатком моего эксперимента было то, насколько близко я имитировал оригинальный сайт с точки зрения структуры URL и содержания. У меня была подготовлена ​​куча экспериментов, которые были разработаны, чтобы измерить, насколько по-разному вы можете создать сайт злоумышленника. Насколько похожим должен быть контент? Могу ли я настроить таргетинг на другие языки в той же стране, что и сайт жертвы? В моем случае, я думаю, я мог бы повторить попытку с тем же подходом, но немного дифференцировать место атаки и, вероятно, избежал бы обнаружения », - сказал он.

Он добавил: «Если бы я держал это при себе, то я думаю, что мог бы уйти на месяцы или годы. Если вы откровенно обманываете людей, это будет недолгим, но если вы используете метод для привлечения партнерского трафика или даже просто для развития собственного законного бизнеса, то мало причин, по которым вас когда-либо поймают ».

Как показано на рисунке ниже, недолговечный трафик, направляемый на тестовую площадку, потенциально намного более ценен, чем сравнительно небольшая (для сравнения) награда, которую он получил, что заставляет задуматься, действительно ли команда безопасности поняла последствия эксплойта.

Ценность трафика Searchmetrics. Источник: http://www.tomanthony.co.uk

Мотивация Энтони (и почему он сразу же сообщил об уязвимости) была основана на исследованиях и помощи поисковому сообществу.

«Проведение такого рода исследований - это учебный опыт, а не злоупотребление тем, что вы находите. В индустрии у нас иногда возникают жалобы на Google, но [для] потребителя они предоставляют отличный сервис, и я думаю, что хорошие SEO-специалисты действительно помогают в этом - и это в основном продолжение той же идеи. Программа вознаграждений за уязвимости, которую они запускают, является хорошим стимулом, чтобы сосредоточить усилия на исследованиях на них, а не где-либо еще; приятно получить потенциальную награду за время и усилия, затраченные на исследования ».

Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,

Об авторе

Похожие

Комментарии