Вот уже несколько месяцев по всем вебмастерским и оптимизаторским форумам интернета идет активная волна обсуждений по поводу того, какое огромное количество сайтов вылетело с начала осени из поискового индекса Яндекса.
Высказывается много разных предположений и догадок, количество версий перевалило за несколько десятков. Насколько они близки к истине – можно только гадать.
При этом никто почему-то никто не догадался спросить у самого Яндекса. Я ждал-ждал, пока кто-то спросит, потом решил спросить сам.
Яндекс – ответил. Четко, откровенно и подробно.
Итак, мои собеседники:
Технический директор Яндекса Илья Сегалович.
Руководитель отдела веб-поиска Александр Садовский.
Руководитель группы отдела веб-поиска Сергей Певцов.
Чсть 1. Хорошие сайты – не выбрасывать!
Андрей Шипилов: В последнее время на многих интернет-ресурсах особенно часто стало высказываться мнение, что Яндекс исключает из своего поиска большое количество сайтов, и причины, по которым он это делает, далеко не всегда понятны. Я тоже вижу признаки такой тенденции. Лично для меня очевидно, что это происходит вследствие попыток Яндекса улучшить качество своего поиска за счет выбрасывания из него «мешающих» сайтов, но чем именно Яндекс при этом руководствуется – понять очень непросто. Можно ли говорить о появлении некоей цензуры со стороны Яндекса? По каким критериям происходит отсев сайтов?
Илья Сегалович: Прежде всего, я хочу сразу сказать, что определенные санкции к каким-то сайтам с нашей стороны действительно могут иметь место – но это ни в коей мере не цензура. Когда речь заходит о «пессимизации», «фильтрации» и прочих ограничительных мерах со стороны Яндекса по отношению к тем или иным сайтам, то речь не идет об оценке смыслового содержания этих сайтов (см. сноску). Ни к одному сайту никогда не будут применяться никакие ограничительные меры исходя из политических, религиозных, моральных резонов или из-за того, что точка зрения, пропагандируемая сайтом, кого-то не устраивает.
Ограничительные меры применяются только исходя из качества сайтов, причем употребляя термин «качество», мы имеем в виду исключительно способность сайта влиять на качество и релевантность нашего поиска. «Некачественный» с нашей точки зрения сайт, то есть тот, к которому могут быть применены ограничительные меры, это сайт, который в силу тех или иных причин создает помехи в поисковой выдаче, мешает поисковой машине в ее работе, ибо в текущей модели ранжирования мы не можем его корректно отранжировать (проще говоря, он занимает неприемлемо высокое место по не соответствующим ему запросам). Это мешает пользователям в поиске нужной информации. Других критериев для применения санкций к сайту быть не может.
Андрей Шипилов: И насколько сильно такие «некачественные» сайты искажают выдачу поисковой машины?
Александр Садовский: Пытаются испортить выдачу – очень сильно. Но реальное влияние, «внешний выход» у всех таких сайтов в настоящее время стремится к нулю. Мы давно научились отслеживать попытки повлиять на поисковую выдачу и нивелировать их. По нашим данным, нам это удается.
Андрей Шипилов: Понятно, что вебмастера при помощи тех или иных методов оптимизации стараются поднять свой сайт в выдаче поисковой машины на верхние позиции. Очевидно, в стремлении сделать это вебмастер может нечаянно, не ставя перед собой цели нанести вред поисковой машине, переступить некую границу, после которой вы сочтете, что его сайт недопустимо влияет на качество поиска. Как вы определяете эту границу? Как вы страхуетесь от возможных ошибок в определении этой границы?
Александр Садовский: Мы старается соблюдать баланс интересов и вебмастера, и пользователя поисковой системы. Когда эти интересы вступают в конфликт, то мы всегда решаем этот конфликт в пользу пользователя пусть и в ущерб вебмастеру. Если же конфликта нет, то нам не жалко делиться с вебмастером ни трафиком, ни чем-то еще (сервисами через API, информацией о его сайте и т.д.). Мы, наоборот, готовы помогать, чтобы его сайт искался лучше, предоставлять соответствующие сервисы, интерфейсы, и мы делаем это.
Илья Сегалович: Я хочу сказать по поводу возможных ошибок. Мы понимаем, что вполне возможна ситуация, когда из-за ошибок или несовершенства алгоритмов качественные сайты могут либо не попасть в поиск, либо занять в его результатах ненадлежащую позицию.
У нас есть такая метрика: «Не выкидывать хорошие сайты».
Что мы делаем: по ряду запросов мы мониторим выдачу других поисковых машин, всех, кто хоть как-то ищет по-русски, включая все версии самого Яндекса - рабочую версию и внутренние, экспериментальные (у Яндекса много версий).