301-й редирект: был ваш сайт — и сайта нет

Андрей Шипилов: Добрый день, господа! Я снова нахожусь в студии SeoPult.TV, я Андрей Шипилов. Возможно, некоторые из вас меня знают, кто-то даже следит за моими выступлениями, и сегодня я решил выступить с несколько провокационной темой. Название нашей сегодняшней темы: «301-й редирект. Был ваш сайт — и сайта нет!». Немножко провокационно, но я сейчас объясню почему. Дело в том, что огромное количество проблем, которые возникают с сайтами — в ходе оптимизации ли, в ходе разработок ли — возникает из-за необдуманного применения 301-го редиректа, и это очень неявно. Поэтому сегодняшняя лекция посвящена одному из очень ходовых заблуждений, будто 301-й редирект является «универсальным лекарством».
Между SEO и современной медициной очень много общего: медицина занимается здоровьем людей, постановкой диагноза, лечением; SEO делает все то же самое по отношению к сайтам — ставит диагноз и лечит их. Так вот, современное состояние SEO я бы уподобил состоянию медицины X века. В X веке было много так называемых врачей, каждый из которых имел свою теорию медицины, свою теорию лечения, имел свое представление о том, как устроен человеческий организм, зачастую дикое, но считал его единственно верным. В соответствии с этим назначал лечение. И несмотря на огромное количество теорий о том, как работает человеческий организм и как он устроен, и методик лечения, по сути, в X веке медицина сводилась всего к двум средствам лечения: кровопускание и касторка. Заболела голова — кровопускание, не помогли кровопускания — выпей касторки, не помогло, помер — ну, значит, так получилось.
Примерно то же самое сейчас происходит и в SEO, точно так же ставятся диагнозы с сайтом, и точно так же сайт лечится. Есть огромное количество сеошников, так называемых SEO-аналитиков, каждый из которых уверен, что он разгадал, как работают алгоритмы «Яндекса», и в соответствии со своим пониманием применяет для лечения сайтов два средства: покупку ссылок и 301-й редирект. Может быть, кому-то это покажется странным, но я сейчас объясню, что я имею в виду.

На самом деле 301-й редирект изначально, когда создавался интернет, когда создавался HTTP, предназначался для одной-единственной цели — сообщить поисковому роботу о том, что данной страницы больше не существует и вместо нее используется другая страница.

Все, это было единственное значение. Естественно, поскольку старая страница удалена, появилась новая, то, по логике, надо все накопленные «пузомерки», позиции передать со старой странички на новую, что, собственно говоря, поисковые роботы изначально, не задумываясь, и делали. Так вот, сейчас применением 301-го редиректа все стремятся не сообщить поисковому роботу, что этой страницы больше нет, а именно обеспечить вот эту передачу «пузомерок», позиций и т. д.
Для чего сейчас используют 301-й редирект? Для огромного количества целей: для передачи с варианта имени домена «с www» на «без www» и наоборот. Это как бы стандартная опция. Когда вы у провайдера выбираете, как вам отображать сайт, «с www» или «без www», вы тем самым включаете 301-й редирект, на всех хостингах он стоит по умолчанию. Для смены домена у сайта: вот у вас поменялся домен, вы ставите 301-й редирект, чтобы сказать поисковикам, что у вас теперь новый домен. Соответственно, поменяли движок, поменялись URL, ставите 301-й редирект, в какой-то момент обнаруживаете, что у вас в индексе Google одновременно находится страница со слэшем на конце и без слэша, те же самые страницы, ставите редирект с «со слэшем» на «без слэша» или наоборот. Возникла ситуация, когда надо передать, допустим, PR или просто вес и позиции с одной страницы на другую — ставим 301-й редирект. Надо вам побыстрее продвинуть страничку, у вас есть несколько страничек с исходными запросами, вы стараетесь собрать вес на этой странице путем установки 301-го редиректа на все остальные страницы. Ставится он и вместо 404-го кода ответа. Ну а чего пропадать? Заходом пусть перейдет человек. И прочее, прочее, прочее. Огромное количество таких применений, из которых, собственно говоря, только два первых пункта — установка зеркала и установка домена — соответствуют изначальным задачам 301-го редиректа. Все остальное делается для того, чтобы воспользоваться его побочными эффектами. Воспользоваться получается далеко не всегда, практически никогда не получается воспользоваться, но этого почему-то никто не замечает.
На самом деле что происходит?

Когда поисковая машина заходит на страничку и получает 301-й или 302-й код ответа с указанием новой страницы, все думают, что она получает директиву: а ну-ка, голубушка, передай все «пузомерки» с этой странички на ту. На самом деле она получает не одну, а четыре директивы: зашел поисковый робот, получил 301-й редирект и выполняет четыре, а то и пять последовательных операций.

Первая операция — выбросить эту страницу из индекса, ее больше не существует. Далее — прочитать страничку по новому адресу, который тебе указали. Обратите внимание, не помести в индекс, а только прочитай, а вот прочитав, помести ее в индекс. Проанализируй, пожалуйста, что на этой страничке находится, с нуля проиндексируй, не оглядываясь на то, что было раньше, и вот после этого прими решение о том, надо ли передавать вес, надо ли передавать позиции на ту страницу. То есть мы имеем не одно, а пять последовательных действий. Между этими действиями могут проходить дни, недели, иногда месяцы. В Google, как правило, проходят дни, иногда часы, у «Яндекса» это могут быть месяцы. Выбросил страницу из индекса, новая страничка в индексе может появиться через два-три месяца. Появилась в индексе, а «пузомерки» не перетекли, позиции не перетекли. Они тоже могут перейти через два-три месяца, могут через неделю, по-разному бывает, а могут вообще не перейти. Собственно говоря, вот эта последовательность, которую я сейчас изложил, обозначена на диаграмме синенькими стрелочками. В последнее время, с приходом новых статистических алгоритмов ранжирования, все чаще последовательность не соблюдается, а идут либо параллельные потоки, либо они выполняются в другом порядке. Выброси страницу из индекса, прочитай, но не помещай в индекс, проанализируй. По результатам анализа ты ее можешь вообще в индекс не поместить и т. д. В результате что мы имеем? Мы хотим сделать хорошую вещь, хотим передать вес с одной странички на другую, в результате мы либо получаем огромный временной разрыв, либо вообще ничего не получаем.
Но это, конечно, не обязательные правила. Например, если вы просто переклеиваете сайт со старого домена на новый, как правило, в этой ситуации поисковики срабатывают достаточно быстро, поскольку это, скажем так, стандартное применение, во всех остальных случаях могут возникать проблемы, и они, как правило, возникают. Причем если это делается массово на сайте, то аналитик, так называемый аналитик, который занимается этим сайтом, зачастую просто не может установить какую-то закономерность между установкой 301-го редиректа, которая происходила три месяца назад и о которой никто ничего не помнит, и тем, что вдруг страницы сайта «посыпались». Более того, зачастую, поскольку сейчас 301-й редирект уже во всех современных движках во многих случаях ставится автоматически, как решение проблем во всех расширениях, то возникают порой совершенно дикие ситуации.
Вот небольшой кейс сайта, с которым мне пришлось разбираться: был сайт по недвижимости, владелец решил поменять движок. Тому, кто разрабатывал движок, было, видимо, лень делать нормально, по уму, как полагается, и он убедил владельца сайта, что адреса страничек будут другими, но мы поставим 301-й редирект со старых страничек на новые, позиции перетекут, «пузомерки» перетекут, ничего страшного не произойдет. Поставили 301-й редирект со старых адресов страничек на новые. Потом владелец говорит: «Слушай, мы уже меняем движок, почему у всех сайт «с www», а у меня «без www»? Давай-ка мы тоже «с www» сделаем». Сказано — сделано. Поставили 301-й редирект со всех страниц с вариантом «без www» на вариант «с www». Потом вдруг обнаружили, что в Google одновременно находятся странички «со слэшами» и «без слэшей». Какое лечение? Лечение известное. Поставим редирект с адресов «со слэшами» на адреса «без слэшей». По мере того как странички входили в индекс, обнаружилось, что еще и движок не очень совершенный, он плодит и четкие, и нечеткие дубли. Какое решение удаления дублей? Решение известное — поставить редирект с ненужных дублей на основной адрес, на основной дубль. Попутно поменялась архитектура страницы. Если там, допустим, было пять страниц по какому-то типу недвижимости, они все сошлись на одной. Чтобы не терять все эти страницы, их надо объединить. Как объединить? Со всех старых страниц ставим редирект на новую единую страницу. Что в итоге? В итоге оказалось, что на сайте образовалось огромное количество страниц, путь к которым шел через три, четыре, пять, а иногда и больше 301-х редиректов, причем в браузере это, понятно, совершенно незаметно: человек заходит, получает нужную ему страницу, все эти редиректы не видны. А теперь пять пунктов умножьте на пять 301-х редиректов. Что происходит? Происходит полнейшая каша. Результат: да, все новые страницы вошли в индекс, 301-й редирект в этом случае сработал при смене движка, но в выдаче оказалась только половина от тех страниц, которые были раньше, и ни одна из новых страниц не вошла в топ-10 ни в «Яндексе», ни в Google, просто потому, что поисковики не захотели работать с таким количеством 301-х редиректов. На деле ситуация была еще хуже: оптимизаторы, которые занимались сайтом, начали массовую закупку ссылок, для того чтобы пропихнуть страницы в топ-10, хотя достаточно было просто убрать 301-е редиректы. В результате сайт был наказан за поисковый спам, на сайт были наложены санкции, и для устранения этой ситуации владельцу пришлось потратить очень серьезные материальные и временные ресурсы. Это, конечно, предельный случай, но он просто показывает, к чему может привести бездумное употребление 301-го редиректа. Поэтому я советую взять за правило: да, вы меняете домен сайта, никуда не денешься, 301-й редирект, хотя в «Яндексе» есть директива host, там еще есть какие-то обходные пути.
В общем-то, использовать 301-й редирект по прямому назначению рекомендуют сами поисковики. Для всего остального, извините, господа, уже давно существует огромное количество других инструментов, которые прекрасно работают вместо 301-го редиректа.

Нечеткие дубли прекрасно устраняются при помощи атрибута rel=”canonical”, то же самое касается и слэшей. Есть директива host «Яндекса».

Вообще говоря, если вы регулярно читаете про все изменения, которые находятся в хелпе «Яндекса» и Google, если вы хотя бы раз в три месяца внимательно их перечитываете, то видите, что там все эти рекомендации даются. Пожалуйста, не используйте на своих сайтах 301-й редирект, тем самым вы сэкономите и деньги, и время.
На этом я хотел бы закончить. В студии с вами был Андрей Шипилов, надеюсь, не последний раз. Спасибо за внимание!