«Яндекс» и «Калининград»: персональный анклав каждому

Сергей Иванов: Здравствуйте, уважаемые телезрители! В эфире программа «Бизнес online», в студии Сергей Иванов. Что вы ожидаете увидеть, вводя в строку поиска слово «Титаник»: слезоточивый фильм или чертежи корабля? И кто тот человек, который вбивает слово «питон», — любитель пресмыкающихся или программист? Возможно, теперь со всеми этими вопросами придется разбираться новой поисковой платформе «Калининград», недавно запущенной компанией «Яндекс». Платформе, которая делает результаты поиска персонализированными. Сегодня нашим гидом по «Калининграду» будет один из специалистов по поиску компании «Яндекс» Денис Рогачевский.

Денис Рогачевский, менеджер поисковых проектов «Яндекс».
Родился в 1986 году в Москве.
Выпускник факультета прикладной механики Московского авиационного института.
С 2004 по 2008 год работал веб-мастером в компании «ФТ-Центр».
С 2008 года работает над поиском «Яндекса», на данный момент – в статусе руководителя группы.

С. И.: Денис, привет!
Денис Рогачевский: Привет!
С. И.: Денис, как родилась и развивалась идея персонализации? Как вы пришли к платформе «Калининград»? Это был изначально разработанный план или вы двигались постепенно, наращивая данные и приходя к единому пониманию? Как все произошло?
Д. Р.: «Яндекс», поиск «Яндекса» всегда движется к одной цели: он всегда работает над повышением качества поиска, прежде всего. И идея персонализации, конечно же, не нова, но реализовывать ее мы начали тогда, когда поняли, как измерять повышение качества поиска. Помимо внедрения новых формул, появления новых идей и их разработки, есть постоянная работа над измерителями «пользовательского счастья». И когда эти измерители стали достаточно точны, когда мы поняли, что можем им доверять, что они могут измерять такую тонкую сущность, как индивидуальная поисковая выдача для каждого человека, мы сели и начали делать персонализацию. И делать ее так, чтобы она действительно улучшила поиск, а не так, как…
С. И.: Не как самоцель.
Д. Р.: А не как самоцель, не как фишка.
С. И.: Давай сделаем небольшой экскурс в то, как устроена персонализация на платформе «Калининград».
Д. Р.: Мы разделили ее на три части, удобные для понимания.

«Калининград» — это быстрый доступ к любимым сайтам. Вы можете перейти на то, к чему привыкли, одним кликом в поисковых подсказках.

Или же просто ваши любимые сайты будут показываться вам чаще и выше в результатах поиска. Потом, поисковая платформа умеет на лету подстраиваться под вас, например предлагая запросы, которые связаны с вашим предыдущим запросом. Но самое главное, она умеет учитывать ваши интересы в формировании как подсказок, так и результатов поиска для вас.
С. И.: Персонализация работает для поиска с неоднозначным запросом или для всех запросов?
Д. Р.: Вопрос в том, что считать неоднозначным. Конечно, есть классические примеры: «ягуар», «питон», другие запросы. Но есть менее очевидные: какой-нибудь запрос «фильмы онлайн» или «Дом-2 посмотреть новые серии». Там почти все сайты одинаковы в выдаче.
С. И.: Они уже конкретизированы по запросу, получается?
Д. Р.: Да. Но людям удобнее получать информацию в привычном окружении, поэтому у них формируется привычка смотреть фильмы на своих любимых сайтах. И будет очень логично, если они получат к ним доступ сразу, например на первом результате, а не будут листать [SERP и заходить] на вторую страницу.
С. И.: По умолчанию персональный поиск работает для всех, кто достаточно часто пользуется поиском. И чем больше запросов задает человек, тем лучше поиск его понимает. А как часто? И сколько должно быть запросов?
Д. Р.: Сложно однозначно ответить. Каждый раз персонализация решает на лету, стоит ли изменять результаты поиска в соответствии с интересами пользователя. И возможно даже, если у вас очень-очень много запросов, но новый абсолютно никак не связан с вашей предыдущей историей, то даже большое количество запросов не поможет сделать выдачу персонализированной.
С. И.: Когда вы готовили платформу «Калининград», вы проводили какие-то тесты, чтобы понять разработанный алгоритм поиска? Меня, главное, интересует, от каких идей вы отказались в процессе подготовки платформы.
Д. Р.: Конечно же, тесты проводятся. Прежде всего, речь идет об экспериментах, и до экспериментов «доезжают» какие-то версии, которые мы хотим проверить на людях, на наших пользователях. Конечно, хотелось бы сказать, что до пользователей «доезжает» только то, в чем мы уверены, и то, что не испортит им качество поиска, но…
С. И.: Жизнь гораздо серьезнее!
Д. Р.: Да. Но то, что «доезжает» до пользователей, жизнь им не портит. Мы провели достаточное количество экспериментов, прежде чем выкатить новый алгоритм на всех.
С. И.: Были идеи, от которых вы отказались?
Д. Р.: Тут ничего нового я, наверное, не смогу рассказать. Как обычно, поиск использует машинное обучение, и какие-то критерии, какие-то факторы, как мы это называем, оказываются лучше, какие-то хуже. И мы пробовали разные: те, которые работают хорошо, остались.
С. И.: А насколько безболезнен сам процесс тестирования новых алгоритмов для пользователей? Может быть, им что-то не нравится и они начинают уходить на другие поисковики? Не было ли таких случаев?
Д. Р.: Как я уже сказал, до пользователей «доезжает» только то, в чем мы уверены или почти уверены. Поэтому случаев, когда людям действительно категорически что-то не нравилось, практически не было. Если мы говорим именно о качестве поиска, о качестве формирования десятки лучших результатов, то таких случаев не было.
С. И.: Какие-то результаты персонализации вы успели увидеть за краткий период с начала запуска новой системы?
Д. Р.: Конечно! Мы видим, что людям больше нравится персонализированная выдача. Они быстрее находят то, что ищут, они быстрее находят нужные результаты, им нужно меньше времени до принятия решения.
С. И.: Тем не менее какое-то количество людей отключило персонализацию? Или все 100% пользуются ей, как будто ее долго ждали?
Д. Р.: На самом деле это, конечно, надо посчитать, но какого-то лавинообразного отключения нет. Безусловно, нет смысла отключать то, что работает для тебя лучше.
С. И.: Ну а какие-то данные по увеличению «пользовательского счастья» у вас есть?
Д. Р.: Да, конечно.

Мы выкатываем на всех пользователей только то, что уже экспериментально «принесло им счастье».

Такие метрики на самом деле являются некоторым ноу-хау компании, поэтому рассказывать о них подробно тяжело, но не хочу сейчас быть спойлером и расскажу только, что скоро мы обнародуем исследования, которые будет интересно почитать и которые касаются непосредственно методологии наших исследований «пользовательского счастья».
С. И.: Поскольку мы телеканал SeoPult.TV, тему SEO не могу обойти стороной. Можно ли «Яндекс» поздравить с тем, что новая платформа, новый алгоритм убил и SEO? Сейчас очень популярна шуточка о том, что сеошники будут брать только тех клиентов, которые любят кликать только на свой сайт в выдаче.
Д. Р.: Когда делалась поисковая платформа, слово SEO не произносил никто. Безусловно, вся эта история только про пользователей.
С. И.: «Яндекс» хранит гордое молчание и не замечает SEO?
Д. Р.: Нет, дело не в этом. Конечно, мы знаем, что SEO существует, но все наши продукты, прежде всего, ориентированы на пользователей.

Что касается SEO, мы понимаем, что правила игры немножко меняются и что, наверное, сейчас честнее разговаривать с клиентами о трафике, чем о позициях.

С. И.: Есть такой сайт Analyzethis.ru, который меряет качество различных поисковых систем. В связи с введением персонализации «Яндекса» будет ли он сейчас востребован? Или же необходимо будет как-то изменять его, потому что теперь нет однозначной системы измерения?
Д. Р.: Analyzethis.ru измеряет базовые свойства поиска. Персонализация никак не может категорически изменить эти базовые свойства поиска. Как мы старались отдавать самое релевантное, так и стараемся. Как старались показывать свежую информацию, так и стараемся. Мы как боролись со спамом, так и будем продолжать бороться со спамом. Но дело в том, что, конечно же, то, что видят пользователи, со временем все более отдаляется от той статической информации, которую показывает Analyzethis.ru. Очень часто результаты поиска меняются просто в течение дня, и это было еще до введения персонализации хотя бы из-за того, что постоянно появляются свежие результаты поиска.
С. И.: Денис, как вы теперь будете балансировать персонализацию и разнообразие поисковой выдачи? Все-таки нужно соблюдать некий баланс между тем, что, как вы предполагаете, человек хочет получить себе, и тем, что он должен получить. В общем-то, достаточно большой спектр.
Д. Р.: Персонализация не замыкает человека внутри его интересов, она просто делает так, что он быстрее находит свой результат. А вот что касается балансировки, безусловно, все происходит автоматически. Но как это происходит... я хотел бы обратиться к тому исследованию, которое сейчас готовят мои коллеги.
С. И.: Еще один вопрос, который волнует многих: как быть с «холодным стартом», когда человек только начал пользоваться поиском «Яндекса», а алгоритмы «Калининграда» про него еще ничего не знают?
Д. Р.: Некоторые части «Калининграда» могут подстраиваться под пользователя на лету, например поисковые подсказки. Что касается ранжирования, некоторые данные тоже пересчитываются достаточно быстро.
С. И.: Ну, предположим, я в первый раз зашел в поисковую систему, задал вопрос о пресловутом «питоне». И как происходит уточнение и формирование понимания моего поведения, моего характера, моих интересов? В течение какого времени, в течение какого количества заходов?
Д. Р.: Нельзя однозначно ответить на этот вопрос.
С. И.: Но вы же наблюдали за пользователями.
Д. Р.: Если бы я мог это сделать, я бы, конечно же, ответил, но прямо сейчас персонализации требуется какое-то время. Мы постоянно работаем над тем, чтобы сократить это время и чтобы поисковая система начинала понимать ваши интересы все быстрее и быстрее.
С. И.: Тем не менее еще раз хочу вернуться к этому вопросу: какова будет первая выдача для «человека-зеро»?
Д. Р.: Для человека-зеро первая выдача будет соответствовать человеку-зеро, так как поисковая система в момент первого запроса ничего о нем не знает.
С. И.: Так. Вторая?
Д. Р.: Что касается второй выдачи, то через какое-то время поисковая платформа накопит необходимую информацию, и одним из свойств поисковой системы является эта скорость накопления. Прямо сейчас мы можем говорить о том, что, как правило, на следующий день… Персонализации хватает суток, но мы постоянно работаем над сокращением этого времени.
С. И.: Вы сообщаете, что при разработке алгоритма было выделено порядка 400 тыс. сценариев, групповых сценариев. Значит, персонализация у нас идет не по индивидуальному принципу, а по групповому?
Д. Р.: Нет, это не совсем так. Это история про подсказки, про поисковые подсказки. Там действительно мы разделили людей на 400 тыс. похожих друг на друга. Но это запросы пользователя. А есть еще на каждый запрос несколько ответов, любой из которых тоже обладает уникальным свойством, поэтому нет смысла делить людей на группы. Наша персонализация потому и персонализация, что для каждого человека есть какой-то уникальный набор данных, который используется для формирования результатов поиска.
С. И.: Существуют еще две проблемы с персонализацией: когда один пользователь заходит в «Яндекс» с разных устройств или, наоборот, когда разные пользователи заходят с одного устройства с одного компьютера в поиск. Как вы решаете их?
Д. Р.: В персонализации есть отличный инструмент, который нам сильно помогает ее делать: у нас текст запроса, у нас контекст. Поэтому, если за одним компьютером скрывается два разных человека, ничего страшного, и персонализации это не мешает. Допустим, муж и жена: муж интересуется компьютерами, а жена — рецептами. Соответственно, по самому запросу мы можем понять, о чем спрашивает человек, и использовать только те данные, которые необходимы, чтобы сформировать ему результаты поиска. Конечно же, это не приводит к тому, что по запросу о рецептах мы будем подмешивать вверх какие-то компьютерные сайты. Такого нет и не будет. Безусловно, когда мы формируем результаты поиска, мы опираемся на значение какой-то нашей формулы, учитывающей подобные случаи, поисковые сессии, которые совершали пользователи до вас. И поэтому, естественно, она учитывает тот факт, что за одним компьютером могут скрываться разные люди, и она учитывает текст запроса, контекст. Это значит, что, например, у нас есть муж и жена...
С. И.: ...которые ищут «Титаник», оба.
Д. Р.: Нет. Один — информацию о компьютерах, другая — информацию о рецептах. В какой-то момент жена приходит и спрашивает рецепт блинов, и, допустим, на сайте Habrahabr действительно один программист написал, как он себе готовит блинчики. Насколько это будет полезно жене? Скорее всего, никак. Более того, даже самому программисту это полезно, скорее всего, не будет, потому что рецепты он не ищет.
С. И.: Да, это случайный для него пост.
Д. Р.: Да, это случайный для него пост. Естественно, персонализация — это фактически новый пласт данных, который использует наша формула ранжирования. И это приводит к тому, что таких случаев, когда мы просто подмешиваем результаты с каких-то любимых [пользователем] сайтов из-за того, что там есть слова из текста запроса, не возникает.
С. И.: Хорошо, Денис, тогда рассмотрим обратную ситуацию: тот самый неуловимый пользователь, который пользуется [поиском] у себя дома, в гостях и на работе. Где-то у него достаточно регулярный заход, предположим на работе и дома, где-то спорадически, например в гостях. Как мы вычисляем его и насколько быстро происходит адаптация алгоритма под пользователя?
Д. Р.: Это та проблема, которую нам еще предстоит решить.
С. И.: То есть она все-таки до конца не решена?
Д. Р.: Безусловно. Мы не говорим о том, что мы запустили «Калининград» и больше над персонализацией мы работать не будем. Я думаю, что в следующем году мы еще расскажем о новых интересных свершениях в этом направлении, но прямо сейчас мы осознаем эту проблему, мы знаем, что такие случаи бывают, и мы думаем над их решениями. Потому что, например, один и тот же человек на работе и дома может вести себя по-разному совершенно. Например, на работе он открыл какой-то сайт, и там была фоновая музыка или какая-нибудь реклама, которая «Танки онлайн» показывает. Естественно, все коллеги это услышали, посмеялись, он это закрыл, и больше никогда он на работе подобный сайт не откроет. А дома тот же сайт по тому же запросу он вполне себе может открыть. Это сложный случай персонализации, и мы работаем над тем, как его решить. И я думаю, что решим.
С. И.: Возникает и вопрос о мобильном поиске. Думаете ли вы в этом направлении либо персонализация на десктопах и на мобильных устройствах для вас пока что едина?
Д. Р.: На данный момент едина, но правильный ответ — «Конечно думаем», так как поиск на мобильных устройствах — новый вызов, который брошен поисковым системам, и мы будем его принимать и решать.
С. И.: Денис, естественный вопрос: не планируете ли вы подключать алгоритмы «Калининграда» к «Яндекс.Директу»?
Д. Р.: У нас есть традиционное разделение задач в компании.

«Поиск» и «Директ» не влияют на планы друг друга, так как у нас разные задачи, разные целевые метрики.

Так что мы можем делиться технологиями, какими-нибудь архитектурными решениями по обработке больших объемов данных, но непосредственно на планирование друг друга мы не влияем.
С. И.: Планируете ли вы развивать механику персонализации, еще и распространять ее на другие сервисы: на «Яндекс.Карты», на «Поиск по блогам» и т. д.?
Д. Р.: Некоторые элементы уже присутствуют: например, в поиске по картинкам, по видео, по «Яндекс.Картам» есть элементы наших персонализированных поисковых подсказок, но о наших планах мы традиционно стараемся говорить поменьше. Могу лишь сказать, что, например, сейчас «Калининград» не только в России, но и в СНГ, а кроме того, мы уже тестируем его в Турции. Хотелось бы отдельно рассказать про Турцию. Мы когда-то не могли его там запустить, потому что у нас там не было пользователей, которые регулярно приходили бы на «Яндекс».

Сейчас количество пользователей в Турции, регулярно пользующихся «Яндексом» как основной поисковой системой, уже достаточно для того, чтобы делать для них персонализацию поиска.

С. И.: Обычно, делая запрос, пользователь использует двух-, трех-, четырехсловные запросы? Пишет не просто «ягуар», а, например, «машина ягуар», то есть сам конкретизирует собственный запрос. Нужна ли здесь персонализация, работает ли она на таких запросах?
Д. Р.: А почему мы думаем, что машина «Ягуар» — это обязательно однозначный запрос?
С. И.: На покупку.
Д. Р.: На покупку. У нас может быть покупка, а может быть желание прочитать отзыв. Поэтому нельзя однозначно говорить, какой запрос однозначный — извините за тавтологию, — а какой нет. Потому что для каждого запроса может выясниться, что у пользователя есть несколько намерений. Причем один человек может не знать, что у данного запроса есть еще какой-то другой интент, как мы это называем. Для кого-то «машина ягуар» — это исключительно покупка, и он не думает, зачем кому-то нужны отзывы, а для кого-то это прежде всего интерес.
С. И.: Узнать технические данные или посмотреть картинку.
Д. Р.: Да. Поэтому на самом деле это несколько сложно, и неоднозначных запросов большинство.
С. И.: Ну да, и нет предела конкретизации?
Д. Р.: Верно.
С. И.: Ну что ж, Денис, большое спасибо, что ты нашел время приехать к нам на телеканал и ответить на наши вопросы.
Д. Р.: Спасибо!
С. И.: Я также прощаюсь с вами, уважаемые телезрители. Это была программа «Бизнес online», мы рассказывали о поисковой платформе «Калининград». Всего вам доброго, пока!