Поиск на сайте: тысячи путей в трех соснах

Станислав Жураковский: Здравствуйте, уважаемые телезрители! В эфире программа «Бизнес online» и я, Станислав Жураковский. Сегодня у нас в гостях директор департамента веб-разработки компании Softline Александр Рубанов.

Александр Рубанов, директор департамента веб-разработки компании Softline.
Родился 14 февраля 1981 года в Москве.
В 2002 году окончил Московский физико-технический институт.
Участвовал в создании проектов Allsoft.ru и Soft@Mail.ru.
С июня 2009 года — директор департамента веб-разработки Softline.

С. Ж.: Сегодня мы поговорим о такой теме, которую почему-то принято недооценивать как среди веб-мастеров, так и среди маркетологов. Мы поговорим о поиске по сайту. Александр, привет!
Александр Рубанов: Привет!
С. Ж.: Ты знаешь, достаточно трудно сейчас найти сайт, если они вообще еще остались, у которых поиска нет. И есть такое ощущение, что сделано это, как правило, для галочки. Это либо встроенный поиск в CMS, либо ненастроенный поиск от «Яндекса», либо ненастроенный поиск от Google. Вот скажи, пожалуйста, как вообще это дело происходит и почему нет анализа того, как это делается, почему веб-мастера не настраивают, как правило, поиск?
А. Р.: Ситуация на самом деле объясняется очень просто: обычно люди даже не задумываются, что может им дать поиск как с точки зрения какой-то деятельности маркетологов, достижения цели и покупки каких-то продуктов, так и с точки зрения быстрого поиска доступа к информации и точного доступа к информации. Большинству проектов, в принципе, в Рунете, в мировом интернете как таковой профессиональный поиск, может быть, и не нужен. Очень часто действительно хватает какого-то стандартного функционала, который заложен в те или иные CMS, системы управления, портальные решения, CRM-системы, это может быть все, что угодно. И их функционала хватает для тех бизнес-процессов, которые протекают в компании, либо для той задачи, которая стоит перед сайтом. Профессиональный же поиск нужен только тогда, когда возникают большие объемы данных либо возникают какие-то проблемы с обработкой этих больших объемов данных. Проблема с быстрым доступом к информации, к правильному ее индексированию и т. д., и т. п. Вот тут же люди начинают задумываться, какой продукт им выбрать, куда пойти, что нужно вообще сделать, для того чтобы достичь какого-то результата?
С. Ж.: А скажи, пожалуйста, в чем тогда ключевое отличие поиска по сайту для проектов e-commerce и для контентных, то есть, например, для СМИ?
А. Р.: Если честно, то я бы СМИ и e-commerce скорее объединил. У них есть некоторые отличия. Суть любого e-commerce — продать, сгенерировать лид, совершить продажу.
С. Ж.: Да.
А. Р.: Часто в e-commerce мы сталкиваемся с тем, что при разработке проектов, при внедрении, при написании с нуля каких-то интернет-сайтов поиск недооценен.

По нашей статистике, по опыту работы, часто поиск может генерировать до 70% продаж.

Зависит, конечно, от объема, от номенклатуры, от сложности продуктов, которые пользователь покупает, но тем не менее это очень недооцененный инструмент. Если поиск начинает глючить, если он начинает выдавать недостоверную информацию, неточную, если он не помогает пользователю найти какой-то нужный ему продукт или еще что-то, то пользователь не совершает покупку, конверсии нет, покупки нет, денег нет. Часто внедрение того же поиска может увеличить оборот интернет-магазинов в два раза, у нас были такие примеры.
С. Ж.: Вот, кстати, как отслеживать, какими метриками пользоваться, как вообще увеличивать эту самую эффективность? Ты сейчас говорил именно о росте в два раза, как это достигается?
А. Р.: Это шаги, они звучат очень просто, но за ними некоторая исследовательская, инженерная деятельность лежит, разработческая, ну и денежная, естественно, когда идет речь о покупке лицензии либо «железа». В первую очередь что нам нужно? Нам нужно дать инструмент, который правильно, удобно и быстро индексирует и отдает, возвращает пользователю результат поиска. Большинство систем, которые встроены в системы управления сайтом, именно поисковых систем, при больших объемах данных начинает, так или иначе, тормозить. Это первый минус поиска. Если сайт начинает тормозить, в поиске тормозить, идет отток клиентов из раздела поиска, соответственно, теряются продажи. А чтобы эту ситуация исправить, нужен профессиональный движок, который будет, по крайней мере, работать быстро и правильно, его можно будет настраивать. С другой стороны, этот движок должен быть интегрирован с базой, с различными источниками получения информации, для того чтобы быстро выдавать эту информацию. С третьей стороны, должны быть какие-то словари синонимов, подсказки, настроена предикция, настроено автозаполнение, какие-то элементы поиска, к которым мы часто уже привыкли.
С. Ж.: Морфология та же самая?
А. Р.: Морфология, естественно.
С. Ж.: Вот смотри, получается, изначально мы говорим о том, что надо хотя бы сформировать грамотное ТЗ, что искать и как искать. А вот решили мы этот поиск сделать, вот решили, все, мы внедряем. То, что мы перечислили в начале передачи, встроенные, допустим, в CMS и «Яндекс» и Google. А есть что-то еще? Что-то стороннее, как ты говорил, профессиональные, хорошие такие вещи.
А. Р.: У «Яндекса» и у Google есть поиски, как формочки, там просто встраивается код на сайт, ими можно пользоваться. Я чуть подробнее, может быть, скажу…
С. Ж.: Да-да-да, давай развернем.
А. Р.: У них есть некоторый минус. Он заключается в том, что, как и любой сторонний код на сайте, он замедляет открытие страниц, это всегда плохо с точки зрения SEO и, в принципе, с точки зрения пользовательской, и возникает зависимость от третьих систем, когда открываются страницы какого-то ресурса или сайта. Если мы говорим о корпоративной среде, то поиск часто используется не на сайте, а во внутренних порталах, архивах учреждений, у которых абсолютно закрытая инфраструктура, они никуда вовне не смотрят. Естественно, там вообще нельзя использовать этот код, индексировать содержимое. У них задача прямая — найти решение, которое их удовлетворит. На российском рынке сейчас их, я бы назвал, наверное, три: это Google Search, Microsoft Fast Search и оупенсорсный Sphinx с большой аудиторией, поддержкой, надежностью и т. д., и т. п., то есть продукт развивается, его тоже можно использовать.
С. Ж.: А порядок цены?
А. Р.: Sphinx с точки зрения лицензирования бесплатный, Microsoft Fast Search подразумевает некоторое серверное оборудование, которое требуется для работы серверов и т. д., и т. п. по определенным требованиям, но тут есть нюанс, что сам SharePoint — это не «железная» лицензия, а лицензия на программное обеспечение. Если мы говорим про Google Search, это, вообще говоря, «железка», которая покупается. И у Microsoft, и у Google есть подписки. Google — это несколько более комплексное, сложное решение. И у Microsoft, и у Google очень сложные и разные схемы лицензирования. Я просто не хочу тут соврать, но дело в том, что есть и подписки, есть и академические лицензии, и некоторые типы лицензий предоставляются в рамках дополнительных каких-то соглашений. Это вопрос вообще отдельный.
С. Ж.: А если переходить к поиску, встроенному через CMS, можешь ли ты сказать, у какой CMS наиболее качественный поиск? Есть ли что выделить?
А. Р.: Не хочется обидеть производителей наших CMS, но если мы говорим о промышленных масштабах, то я не хочу упоминать какие-то названия. Но практически со всеми CMS мы сталкиваемся с проблемой производительности при поиске по большим объемам данных.
С. Ж.: А вообще решаема проблема в рамках конкретного поиска от CMS или лучше использовать хороший вариант из тех, например, трех, что ты назвал?
А. Р.: Она, скорее всего, не решаема, потому что эти поиски, так или иначе, используют не принцип индексации, не «железные» какие-то мощности поиска, если мы говорим о Google, а в каком-то смысле они основаны на каких-то обращениях в базу, то есть не без построения дополнительных индексов, без инструментов быстрого доступа к индексированным данным и т. д. Соответственно у нас растет нагрузка, падает производительность вообще серверного оборудования, сайта, портала, и в результате он начинает тормозить, что никому не нужно. И проблему «допиливания» стандартного поиска уже не решить, и возникает необходимость именно какого-то промышленного решения.
С. Ж.: Вот, кстати, если говорить о промышленных решениях, многие веб-мастера считают, что если они будут пользоваться на сайте поиском от Google или от «Яндекса», то Google и «Яндекс» будут собирать данные о поведении пользователей, если это e-commerce, предлагать потом свою рекламу у себя в поиске либо на сторонних сайтах. Насколько вообще оправдана такая паранойя?
А. Р.: Если мы говорим о бесплатных поисках, которые встраиваются на сайт, я думаю, там может быть все, что угодно. Если мы говорим о корпоративных лицензиях, когда человек платит деньги за ту же лицензию Google Search, покупает себе, ставит «железку», она может работать в исключительно закрытой инфраструктуре, соответственно, ни о какой передаче данных куда-то вовне речи быть не может, Google ничего в этом случае не собирает, так же как и другие производители. Можно построить закрытую сеть, поставить Search Server, он будет взаимодействовать с ресурсами, их индексировать, выдавать результаты, но он никуда ничего физически не сможет отдать, и он и не будет это отдавать, потому что у него нет такого функционала.
С. Ж.: А скажи, пожалуйста, если мы говорим о внедрении этого самого корпоративного поиска, была несколько лет назад история, когда неправильно настроенный поиск в «Мегафоне» привел к тому, что тексты SMS, отправленные через сайт, стали доступны в поиске всем сразу. На что обращать внимание веб-мастеру, для того чтобы внедрить этот поиск максимально безопасно? Известно, например, что часто поисковые системы игнорируют тег noindex. Как быть в данном случае?
А. Р.: Исключительно нужна квалифицированная рабочая сила, которая этим занимается. Дело в том, что во внедрении корпоративного, профессионального поиска часто, кроме разработчиков, нужны автоматизаторы, тестировщики, «железячники», администраторы, инженеры, которые занимаются настройкой инфраструктуры и «железа». Потому что сама по себе разработка безопасна, но вопрос, какие руки ее используют и как они интегрируют ее с сайтом или с какой-то существующей информационной системой, сохраняется.

Если система критична к нагрузкам, если к ней предъявляются какие-то требования по безопасности, без тестирования, без нагрузочного тестирования, без автотестов, без прогона каких-то тест-сценариев она не подлежит вводу в эксплуатацию.

Это самый логичный путь, который должен быть. Если же в принципе хочется проверить, насколько это все действительно безопасно, нужны люди-инженеры, которые смогут понять, насколько настроено в первую очередь серверное оборудование, а во вторую очередь — насколько наш портал и поиск устойчивы к различным отказам, к имитации DDoS-атак, что он выдает, выдает ли он то, что нельзя выдавать.
С. Ж.: Ну, та самая история про прокладку между рулем и сидением.
А. Р.: Абсолютно, и никак иначе!
С. Ж.: А в твоей практике бывали исключительно сложные случаи по организации поиска? Какой-то собственный язык запросов, например, сделать, морфологию либо что-то подобное?
А. Р.: Сложный проект — это интеграция поиска в какую-то информационную систему, с которой либо никто еще не интегрировался, либо никто не знает, например, про нее, что это такое. Я немножечко сейчас поясню. Мы внедряли на всех сайтах «Касперского» поиск с морфологией в 60 странах присутствия, и задача на самом деле стояла, кроме внедрения этого поиска, познакомиться с системой, которая внедрена в «Касперского». Эта система иностранная, я не буду называть производителя, но смысл в том, что в России нет ни одного подрядчика, который бы с ней вообще сталкивался и даже слышал порой. Нужно было заложить в проекте время на обучение, время на трехстороннее ознакомление: «Касперский», мы плюс производитель-поставщик этой CMS. И с ними, соответственно, уже найти пути интеграции поискового решения, которое мы выбрали. Вот проекты подобного рода получаются самыми сложными.
С. Ж.: Вот, кстати, о настройке и об оптимизации: как веб-мастеру померить, насколько оптимально у него все настроено, если он сомневается? Например, что-то не нравится. Каким образом он может это измерить?
А. Р.: Я немножко вскользь упоминал нагрузочное тестирование, это вообще великая вещь для любого разработчика. Все это игнорируют, но тем не менее оно может показать очень много интересного — и вообще пределы функционирования сайта, и как проект, сайт ведет себя на высоких нагрузках, как поиск влияет на работоспособность самого сайта и т. д. Второе: как только появляются какие-то провалы в индексации, новые документы не появляются, ссылки на новые товары в поиске не появляются, все это начинает говорить о том, что есть какие-то проблемы с поиском. Либо он начинает тормозить, либо мы понимаем, что периодически страница с поиском открывается несколько секунд. Это прямые наглядные примеры того, что что-то нужно будет делать через какое-то время. Если есть глюки, если есть неточная выдача или вообще какая-то левая информация, либо теги какие-то сыплются тем более, это уже явный признак того, что нужно как-то погрузиться в эту проблему. А других каких-то явных внешних признаков, наверное, и быть не может. С точки зрения инфраструктуры и вообще возможности поиска нужна какая-то инженерная деятельность. Нужны какие-то тестовые сценарии, какие-то придуманные кейсы, по которым нужно прогонять поиск и смотреть, работает он или нет.
С. Ж.: Вот, кстати, по поводу истории твоих заказов, того, что приходилось делать Softline. Интересно узнать, как работалось с такими организациями, как «Единая Россия» и дочерняя структура РЖД. Скажи, пожалуйста, сотрудничество с госорганизациями правда похоже на анекдот или действительно там есть вполне себе нормальная работа, работа как работа?
А. Р.: Я по опыту могу сказать, что с госорганизациями очень много действительно интересной работы, как ни странно, и в том числе с «дочками» РЖД. В принципе, в группе компаний очень много разных проектов, не только по разработке: и различные сервисные услуги, и безопасность, и обучение, и инженерная поддержка, и продажа софта, «железа», — все, что угодно, в том числе услуги разработки. И очень часто проекты действительно востребованы. Если речь идет о поставке «железа», то, естественно, оно нужно под какие-то нужды. Если речь идет о реализации каких-то проектов, то очень часто оказывается, что эти проекты нужны. Примерно половина вообще всех заказов по разработке, если отвлечься от поиска у нас, — это наши госзаказчики, как ни странно. Это открытые публичные конкурсы, в результате которых мы создаем интересные проекты.
С. Ж.: Интересная штука. А можешь назвать несколько самых интересных проектов, связанных с госструктурами, либо вообще какие-то достаточно масштабные? Что запомнилось?
А. Р.: Очень часто у нас бывают проекты с закрытой информацией. Но, пожалуй, я смогу назвать из последних, далеко ходить не нужно. Это проекты этого года: Калужский государственный университет, внешний и внутренний порталы; Минздрав Рязанской области, документооборот между сами Минздравом и всеми лечебно-профилактическими учреждениями Рязанской области, это проект совместно с «Рязань Телекомом» был. Проекты могут быть абсолютно разного масштаба, и абсолютно разные задачи перед департаментом разработки: это могут быть сайты, порталы, документооборот, какие-то CRM-системы, «облачные» решения, доработки, какие-то сложные интеграционные задачи.
С. Ж.: Кстати, если говорить о твоем департаменте, он уже существует десять лет. За это время Рунет, конечно, эволюционировал достаточно значительно. Как эволюционировали вы с точки зрения разработки и ваши заказчики, что происходило? Сейчас заказчик стал более понимающим или все осталось на том же уровне, например?
А. Р.: Нет, заказчик у нас точно становится более понимающим, но наш заказчик, российский по крайней мере, в большей степени это даже касается госзаказчика, отстает от западного года на два-три. Да, технологии меняются, но до нас они доходят, начинают продаваться, продвигаться чуть позже, и еще позже наш заказчик начинает понимать, зачем ему эти технологии нужны, сам либо с помощью продавцов — компаний, которые пытаются эти новые веяния, услуги и продукты привносить на российский рынок. Соответственно, заказчик абсолютно динамичный, и, даже работая по несколько лет подряд с одним и тем же заказчиком, мы наблюдаем, как он растет с точки зрения IT-понимания каких-то процессов, необходимости реализации каких-то IT-проектов, которые потом окупаются.
С. Ж.: То есть видят какую-то отдачу?
А. Р.: Профит есть, конечно.
С. Ж.: Получается, что нужно просто посмотреть то, что сейчас есть на Западе, и оно будет однозначно популярно у нас, можем мы такую параллель провести?
А. Р.: В большей части, так или иначе, да, потому что IT-рынок зависит от вендоров, от производителей, в первую очередь Microsoft, того же Google, Oracle, производителей «железа», Cisco, IBM, НР, и от них вообще, в принципе, вся IT-отрасль зависит. На их решениях IT-проекты будут строиться в будущем, строятся сейчас, или, возможно, возникнут новые вендоры. Есть сейчас очень популярная, одна из ведущих «облачных» CRM-систем Salesforce с различными возможностями интеграции и т. д., и т. п. Мы, кстати, в этом году заключили партнерское соглашение в России и СНГ, начинаем продавать эту услугу.
С. Ж.: Эксклюзивно?
А. Р.: Пока да. Востребованность пока штучная, какие-то проекты уже есть, но о готовности рынка разом принимать то, что уже есть на Западе, нет. Мы где-то немножечко набегаем.
С. Ж.: А можешь что-то еще в веб-разработке обозначить, какую-то тенденцию, кроме традиционных geo, mobile и прочих вещей? Что еще есть, кроме, например, прихода Salesforce?
А. Р.: Понятно, что мобильная разработка, геоинформационные системы у нас сейчас в приоритете, очень большой интерес ко всем «облачным» решениям. Кто-то уже готов начинать работу с ними, переносить свою инфраструктуру в «облако», кто-то готов строить частные «облака», кто-то использует сторонние, но, так или иначе, это действительно очень востребованная тема. Кто-то готов, уже имея какую-то инфраструктуру, сайты, порталы, задумываться о внедрении сложных дорогих информационных систем на базе Oracle или CRM-систем на базе Microsoft. Когда компании переходят на некоторый уровень своего IT-развития, они начинают осознавать, зачем им нужны внедрения той или иной сложной системы, которая может оптимизировать их бизнес-процессы и, соответственно, принести профит, окупиться, по большому счету, либо в явном виде, либо с точки зрения отсутствия издержек. И таких компаний в России все больше, и это явная тенденция.
С. Ж.: А скажи, пожалуйста, для начинающих программистов, какие технологии, платформы и языки нужно сейчас изучать в кратчайшие или не в кратчайшие сроки, чтобы быть востребованным на рынке?
А. Р.: Ничего нового я не скажу. Если мы говорим про языки семейства Perl, PHP, Ruby, Python, то PHP — это 95%. Если мы говорим о решениях Microsoft либо каких-то платформах, связанных с какой-то разработкой под Windows, это исключительно .NET. Очень много разработки на Java, тем более для разработки под какие-то вендорские решения, например для того же Oracle. Но там уже часто нужны действительно фундаментальные знания и большой опыт разработки, чтобы быть хорошим программистом или инженером именно в работе с такими системами.
С. Ж.: Хорошо. Спасибо тебе огромное за интересную беседу! Достаточно много мы осветили, и надеюсь, что мы снова увидим тебя в этой студии.
А. Р.: Спас ибо, с удовольствием приду!
С. Ж.: На этом я прощаюсь с вами, уважаемые телезрители! Оставайтесь с нами, задавайте вопросы, определяйте темы, до встречи!