Как работает поисковик Яндекс — схемы и описания алгоритмов работы
Мы увеличиваем посещаемость и позиции в выдаче. Вы получаете продажи и платите только за реальный результат, только за целевые переходы из поисковых систем
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Подпишись на рассылку и получи книгу в подарок!
Интернет — просто охренеть какая огромная штука. И в нем есть все. Общение с друзьями? Вот, пожалуйста — Facebook. Фотоальбом — в Instagram. Купить дачу? У меня уже есть «Веселый фермер». А энциклопедией давно пользовались? Зачем, ведь есть поисковики, которые знают все. И сегодня мне бы хотелось отдать должное этим чудо-сервисам. А точнее рассказать вам о том, как работает Яндекс поиск.
Помните Гермиону из саги о Гарри Поттере? Как вы думаете: почему она была такой сверхэрудированной всезнайкой? Правильно, потому что постоянно ходила где-то читала про всякие зелья, изучала разные заклинания, допытывалась до учителей по всем непонятным моментам. В общем, делала все, чтобы расширить свою базу знаний. Точно так же работает Яндекс поисковик. Еще до того, как вы задали ему вопрос, он уже кое-что узнал про вашу тему и сохранил себе в копилочку.
Как формируется поисковая база Яндекса
Пауки всемирной паутины
Поисковик Яндекс знает несколько триллионов урлов. И каждый день он изучает по паре миллиардов из них. Делают это специальные роботы-пауки, краулеры. Они заходят на страницу, анализируют содержимое, делают копию и отправляют на сервер. А затем уходят по ссылкам на другие страницы. Так происходит знакомство поисковика с сайтом. Далее следует этап индексикации.
Если произвести нехитрые математические расчеты, то можно выявить, что пауки Яндекса обойдут все известные страницы приблизительно за 2 года. Но это будет неверно, так как количество урлов постоянно увеличивается
=> работа по созданию поисковой базы бесконечна.
Индексикация
Определение индекса сайта — это процесс добавления всей важной информации о странице в базу поисковика. То есть определяется язык, формируются данные об отдельных словах и вытаскиваются все ссылки исходящие на другие страницы. Кроме того у Yandex есть специальный инструмент, который называется логи Яндекса. Он изучает, как пользователь ведет себя в выдаче: на что кликает, а на что не кликает. Опираясь на все полученные параметры и задается поисковый индекс сайта.
Логи Яндекса широко применяются не только при индексикации, но и при ранжировании.
Составление поисковой базы
Поисковые индексы, полученные в ходе предыдущего этапа, отправляются в поисковую базу. У Яндекс поиска она функционирует на программной платформе мапредьюс YT. Здесь данные превращаются файлы и «остаются жить».
Суммарный объем данных YT приблизительно 50 петабайт = 51 200ТБ.
У поисковой базы данных есть еженедельное обновление — апдейт. Это тот момент, когда поисковый робот Яндекса, накачав определенное количество файлов и рассчитав для них все необходимые характеристики, принимает решение, что можно добавить эту информацию в поиск.
Согласно статистическим данным Игоря Ашманова — специалиста по поисковым системам в интернете, полнота поисковой базы у Яндекса (красные на графике) в несколько раз выше, чем у их ближайшего конкурента Google (черные).
Пока индекс — времязатратный и протекает комплексно сразу для большого количества данных. Поэтому у Яндекса есть специальный быстрый контур, который может добавлять и доносить до пользователя отдельные, срочные файлы. Ну, например, новости в реальном времени.
Как работает сам Яндекс поиск
Любой запрос в поисковой системе Яндекс проходит по следующей схеме.
Балансеры — это машины, которые агрегируют выдачу.
Построение выдачи формируется из результатов трех средних метапоисков. Поясню, что это значит. В выдаче вы видите результаты запроса по страницам, картинкам и видео. Происходит это потому, что ваш запрос проходит по трем разным индексам. И по ним он спускается в самую-самую глубь поисковой базы, разделенную на несколько тысяч кусков. Этот процесс обозначается, как поисковая кластеризация.
Работа поискового кластера состоит из функционирования более миллиона экземпляров различных программ. Они выполняют всяческого рода задачи, у них разные системные требования и всем им нужно где-то «жить». Поэтому поисковая кластеризация занимает еще и огроменное количество компьютерного железного хостинга.
Для хранения и передачи всех программ и данных к ним Яндекс использует внутренний торрент-трекер. Число раздач на нем больше, чем на крупнейшем в мире пиратском трекере The Pirate Bay.
Вернемся к результатам выдачи.
В поисковую выдачу попадают наиболее релевантные, соответствующие поисковому запросу документы. Дальше происходит ранжирование — упорядочивание результатов поиска. Проходит оно с помощью специальной формулы. Чтобы порядок результатов каждый раз был качественным, актуальным и максимально релевантным разработчики Яндекса придумали одну очень крутую штуку.
Матрикснет — метод машинного обучения, с помощью которого строится формула ранжирования Яндекс. Он постоянно модернизирует эту схему: выстраивает комбинации, добавляет и убирает факторы, выставляет коэффициенты. Другая важная характеристика этого метода — возможность индивидуальной настройки формулы ранжирования для узкопрофильных категорий запросов. То есть для отдельных запросов, например, про кино или компьютерные игры, можно улучшить качество поиска. При этом ранжирование по остальным классам запросов не ухудшится.
Первая формула ранжирования Яндекса составляла примерно 10 байт. На сегодняшний момент — около 100 мегабайт.
Задача поисковика не просто находить иголки в сеновалах, но и определять самые острые из них. И самое удивительное то, как работает Яндекс поиск. Результат выдается за доли секунд. Десять первых наиболее релевантных запросов — как правило, это все, что нужно пользователю. Если в этих запросах мы не находим то, что искали, то мы пробуем или другой запрос, или меняем поисковик. Но рано или поздно: «Найдется все!»
Скриншоты взяты из лекции Петра Попова.
icon by Arthur Shlain
Как это работает? Персональный поиск — Блог Яндекса
Подсказки
Выбирая для человека подсказки, Яндекс пытается предугадать его следующие запросы. При этом поисковая система опирается на вопросы людей с похожим поисковым поведением. Для этого было выделено 400 000 групп пользователей, интересы которых более-менее сходны. Разумеется, человек не зачисляется ни в одну из этих групп навсегда. По мере изменения интересов он переходит из одной группы в другую.
Практика показывает, что примерно четверть своих запросов пользователи задают повторно и часто кликают по одним и тем же результатам. Таким образом они переходят к любимым сайтам и документам. Чтобы облегчить им эту задачу, Яндекс добавляет в подсказки недавние запросы человека и его любимые сайты. Разумеется, при вводе запроса на соответствующие буквы. Например, если вчера пользователь спрашивал про [обои для гостиной], сегодня Яндекс сам предложит ему этот запрос в подсказках. А завсегдатаю ВКонтакте покажет ссылку на его любимую сеть — стоит только начать вводить ее название в поисковой строке.
Отбирая персональные подсказки, Яндекс учитывает также, какие запросы характерны для одной поисковой сессии. Например, если человек только что спрашивал [назад в будущее], и следующий его запрос начинается на «к», [кристофер ллойд] будет более полезен в подсказках, чем другие запросы на эту букву.
Персональные ответы
Мало помочь человеку задать вопрос, нужно еще подобрать ему наилучший ответ. Для этого используется специальная формула ранжирования. Она подстраивается под каждого пользователя с учетом его интересов и языковых предпочтений. С помощью персональной формулы Яндекс определяет, насколько каждый из найденных по запросу документов подходит конкретному человеку. Все документы получают свою оценку и располагаются в результатах поиска в соответствующем порядке. Получается, что по одному и тому же запросу два разных человека видят разные ответы. Например, вот как различаются подсказки и результаты поиска для людей с разной поисковой историей:
Формула ранжирования учитывает как постоянные (долгосрочные и среднесрочные), так и сиюминутные интересы человека. Все они в разной мере влияют на качество ответа на вопрос. Так, постоянные интересы отражают языковые предпочтения пользователя, его привычки и близкие ему темы. А сиюминутные — показывают, что важно человеку прямо сейчас. Например, пользователь, который обычно спрашивает про кино и музыку, может неожиданно заинтересоваться компьютерными играми, а потом надолго о них забыть. Таких интересов, которые быстро возникают и так же быстро сходят на нет, больше половины.Чтобы быть в курсе постоянных интересов пользователя, Яндекс анализирует его поисковую историю за последние два месяца и за неделю. А чтобы следить за сиюминутными интересами – обрабатывает данные поисковых сессий в режиме реального времени. Это позволяет понять, что важно человеку прямо сейчас, и подстроиться под его интересы. Скажем , если в поисковой сессии любителя литературы вместе с названием произведения встретилось слово [афиша], возможно, что в данный момент человека интересует экранизация. Вот как различаются результаты поиска с учетом и без учета сиюминутных интересов пользователя:
Чтобы мгновенно реагировать на изменения в поисковом поведении людей, Яндекс создал систему обработки данных в режиме реального времени. Она обрабатывает более 10 терабайт данных в сутки, постоянно корректируя свои знания о потребностях пользователей. Благодаря этой системе запросы и клики, которые человек сделал только что, начинают влиять на результаты поиска уже через несколько секунд.По умолчанию персональный поиск работает для всех пользователей поиска. И чем больше запросов задает человек, тем лучше поиск его понимает. Впрочем, каждый пользователь может сам решать, нужны ему ответы с учетом интересов или нет. Персональный поиск можно в любой момент включить или отключить в настройках сервиса.
yandex.ru
Компания Яндекс — Принципы — Принципы ранжирования поиска Яндекса
Интернет состоит из миллионов сайтов и содержит экзабайты информации. Чтобы люди могли узнать о существовании этой информации и воспользоваться ей, существуют поисковые системы. Они реализуют право человека на доступ к информации — любой информации, которая нужна в данный момент. Поисковая система — это техническое средство, с помощью которого пользователь интернета может найти данные, уже размещенные в сети.
Пользователи ищут в интернете самые разные вещи — от научных работ до эротического контента. Мы считаем, что поисковая система в каждом случае должна показывать подходящие страницы — от статей по определенной теме до сайтов для взрослых. При этом она просто находит ту информацию, которая уже есть в интернете и открыта для всех.
Яндекс не является цензором и не отвечает за содержание других сайтов, которые попадают в поисковый индекс. Об этом было написано в одном из первых документов компании «Лицензия на использование поисковой системы Яндекса», созданном еще в 1997 году, в момент старта www.yandex.ru: «Яндекс индексирует сайты, созданные независимыми людьми и организациями. Мы не отвечаем за качество и содержание страниц, которые вы можете найти при помощи нашей поисковой машины. Нам тоже многое не нравится, однако Яндекс — зеркало Рунета, а не цензор».Информация, которая удаляется из интернета, удаляется и из поискового индекса. Поисковые роботы регулярно обходят уже проиндексированные сайты. Когда они обнаруживают, что какая-то страница больше не существует или закрыта для индексирования, она удаляется и из поиска. Для ускорения этого процесса можно воспользоваться формой «Удалить URL».В ответ на запрос, который пользователь ввел в поисковой строке, поисковая система показывает ссылки на известные ей страницы, в тексте которых (а также в метатегах или в ссылках на эти сайты) содержатся слова из запроса. В большинстве случаев таких страниц очень много — настолько, что пользователь не сможет просмотреть их все. Поэтому важно не просто найти их, но и упорядочить таким образом, чтобы сверху оказались те, которые лучше всего подходят для ответа на заданный запрос — то есть, наиболее релевантные запросу. Релевантность — это наилучшее соответствие интересам пользователей, ищущих информацию. Релевантность найденных страниц заданному запросу Яндекс определяет полностью автоматически — с помощью сложных формул, учитывающих тысячи свойств запроса и документа. Процесс упорядочивания найденных результатов по их релевантности называется ранжированием. Именно от ранжирования зависит качество поиска — то, насколько поисковая система умеет показать пользователю нужный и ожидаемый результат. Формулы ранжирования строятся также автоматически — с помощью машинного обучения — и постоянно совершенствуются.
Качество поиска — это самый важный аспект для любой поисковой системы. Если она будет плохо искать, люди просто перестанут ей пользоваться.
Поэтому мы не продаем места в результатах поиска.
Поэтому на результаты поиска никак не влияют политические, религиозные и любые другие взгляды сотрудников компании.
Пользователи просматривают страницу результатов поиска сверху вниз. Поэтому Яндекс показывает сверху, среди первых результатов, те документы, которые содержат наиболее подходящие пользователю ответы — то есть наиболее релевантные заданному запросу. Из всех возможных релевантных документов Яндекс всегда старается выбрать наилучший вариант.
С этим принципом связано несколько правил, которые Яндекс применяет к некоторым типам сайтов. Все эти правила работают полностью автоматически, их выполняют алгоритмы, а не люди.
1. Существуют страницы, которые явно ухудшают качество поиска. Они специально созданы с целью обмануть поисковую систему. Для этого, например, на странице размещают невидимый или бессмысленный текст. Или создают дорвеи — промежуточные страницы, которые перенаправляют посетителей на сторонние сайты. Некоторые сайты умеют замещать страницу, с которой перешел пользователь, на какую-нибудь другую. То есть когда пользователь переходит на такой сайт по ссылке из результатов поиска, а потом хочет снова вернуться к ним и посмотреть другие результаты, он видит какой-то другой ресурс.
Такие ресурсы не представляют интереса для пользователей и вводят их в заблуждение — и, соответственно, ухудшают качество поиска. Яндекс автоматически исключает их из поиска или понижает в ранжировании.
2. Бывает, что в том или ином документе есть полезная информация, но воспринимать ее сложно. Например, есть сайты, которые содержат popunder-баннеры (они перемещаются по экрану вслед за прокруткой страницы и закрывают ее содержание, а при попытке закрытия такого баннера открывается новое окно) и clickunder-рекламу (она неожиданно для пользователя открывает рекламную страницу при любом клике по сайту, в том числе — по ссылкам). С нашей точки зрения, оба этих вида рекламы мешают навигации по сайту и нормальному восприятию информации. Поэтому сайты с такой рекламой располагаются в поисковой выдаче ниже, чем сайты, на которых пользователь может найти ответ на свой вопрос без лишних проблем.
3. По запросам, которые не подразумевают явно потребность в эротическом контенте, Яндекс ранжирует сайты для взрослых ниже или вообще не показывает их в результатах поиска. Дело в том, что ресурсы с эротическим контентом часто используют достаточно агрессивные методы продвижения — в частности, они могут появляться в результатах поиска по самым разнообразным запросам. С точки зрения пользователя, который не искал эротики и порнографии, «взрослые» результаты поиска нерелевантны, и, к тому же, могут шокировать. Более подробно об этом принципе можно почитать здесь.4. Яндекс проверяет индексируемые веб-страницы на наличие вирусов. Если обнаружилось, что сайт заражен, в результатах поиска рядом с ним появляется предупреждающая пометка. При этом зараженные сайты не исключаются из поиска и не понижаются в результатах поиска — может быть, на таком ресурсе находится нужный пользователю ответ, и он все равно захочет туда перейти. Однако Яндекс считает важным предупредить его о возможном риске.
Основная метрика качества поиска Яндекса — это то, насколько пользователю пригодились найденные результаты. Иногда по запросам пользователей невозможно определить, какой ответ ему подойдет. Например, человек, задавший запрос [пушкин], возможно, ищет информацию о поэте, а возможно — о городе. Точно так же человек, который набрал запрос [iphone 4], может быть, хочет почитать отзывы и ищет форумы, а может быть, хочет купить и ищет магазины. Среди первых результатов поиска должны найтись ответы для всех случаев. Поэтому Яндекс старается сделать страницу результатов поиска разнообразной. Поиск Яндекса умеет определять многозначные запросы и показывает разнообразные ответы. Для этого используется технология «Спектр».yandex.ru
Работа в Яндексе
Во многих компаниях есть свои принципы и ценности — записанные в виде свода строгих правил или вообще несформулированные. Из них и складывается то, что называют «атмосферой», то, что отличает одну компанию от другой. У нас тоже это есть — ценности, атмосфера и всё остальное. Описать их подробно и точно вряд ли возможно, но остановиться на нескольких важных моментах — вполне.
Для нас очень важна свобода. У нас принято честно и откровенно высказывать свое мнение — на любую тему. Общаться друг с другом на равных — без оглядки на должности и медали. Обсуждать все решения с коллегами. Интересоваться не только своими задачами. В такой обстановке плохо получается приказывать и командовать, возможно только договариваться и обосновывать свою точку зрения. Иногда в некоторых местах Яндекса свобода приближается к хаосу, однако мы стараемся не переходить грань.
Мы серьёзно относимся к знаниям и умениям. Можно заниматься чем угодно — от разработки поисковой системы до организации конференций, но быть в своей области профессионалом. Одновременно с этим нам важно не отливать свой профессионализм в бронзе, а понимать, что всегда и всем есть куда расти и чему учиться.
Многие сервисы Яндекса созданы для того, чтобы делать окружающую среду более дружелюбной и удобной для людей. Стремление менять мир к лучшему часто определяет не только работу, но и подход к жизни вообще. У нас принято внимательно смотреть по сторонам и думать о том, что ещё стоит сделать. Это может быть немного утомительным, однако часто помогает достичь результата.
Как и в любой большой компании, у нас работают самые разные люди — с разными взглядами и специальностями, полом и возрастом, воспитанием и образованием, опытом и привычками. Все они делают Яндекс. Мы просто не смогли бы существовать, если бы не относились друг к другу с уважением и не ценили вклад каждого.
Гибкий график Офисы Яндекса работают круглосуточно, и у многих сотрудников нет жёсткого графика — можно приходить, когда удобно, главное, чтобы задачи выполнялись в срок и можно было иногда пообщаться с коллегами. Работа не заканчивается по звонку. Отделы с фиксированным графиком тоже есть — например, по работе с партнёрами или дежурные инженеры в дата-центрах. | |
Забота о здоровье Сотрудникам предоставляется медицинская страховка. В больших офисах есть медицинский кабинет с дежурным врачом и тренажёрные залы. | |
Обучение За счёт компании можно проходить обучение и участвовать в разнообразных семинарах и конференциях — особенно в тех, которые полезны для работы. | |
Библиотека и рабочие материалы В Яндексе есть библиотеки — как электронных, так и печатных книг. Нужные для работы материалы может приобрести любой сотрудник — тоже за счёт компании. | |
Расходы на питание Каждый месяц сотрудникам выделяется определённая сумма, которую можно потратить в столовой офиса или в ближайших кафе. Кроме того, на небольших кухнях, которые есть на каждом этаже, ежедневно доступны фрукты, овощи, печенья, сладости, чай, кофе и пр. |
yandex.ru
Работа в Яндексе
1
Как на него попасть
Почти у каждой вакансии Яндекса есть тестовое задание — с него-то всё и начинается. Ответьте на вопросы на странице вакансии и отправляйте заявку. Если вы успешно справились с тестом и заинтересовали службу найма, то получите приглашение на встречу — обычно в течение недели. Дополнительные звонки, письма или повторные заявки процесс не ускоряют.
Резюме
Подойдёт в любой форме, а для дизайнеров и разработчиков его заменит портфолио или ссылка на репозиторий. Хорошо сопроводить резюме вольным рассказом о том, почему вас стоит взять на работу. Будьте готовы вкратце пересказать ключевые факты на собеседовании — умение представить себя интересует не меньше биографии.
Сколько будет встреч
Чаще всего проводятся четыре собеседования. В некоторых случаях в зависимости от профессии кандидата решение о найме может быть принято по итогам двух встреч. На особо ответственные должности количество интервью может быть увеличено до пяти-шести.
2
Как оно проходит
Обычно встреча длится час или два. Вам предложат чай-кофе, воду и печеньки. Собеседование с претендентами на вакансию разработчика состоит из серии коротких встреч с разными экспертами. Рекрутер обязательно расскажет вам все подробности.Подробности для технических вакансий
Подробности для дизайнеров
Кто будет на собеседовании
Сотрудник отдела найма и ваш потенциальный руководитель. Если вы подходите на несколько ролей или претендуете на важную должность, к встрече могут присоединиться и другие эксперты.
Чего ожидать
Некоторые вопросы или задачки могут не касаться вакансии напрямую — так проверяется способность рассуждать в неизвестной ситуации. Также будьте готовы начертить схему маркером на стене или написать код на бумаге, без компьютера.
3
Что будет после
Между встречами и особенно после финального собеседования иногда наступает длинная пауза. Пожалуйста, наберитесь терпения. Если рекрутер не ответил на звонок или письмо — это не значит, что вы не справились. В это время служба найма может общаться с другими кандидатами, а итоговое тестовое задание часто проверяют много людей.
В случае успеха
Рекрутер сразу свяжется с вами и озвучит предложение Яндекса. В первый день в офисе вас встретят, помогут оформить документы в отделе кадров, получить оборудование и освоиться на рабочем месте.
Если отказали
Поищите другие вакансии — если вы не прошли тестовое задание или собеседование, ничто не мешает попробовать себя в другой роли. Или повторить заявку через какое-то время, когда наберётесь знаний и опыта.
yandex.ru
Как работают поисковые системы Яндекс и Google?
Продвижение сайта своими руками является одновременно простой и сложной задачей. Для человека опытного в этой теме раскрутка представляет собой набор простых и четких шагов, сводящихся, в большей степени, к механических действиям. Но для новичка, который только вчера узнал слово SEO и еще не разобрался в его значении, «победить» поисковые системы и конкурентов практически нереально.
Прежде чем приступить к продвижению, необходимо понять, как работают поисковые системы Яндекс и Google. Можете считать эту статью вводной для моего курса по продвижению сайтов “Бесплатный трафик с Поисковиков”, поэтому рекомендую дочитать ее до конца, прежде чем начнете его изучать.
Задача поисковых систем
Интернет непрерывно растет и развивается, вместе с ним эволюционируют и поисковики интернета, но их главная задача остается неизменной – они должны помочь пользователю найти самый лучший ответ на запрос, который он ввел в поле для поиска. Чем более качественные результаты в выдаче показывает поисковик, тем больше ему доверяют люди. Чем больше людей ему доверяют, тем больше денег он может заработать на контекстной рекламе, но это я уже пошел в сторону…
Поисковые системы постоянно анализируют терабайты информации, размещенной на миллионах web страниц, стараясь при этом определить какие сайты заслуживают попадания в ТОП выдачи, а какие являются лучшими кандидатами для попадания в бан.
Как действует поисковая система?
Поисковик – это набор сложных программ и баз данных, которые действуют по определенному алгоритму. Упрощенно, этот алгоритм можно разбить на 3 этапа.
Этап 1. Поиск новых страниц
Вопреки заблуждению многих чайников, поисковые системы выдают информацию не о страницах, находящихся в интернете, а о страницах, находящихся в базе данных поисковой машины. То есть, если сайт неизвестен Яндексу или Goоgle, то и в выдаче он не появится.
Задача поисковика на этом этапе заключается в поиске всех возможных адресов страниц в интернете. Выполняет эту работу так называемый робот «паук». Интернет это ссылки, ссылки и еще раз ссылки и этот «паук» просто переходит по всевозможным ссылкам, записывая в свою базу адреса всех найденных страниц.
Попал на главную страницу сайта, на ней нашел ссылки на страницы рубрик, на страницах рубрик нашел ссылки на страницы со статьями, карточками товаров, ссылки на файлы или другой информацией. На каких-то из посещенных страниц одного сайта, он нашел ссылки на другие сайты – поисковая система переходит по ним и сканирует все, что нашла там.
Прекрасно помогают роботам для ориентирования файлы Robots.txt и карты сайта Sitemap.xml, их надо обязательно сделать, особенно, если сайт имеет много страниц. Тут смотрите, как правильно сделать Robots для WordPress, а про настройку Sitemap расскажу чуть позже.
Задача робота создать адресный справочник по типу – Город, Улица, Дом, Квартира.
Если ваш сайт долгое время не появляется в поисковиках, возможно, его не может найти робот, в этом случае вам поможет моя статья о том, как ускорить индексацию страниц сайта.
Этап 2. Индексация
Как я уже написал выше – в поисковую выдачу попадает информация не с сайтов, находящихся в интернете, а информация из базы данных поисковой системы. И следующая программка поисковика как раз занимается добавлением информации в базу. Она путешествует по всем известным адресам сайтов и страниц, копируя их содержимое на склады поисковой системы.
Называется этот процесс индексация – попадание информации в индекс поисковой системы.
Первый и второй процессы протекают непрерывно и, зачастую, одновременно. Постоянно пополняется база адресов страниц и база информации с этих страниц.
Кстати, в процессе индексации поисковые системы оценивают качество страниц, и информация некоторых из них не попадает в индекс. Как бы поисковик знает об их существовании, но по каким-то причинам считает их бесполезными для пользователя, поэтому не добавляет в выдачу – зачастую это не уникальный контент или служебные страницы. Как проверить тексты на уникальность онлайн смотрите тут.
Этап 3. Определение релевантности и ранжирование
Если то, что мы обсудили в предыдущих пунктах, работает непрерывно и независимо от внешних факторов (действий человека), то третий этап в алгоритме работы поисковых систем начинает действовать только под воздействием человека.
Когда в поисковике задается запрос, система начинает искать на него ответ в наполненной базе знаний по критериям, заданным человеком в этом запросе (как узнать самые популярные запросы в Яндексе).
Сначала, система делает выборку, определяя все релевантные запросу страницы из известных (Релевантные – значит соответствующие, подходящие. Как проверить релевантность страниц сайта я писал тут). Например, для запроса «купить холодильник Норд» релевантными будут страницы содержащие слова «купить», «холодильник», «Норд». Все страницы, содержащие одно или несколько из этих слов, попадут в выдачу поисковой системы.
Следующая задача поисковика, определить в какой последовательности пользователь увидит все эти страницы – их необходимо ранжировать. Факторов, которые будут влиять на порядок выдачи много, но есл
biznessystem.ru
Работа в Яндексе
Илья Малявин
Москва
Лето 2016
Я начал задумываться о том, как мне попасть в Яндекс, еще за год до стажировки — после того, как друг, который давно работает в компании, устроил мне небольшую экскурсию по офису во время моего визита в Москву. Мне всегда нравилась веб-разработка, и я решил попробовать себя как разработчик интерфейсов во время следующей летней стажировки. Это был идеальный вариант: после проверки моих знаний все хлопоты насчет проживания и трансфера компания взяла на себя. Меня очень порадовало, что меня взяли именно в команду Маркета: особенно приятно работать над сервисом, которым каждый день пользуются миллионы людей. Стажировка дала мне неоценимый опыт — и в том, что касается разработки, и в плане работы в команде. Неудивительно, что всё это вкупе с особой свободной атмосферой работы привело меня к решению остаться работать в Маркете.
Шынгыс Жиенбек
Москва
Лето 2016
Это лето получилось веселым и очень полезным для меня из-за стажировки в Яндексе. Я обрел много опыта в таких областях, как машинное обучение и параллельное программирование, научился кодить на питоне и баше, а также подкрепил знания в  С++. Еще более замечательным было увидеть, как Яндекс устроен изнутри, познакомиться с внутренними сервисами компании и методами разработки. У меня была отличная команда (группа генерации индекса видеопоиска), которая помогала мне в случае возникновения вопросов. Я бы хотел выделить своего ментора Григория Матвеева (руководителя нашей бригады): он был готов в любое время помочь мне и спокойно объяснял нужные вещи, даже когда я тупил. Со стороны досуга: я впервые посетил Москву и Россию вообще, обрел много новых друзей и гулял каждую неделю. Затраты были минимальные, так как Яндекс оплачивал перелет в обе стороны, проживание, питание в офисе, и еще платил неплохую зарплату! В заключение хочу сказать спасибо HR-департаменту за организацию и помощь в ознакомлении с Яндексом!
Карим Искаков
Москва
Лето 2016
Привет, меня зовут Карим. Я стажируюсь в команде Яндекс.Погоды, занимаюсь тут машинным обучением, и это мое лучшее лето. Казалось бы, как оно может быть лучшим? Я же работаю!.. не отдыхаю где-то на морях, не путешествую по миру (как все эти люди из ленты в Инстаграме). Ответ простой, и он состоит из 3 пунктов. Интересные задачи. Это счастье — приходить на работу и знать, что ты сейчас будешь делать что-то, что тебе интересно. Люди. Не знаю, как в других отделах Яндекса, команда Яндекс.Погоды — это очень дружный и веселый коллектив. Очень приятно работать среди таких людей. Яндекс-комьюнити. Здесь очень много умных и интересных людей. Если тебе нужна помощь с каким-то вопросом, тебе обязательно помогут. В голове последние несколько дней крутится фраза, которая хорошо описывает Яндекс: «Как бы парадоксально это не звучало, но Яндекс начинается не с «Я», а с «МЫ».
Ирина Книжник
Москва
Лето 2016
Когда я ездила на сборы по программированию в МФТИ, в один из выходных дней у нас была экскурсия в Яндекс. Думаю, каждый побывавший там согласится, что это офис мечты. Тогда казалось практически невозможным, что я могу работать там. В то же время шел прием заявок на стажировку. Я выполнила тестовое задание и прошла несколько собеседований. И вот, в июле, когда казалось, что уже нет шансов попасть на летнюю стажировку, мне написали из HR с вопросом, когда я смогу приступить к работе. В Яндексе я работала в группе разработки «блендера» — он занимается подмешиванием колдунщиков (картинок, видео, карт и пр.) в органическую выдачу. Если конкретнее, я работала над различными метриками для контроля качества поиска. Я узнала много интересных вещей по специальности, научилась работать с огромным количеством людей в большой компании и приобрела новых друзей. И, думаю, самое важное, что я получила, — это понимание того, где и кем я хочу быть в будущем. Яндекс — это удивительная команда.
yandex.ru