| Travel_man 23.02.2015 |
| Smart 24.02.2015 |
| Олег 27.02.2015 |
Компания «Яндекс» поделилась с читателями своего официального блога подробностями о работе поиске писем в «Яндекс.Почте». Как рассказали разработчики сервиса, всего в индексе «Яндекс.Почты» хранится порядка десяти миллиардов сообщений, что почти равно количеству страниц в индексе веб-поиска. И хотя число поисковых запросов к почтовой системе в тысячу раз меньше, чем к «большому» поисковику, их обработка из-за огромной важности полноты результатов тоже требует немалых ресурсов. Одно дело, когда поисковик не найдет один-единственный сайт из нескольких миллионов по запросу «пластиковые стулья», и совсем другое, когда потеряется письмо с важным паролем или адресом, – поясняется в блоге компании.
Для обеспечения максимальной полноты результатов компания «Яндекс» хранит весь поисковый индекс каждого пользователя «Яндекс.Почты» на одном сервере и полностью дублирует его на другом. В штатном режиме все запросы поровну делятся между двумя серверами, что обеспечивает высокую скорость работы поиска, а при отказе одного из серверов у системы всегда есть возможность найти нужную информацию на дублирующем. Всего же на каждом сервере хранится индекс по письмам около пяти миллионов пользователей.
Добиться быстрой работы поиска непросто. Существует несколько вариантов организации индекса, однако далеко не все они обеспечивают приемлемое время обработки запросов в десятые доли секунды. Достичь нужного результата разработчикам «Яндекс.Почты» позволило применение шардирования по пользователям: «Все индексы на сервере были разделены на 1000 сегментов (шардов). В каждом из них – от пяти до двадцати индексов размером до 1 Гб, и данные конкретного пользователя всегда находятся в определённом сегменте. В результате число дисковых операций было снижено до 20 раз по сравнению со вторым вариантом (префиксным индексом, – прим. loderz1.ru). Скорость поиска также увеличилась в разы. Так мы получили поиск за доли секунд».
Кроме того, высокую скорость индексирования обеспечивает онлайн-индексация, при которой поступающие письма попадают в инкрементальный индекс в памяти. Благодаря этому методу поступающие письма появляются в результатах поиска практически мгновенно.
Как известно Яндекс призывает вебмастеров создавать качественные сайты для людей, но при этом за частую его сервисы сами дают сбои ...
Подробнее читайте в блоге БЛОGГЕР>>>