Category Archives: ya.ru:text

Наверняка каждый, кто хотел снять или купить квартиру и искал предложения в интернете, сталкивался с огромным количеством некачественных объявлений. Самая частая проблема: «Квартира уже ушла, но могу предложить вам практически такую же». При этом квартиры, описанной в объявлении, могло вообще не существовать, а «практически такая же» — хуже, дальше и дороже. Очевидно, что людям важно, чтобы нужным им параметрам соответствовали не только объявления, но и сама недвижимость.

Сегодня мы запустили сервис для поиска жилья — Яндекс.Недвижимость. Специально для него мы придумали алгоритмы, которые определяют качество объявлений — то есть, можно ли им доверять. Объявления, которые могут вводить пользователей в заблуждение, с сервиса убираются.

Алгоритмы Яндекс.Недвижимости учитывают множество факторов. В том числе:

Актуальность объявления
По статистике, квартира продается и сдаётся через вполне определённый срок после подачи объявления. Алгоритм Яндекс.Недвижимости умеет вычислять эти сроки, в том числе, учитывая обновления объявления. Устаревающие предложения убираются из результатов поиска.

Соответствие цены расположению
Цена квартиры зависит от её местоположения в городе — какие-то районы дороже, какие-то дешевле. Мы группируем предложения по местоположению, исходя из географии городов. При этом учитывается, например, в каком административном округе находится квартира, в центре или на окраине, насколько близко она к метро. Для каждой такой группы вычисляется средний разброс цен за квартиры разной площади — отдельно для продажи, отдельно для аренды. Если цена в объявлении меньше минимальной границы этого промежутка, скорее всего, данные в нём не соответствуют действительности. Например, очень дешевая однокомнатная квартира может на самом деле оказаться комнатой в коммуналке. Также отсеиваются объявления с опечатками, например, со стоимостью аренды в несколько миллиардов рублей.

Группировка дубликатов
Чтобы повысить вероятность звонка от потенциального клиента, агенты по недвижимости часто размещают на сайте не одно, а несколько объявлений. Например, указывают разные станции метро или немного разные цены. Предлагать одну и ту же жилплощадь могут и несколько агентов сразу. Найти одинаковые объявления легко по их параметрам — адрес дома, этаж и площадь квартиры. Такие объявления мы объединяем в одно.

В результате Яндекс.Недвижимость отсеивает до 30% объявлений. Зато мы можем быть уверены, что большинству оставшихся предложений можно верить.

Фильтрацией некачественных предложений работа над объявлениями не ограничивается. Например, мы используем на Яндекс.Недвижимости данные сервиса Яндекс.Карты. В объявления, в которых не хватает географических данных, мы их добавляем. Например, район города, станцию метро (если она есть), ж/д станцию (если недвижимость загородом), шоссе (для поиска по Московской области). Кроме того, Яндекс.Карты помогают корректировать информацию о том, сколько нужно добираться до ближайшего метро. Например, в объявлении указано, что до метро идти пять минут, а судя по данным с Яндекс.Карт — все двадцать. В объявлении на Яндекс.Недвижимости будет указано честное время. Если же пользователь указал, что идти дольше, чем посчитала машина, то мы верим данным пользователя.

Когда пользователь выбирает нужные ему параметры на Яндекс.Недвижимости, сервис показывает все объявления, которые им соответствуют, и ранжирует их. Ранжирование основывается на многих факторах. Например, в списке предложений аренды выше окажутся более свежие объявления с полными описаниями и небольшой ценой (но не самой маленькой — люди чаще ищут квартиры средней стоимости). Также учитывается, например, этаж, на котором квартира расположена (обычно все хотят не на первом и не последнем этаже) и расстояние до метро (лучше поближе). Формула ранжирования результатов поиска Яндекс.Недвижимости создаётся с помощью машинного обучения.

О Яндекс.Недвижимости мы можем разговаривать часами. Но, как говорится, лучше один раз увидеть. Поэтому — добро пожаловать на realty.yandex.ru.

С уважением,
Команда Яндекс.Недвижимости

Continue reading →

Идеология разработки с открытыми исходниками предполагает также и открытый процесс разработки. Следуя этому духу мы сегодня решили открыто исправить серьёзный баг, которому в той или иной степени подвержены почти все open source проекты Яндекса.

» PIRE https://github.com/dprokoptsev/pire

Perl Incompatible Regular Expressions library родилась в недрах разработки поискового робота, где специфика задач позволяет отказаться от поддержки эзотерических возможностей стандартных перловых регулярок, и за счёт этого существенно повысить скорость обработки. В поисковом роботе не бывает, чтобы что-то работало слишком быстро. Вот небольшая выдержка из тестов производительности, которые использовались также в известной статье «Regular Expression Matching in the Wild«:

Особенно ценная черта PIRE — это способность работать также и с очень длинными регулярками, и это очень мало сказывается на производительности.

» Xiva https://github.com/highpower/xiva

Xiva — это асинхронный HTTP-сервер для реализации серверной части протокола WebSocket из HTML5. Он не является сервером общего назначения (например, не умеет обрабатывать POST-запросы), за счёт чего получился компактным и быстрым. Он идеально подходит для веб-чатов, live-виджетов и других похожих задач, где надо, чтобы на веб-странице что-то обновлялось по сигналу с сервера. Есть пример реализации серверной части простого веб-чата на Питоне.

В Яндексе он работает в новом интерфейсе Почты, где обслуживает мгновенные уведомления о новых письмах. Попробуйте при открытом окне почты прислать себе письмо из какой-нибудь другой почтовой системы.

» NwSMTP https://github.com/khanton/NwSMTP

Об NwSMTP можно думать как о «Nginx для SMTP». Это прокси-сервер, который работает перед основным почтовым сервером и может обеспечивать например поддержку SSL, фильтрацию по RBL, антиспам и антивирусную проверки. Именно он работает сейчас на нашей Почте.

Документация к нему предлагается в духе unix-традиций в виде откомментированного конфиг-файла. Обратите внимание, что проверку на спам через яндексовую Спамооборону доступна «из коробки».

Continue reading →