Məsləhət kəlamı: Foursquare'nin ipuçlarını sıralama metodologiyasını yeniləmək

Müəllif: Enrique Cruz

Foursquare-də cəmiyyətimizi ətrafındakı dünyanı araşdırmaq üçün gücləndirməkdən qürur duyuruq. Bizim istehlakçı tətbiqetməmiz, Foursquare City Guide bir yer əsaslı tövsiyə mühərriki və kəşfiyyat tətbiqidir. İstifadəçilərimiz üçün əsas işlərdən biri tez-tez tez bir baxış və ya təklif kimi xidmət edən bir məkana əlavə edilmiş ipuçlarını (və ya qısa, mətnin qarışıqlığı) yazmaqdır. Bu illər ərzində Foursquare istifadəçiləri 95 milyondan çox məsləhət yazdı. Bu göstərişlər dəyərli olsa da, istifadəçilərin əllərindən keçirməsi üçün bir ton məlumat verir. Buna görə hansı məkan üçün digərlərindən daha yaxşı olduğunu müəyyənləşdirmək Foursquare app ekosistemində vacib bir vəzifədir.

Bir neçə ay əvvəl, müəyyən bir məkan üçün ən yaxşı məsləhətləri seçmək üçün strategiyamızı yenidən düzəltdik. Yeni sıralama modelimiz əvvəlcədən yaxınlaşmış yanaşmalarımızı yaxşılaşdırır və kontekstual, mətn əsaslı və sosial siqnalları istifadəçilərimizə ən məlumatlı, əlaqəli və yüksək keyfiyyətli məzmun təmin edən məsləhətləri seçməyə imkan verir. Bu yazıda həm yeni metodologiyamız, həm də modelin tətbiqi fərqli istifadə halları üzrə müxtəlif A / B testləri ilə ölçüldüyü kimi müsbət müsbət nəticələr verdiyini izah edəcəyik.

Keçmiş yanaşmalar

Tarixən, Foursquare bir yerdəki ən yaxşı məsləhətləri çeşidləmək və seçmək üçün bir neçə fərqli mexanizmdən istifadə etdi - lakin hiss etdik ki, bunların heç biri özləri üçün tam qənaətbəxş deyillər.

Əvvəllər istifadə olunan ən məşhur reytinq strategiyalarının bir neçəsini müzakirə edək və problemlərini nəzərdən keçirək:

Şöhrətlik: Bu, ucu yaradıldığı vaxtdan bəri əldə edilən müsbət "qarşılıqlı təsir" ölçüsüdür. Ümumiyyətlə, istifadəçilər üçün əlaqəli və ya faydalı olan məzmunu nümayiş etdirmək, köhnə və ya köhnəlmiş məzmuna üstünlük verməyə meyllidir, bu da yüksək rütbəli məsləhətlərin daha çox məruz qaldığı rəy dövrünə səbəb olur (beləliklə daha da populyarlıq qazanır). Davamlı olaraq köhnə ipuçlarını göstərməyimiz, davamlı olaraq bizə zəhmli yeni məsləhətlər verən çox aktiv istifadəçi toplumunu istifadə edə bilməyərək tətbiqlərimizin köhnəlmiş görünməsinə səbəb ola bilər.

Rekord: Bu ucun yaradıldığı vaxtdan keçən zamanın ölçüsüdür. Bu ölçmə, Foursquare cəmiyyətinin canlılığını nümayiş etdirmək üçün əla bir iş görür, lakin keyfiyyətə və ya uyğunluğa zəmanət vermir.

Parlaq, Yeni Ucun Rütbəmiz

Yeni tip sıralamaq üçün əvvəlcədən yaxınlaşanların uğurlarına söykənmək və nəinki balanslı populyarlıq və tənəzzül, həm də pis bir ucu böyük birindən fərqləndirməyə kömək edən digər nüanslı siqnallara təsir göstərməyə imkan verən bir sistem inkişaf etdirmək istədik.

Yuxarıda göstərildiyi kimi populyarlıq və recensiya ilə yanaşı, yenidən qurulmuş uc sıralaması modelimizdə aşağıdakı xüsusiyyətləri daxil etdik:

Dilin identifikasiyası: Bu istifadəçinin başa düşmədiyi dillərdə məsləhətlərin verilməməsi üçün açıq mənbə və evdə hazırlanan həllər ansamblı istifadə edərək qurulmuş bir dil təsnifatıdır.

Məzmun zənginliyi: Bunlar ucun özündə olan faktiki məlumat xaricində daha çox ümumi atributları və metadata baxan bir neçə siqnaldır. Bu amillər arasında bir fotoşəkilin olması və ya olmaması, xarici mənbələrə bağlantılar, həmçinin ucunda olan sözlərin sayı da var.

Müəllif Güvən: Bunlar, dördlü şəhər bələdçisi istifadəçisi kimi istifadə müddəti, ümumi populyarlıq və istifadəçinin əvvəllər yazılmış ipuçları ətrafında digər məcmu faktlardır. Bu siqnallar bir ipucu müəllifi olaraq istifadəçinin etibarlılığını ələ keçirməyə çalışır.

Qlobal keyfiyyət: Bu, istifadəçi üçün bir yer üçün təmin etdiyi bir "fikir" (açıq "like" və "bəyənməyən" reytinqlərdən istifadə edərək öyrədilmiş) kimi xüsusi əlamətləri müəyyənləşdirmək üçün öyrədilmiş müxtəlif statistik təsnifatçıların bal toplusudur. həmin gün ucun yazıldığı gün. Təbii Dil Qenerasiya (NLP) daha sonra hansı söz və ifadələrin ən yaxşısı hər sinif məsləhətini təxmin etdiyini öyrənmək üçün istifadə olunur. Spam olaraq bildirilməsinin mümkünlüyünə gəldikdə - bu, spam kimi bildirilən keçmiş tövsiyələrə nəzər salmaq və bununla ən yaxşı əlaqələndirən xüsusiyyətləri öyrənməkdir.

İşləmək üçün yeni xüsusiyyətlərin qoyulması və təlim məlumatlarının toplanması

Bu yeni xüsusiyyətlərdən istifadə edərək modelimizi öyrətmək üçün mövcud kraudsorinq platformalarından istifadə etməklə bəzi təlim məlumatları hazırladıq. Məlumatlarımızı toplamaq üçün əvvəlcə istifadəçi baxışları ilə ən populyar 1000 ən populyar yerləri müəyyən etdik və təsadüfi olaraq bu yerlərin hər birindən 100 fərqli cüt ipuçunu seçməyə başladıq. Bəzi dillərin süzülməsi və çoxaldılması üçün mühasibatlıq aparıldıqdan sonra bu 75.000 tip cütlükdən ibarət bir məlumat əldə etdi.

Daha sonra Şəkil Səkkizində (əvvəllər CrowndFlower, Amazon Mexanik Türkə bənzər tapşırıqlar üçün bir dəstə-dəstə platforma) bir iş dizayn edərək bu məlumatlar üçün etiketlər yaratdıq, burada hakimlər müvafiq yerin yanında nümunə hovuzumuzdan bir cüt cüt göstəriləcəkdir. Bundan sonra hakimlərə "Əgər siz bu məkanda olmusunuzsa və ya bu məkanı ziyarət etməyi düşünürsünüzsə, aşağıdakı məzmun hissələrindən hansı daha məlumatlıdır?" Sınaq hazırladıq ki, göstərişlər Şəhər Bələdçisi tətbiqində göstərilən şəkildə oxşar kontekstdə göstərilsin, hakimlərimizi həqiqi istifadəçilərimizin göstərişlərinə təsir edən bütün eyni kontekstli məlumatlara məruz qoysunlar. Şəkil Səkkiz işimizin nəticəsi, təlim və qiymətləndirmə məlumatlarına bölüşdüyümüz 50.000-ə yaxın etiketli cüt məsləhət verdi.

Yeni tip sıralayıcılarımızı daha da inkişaf etdirmək üçün LambdaMART, Koordinat Yüksəlmə və RankBoost da daxil olmaqla müxtəlif alqoritmləri araşdırdıq. Nəticələri qiymətləndirdikdən sonra SVMrank-dan (Dəstək Vektor Maşınlarının tətbiqi) nəzarət təlim alqoritmimiz kimi istifadə etməyə qərar verdik. Məqsədimiz, izdihamlı təlim etiketlərimizi nəzərə alaraq pozğun cüt cütlüklərin sayını minimuma endirmək idi.

Yeni sıralamamızı təkrarladığımız və tənzimlədiyi zaman, bəzi əsas göstəricilərlə müqayisə edərək, "yayımlanmış" bir verilənlər bazasına qarşı işini qiymətləndirdik. Hər bir modelin seçdiyi bir məkan üçün ən yaxşı məsləhətlərə baxmaq üçün yeni bir yan alət ilə keyfiyyət dərəcələrini qiymətləndirdik.

Son modeldə, mətn xüsusiyyətləri olan Tip Ranker, bunlar ən yüksək çəkiyə sahib olan xüsusiyyətlər idi:

  • İpucu uzunluğu və ayələr sayı
  • Bir fotoşəkilin olması
  • Müsbət hiss
  • Recensiya

Ən az proqnozlaşdırılan gücə malik xüsusiyyətlər belə oldu:

  • Populyarlıq
  • Müəllifin məcmu statistikası

A / B Test Nəticələri və Tətbiqləri

Keçirilən məlumat bazamızda yeni hazırlanmış tip rütbəli aparıcıların həvəsləndirici nəticələrindən sonra modeli bütün məkan korpusumuzda istifadə etmək üçün istehsal etdik və Foursquare ekosisteminin müxtəlif toxunma nöqtələrində istifadə etdik. Aşağıda yeni sıralayıcı ilə sınadığımız yerlər və istifadəçi bazamızın 50% -lik parçalanması ilə A / B testlərinin keçirilməsinin nəticələri.

  • Tətbiq "Bir məkan yerində": İstifadəçinin müəyyən bir ehtimalı olan bir məkanda olduğunu aşkarladığımız zaman, Foursquare istifadəçini məkan üçün ən yaxşı ucu (əvvəllər istifadəçi tərəfindən görülməmiş) olan bir ping göndərir. Əvvəllər yalnız qol, çeşidləmə və süzgəc üçün təsadüfi bir meşə modelinə qidalanan qlobal keyfiyyət xüsusiyyətlərindən istifadə edərək müəyyən edilmişdir.
  • Nəticə: Yeni sıralamamız nəzarət qrupuna qarşı əhəmiyyətli inkişaflar verdi, nəticədə klik nisbətində 1.5% artım oldu, eyni zamanda bizə inamsızlıq səbəbiylə mövcud olan bəzi mövcud kalibrlənmiş filtrləri silməklə 32% daha çox ip ucu göndərməyə imkan verdi. əvvəlki seçim metodunda. Bundan əlavə, təcrübə qrupu əsas tətbiqetmə günlərində 5% artımla nəticələndi.
Nümunə Məkan Ping-də Ip ucu sıralaması tərəfindən idarə olunur
  • Tətbiq "Girişdən sonrakı anlayış": İstifadəçilərimiz digər istehlakçı tətbiqetməmizə daxil olduqda, Foursquare Swarm, istifadəçinin sadəcə daxil olduğu yer üçün müəyyən tərkib hissələrini göstəririk. Bunlar arasında yer üçün bir Foursquare City Guide ucu və dördlü şəhər bələdçisi tətbiqetməsinin quraşdırıldığı (və ya başqa şəkildə yüklədiyiniz) varsa bütün ipuçlarını görmək üçün satılan bir satış var. Əvvəllər bu tip seçim sırf sosial siqnallarda aparılırdı.
  • Nəticə: Yeni model ilə A / B testi bütün tiplərlə əlaqəli hərəkətlərdə ("like", göstərişlər və fotolar) əhəmiyyətli dərəcədə artım gördü və daha çox sayda Foursquare City Guide üçün 1% aktiv istifadəçinin xalis artımını göstərdi. satışa çıxarmağı seçən istifadəçilər.
Nümunə Göndərmə Fikri Tip Rideri tərəfindən dəstəklənir
  • Tətbiq "Məkan Səhifəsinin Defolt Sırala": Məkan səhifəsi göstərilərkən, yerin ən yaxşı məsləhətlərinin siyahısını ən yaxşı yerlərdə göstəririk. Bu əvvəllər göstərişlər üçün müsbət sosial siqnalları bir növ defolt etdi. Hər hansı bir SEO dəyişikliklərini ölçmək üçün yerlərdə qruplaşdırılmış A / B testini keçirdik.
  • Nəticə: Təcrübənin daxil edilmiş versiyası heç bir nəticə vermədi, SEO versiyası ümumi qlobal yönləndirmə trafikində 2.40% artımla nəticələndi. Güman edirik ki, bu, daha uzun, daha çox fotoşəkil daxil edilmiş və daha yaxınlarda yazılmış məzmuna üstünlük verdiyindən irəli gəlmişdir.

Gələcək iş və mümkün uzantılar

Modelə yeni xüsusiyyətlər daxil edərək məsləhətləri seçdiyimiz yolda daha da irəliləyişlər verə biləcəyini araşdırmaq üçün bir neçə iş qalıb.

Bunlardan bəzilərinə aşağıdakılar daxildir:

  • Mənfi sosial siqnallar: Modelin qurulduğu dövrdə, Foursquare City Guide istifadəçilərə yalnız "bəyənmək" və bir ipucu saxlamaq və ya onu spam kimi qeyd etmək yollarını təqdim etdi. O vaxtdan bəri, bir ucu azaltmaq üçün yeni bir qarşılıqlı təsir tətbiq etdik, gələcəkdə hər hansı bir proqnozlaşdırıcı gücə sahib olub olmadığını təsdiqləmək üçün bu yeni siqnal ilə modeli yenidən öyrənmək maraqlı olardı.
  • Reytinq uyğunluğuna dair fikir: Model müsbət əhval-ruhiyyə ilə məsləhətlərə üstünlük verir. Bu faydalı olmasına baxmayaraq, bir məkan aşağı reytinqə sahib olduqda bəzi dissonansları təqdim edir, lakin yuxarıdakı tövsiyələr əsasən müsbətdir. Bu işin uzadılması məkanın reytinqini və səslərin əsas paylanmasını daha yaxşı əks etdirən bir hiss paylamasını göstərmək üçün göstərişlər verə bilər.

Bütövlükdə bizim aktiv istifadəçi bazamıza və məkan əsaslı anlayışların axınına töhfə verən, işləmə tərzimizi daim qiymətləndirmək, istifadəçi rəyini izləmək və nümayiş etdirmək bizim üçün çox vacibdir. Keçmiş yanaşmaları təhlil etmək və yeni üsullarla təcrübə etməklə cəmiyyətimizə mümkün olan ən dəyərli məlumatlarla xidmət edə bilirik.

Mühəndislik səylərimiz haqqında daha çox məlumat əldə etmək üçün, Medium-da Foursquare Mühəndisliyini izləyin və iş yerlərimizdə yenilənməyin.