Təcrübə sayının aparılması üçün 4 prinsip

İki ildən artıqdır ki, mən Airbnb-də böyümə komandasında Məlumat Elmi işləyirəm. Şirkətdə ilk işə başladığımda, bir həftədə 100-dən az təcrübə apardıq; Artıq 700-ə yaxın işləyirik. Artımda olanlarımızın hamısını yaxşı bildikləri üçün bu cür böyümə orqanik olaraq baş vermir. Bunun əvəzinə becərmə yolu ilə gəlir. Bizim üçün bu, yalnız daxili Təcrübə Hesabatı Çərçivəsi [ERF] kimi düzgün vasitələrin qurulmasını deyil, bütün funksiyalar boyunca sağlam təcrübə mədəniyyətini formalaşdırmağı nəzərdə tuturdu. Burada işimizin əsasını qoyan və eksperimentin işimizə təsirində addım dəyişikliyinə səbəb olan dörd əsas prinsipi ümumiləşdirdim:

  1. Məhsul təcrübəsi hipotezə əsaslanmalı,
  2. Müvafiq 'məruz qalan əhalinin' müəyyən edilməsi vacibdir,
  3. Gücü başa düşmək vacibdir və
  4. Uğursuzluq bir fürsətdir.

Bu prinsiplərə əməl etmək yalnız bir ton mühəndislik vaxtınıza və pulunuza qənaət etmir, həm də istifadəçilərinizə və məhsullarınıza inanılmaz bir fikir verməyə imkan verəcəkdir.

Məhsul Təcrübəsi Hipotezaya əsaslanmalıdır, xüsusiyyəti yox

Airbnb-də inanılmaz mühəndislik bacarığımız var. Bu o deməkdir ki, bir xüsusiyyət qurmaq asandır, amma bu, onun qurulmalı olduğunu və ya bunun üçün məhsulun daha yaxşı olacağını ifadə etmir. Airbnb-dəki böyümə komandasında həmişə "Məlumat nə deyir?" Sualından başlayırıq. Bu sualı vermirsinizsə, inanılmaz dərəcədə səmərəsiz məhsul optimallaşdırma strategiyası aparırsınız. Əgər təxmin etməlisinizsə, arabanı atın qabağına qoyursunuz və təcrübə etmədən əvvəl daha çox iş görməlisiniz.

Fərziyyələr nə üçün vacibdir? Bunlar olmadan siz müsbət nəticələr kimi görünən şeylərlə asanlıqla diqqətinizi yayındırırsınız, amma statistik səhvlər də ola bilər. Bu vəziyyətdə, nəyin baş verdiyini anlamaq çətin işinin əksinə tapıntılarınıza uyğun bir hekayə hazırlamaq asandır. İşlər sizi təəccübləndirə bilər - qoy! Anlamadığımız bir şey varsa, ümumiyyətlə hipotezlərimizi yeniləyirik və orta uçuş üçün aydınlıq əlavə edirik, çünki təcrübə boru kəməri onları asanlıqla birləşdirir.

Nümunə olaraq, komandam veb və doğma tətbiqlərimizdə yeni bir tərcümə xidmətindən istifadə edərək sınaq keçirdi. Təbii ki, bu yeni və təkmilləşdirilmiş xidmətin hər iki platformada dönüşüm artacağını güman etdik. Doğma tətbiqlərimizdə sifariş dönüşümünün təcrübə qrupunda atlandığını gördük, ancaq niyə oxşar bir şeyin vebdə baş vermədiyini başa düşə bilmədik. Başa düşdükdən sonra bunun başqa bir qrupun məhsul dəyişikliyindən qaynaqlandığını, doğma tətbiqlərimizdə olanların internetdəkilərdən daha çox tərcümə xidmətindən daha çox istifadə etdiklərini fərz etdik. Bunun üçün bir ölçü əlavə etdik və haqlı olduq! Təcrübə qrupumuzda daha çox istifadəçi nisbəti əvvəlcə tərcümə xidmətlərindən istifadə edirdi və yeni tərcümə xidmətimiz onları daha tez-tez istifadə etməyə təşviq etdi. Veb qrupumuzda bir dəyişiklik aşkarlaya bilmədik, çünki doğma qrupun ekzogen liftini almadılar. Bunu öyrənmək bizim üçün bütün strateji imkanlar açdı. Fərziyyələrimizi yeniləməsəydik, harada bitdiyimizi kim bilir.

Düzgün 'Aşkar edilmiş Əhali' 'Paramount

Yalnız bir xüsusiyyəti işə salma və ya təcrübə qurma və sehrin baş verməsini gözləməyin. Daha çox vəziyyətdə sehr olmayacaq. Bu, zəhmli deyil demək deyil, ancaq işimizin çətin olduğunu bir xatırlatmadır. Eksperimentdə saysız-hesabsız komandaların mübarizə apardığını gördüyüm bir sahə, məruz qalan əhalini düzgün müəyyənləşdirməkdir. Təsirə məruz qalan əhali kimliyi görməli və kimin görməməli olduğunu müəyyənləşdirir və məruz qalmış əhalinin nə qədərinin sınağınıza daxil olacağını təyin edən ifşa dərəcəsindən fərqlidir.

Məsələn, komandam, ev sahiblərindən fərqli bir dildə danışan qonaqlar üçün bu xüsusiyyətin kitab dönüşümünü yaxşılaşdıracağına dair fərziyyə ilə bir mesaj tərcümə xüsusiyyətini işə salmaq istədi. Dilin müəyyənləşdirilməsi kifayət qədər asandır, amma bu kifayət deyil. Mesaj göndərən və ev sahiblərindən fərqli bir dildə danışan bütün qonaqlar üçün bu xüsusiyyəti işə salsaq, eksperimentimizi həddən artıq aşkara çıxarmalıyıq - çünki mesaj verən bütün qonaqlar sifariş vermək üçün bunu etmir. Bəziləri səfərdədir və dəsmalların harada olduğunu soruşmaq lazımdır. Digərləri telefon şarj cihazını geridə qoyub geri dönməsini istəyərlər. Bu sadə görünə bilərsə də, bunun nə qədər tez-tez parıldadılacağına və ya hətta görməməzliyə vurulacağına təəccüblənəcəksiniz, çünki bunun qarşısını almaq tez-tez işinizin 'API'ləri haqqında bilik alır. Nəticədə, bir təcrübədə nəyin baş verdiyini başa düşmək üçün bir mühəndislə söhbət edərkən verdiyim ilk sual çox sadədir: 'Ekspozisiya nə vaxt baş verir və necə təyin olunur?'. Lazım gələrsə, insanları sizin üçün çəkin. Bu söhbət sonradan hər iki tərəf üçün divident ödəyəcəkdir. (İstifadəçiləri düzgün ifşa etmək üçün çox işin ola biləcəyini qəbul etsələr, əvvəlcə geri çəkin, sonra Aşağıdakı Salam Məryəm seçiminə baxın.)

Ağılsızlıq ölçümləri burada faydalı ola bilər. Təcrübəniz cari istifadəçilərlə məhdudlaşırsa, qeydiyyatdan keçməyiniz kimi təcrübənizdə istifadəçi olmayanların (ziyarətçilərin) olub olmadığını göstərən bəzi ölçüləri əlavə edin. Təcrübənizdə çox sayda qeydiyyat baş verdiyini görsəniz, ehtimal ki, bunu düzgün açıqlamırsınız. Başqa bir cavab, ölçümləriniz üçün qlobal əhatəni hesablamaqdır. Bütün bir populyasiyanın xüsusiyyətinizi görməsini gözləyirsinizsə, bunların olduğunu təsdiqləyin. Həddindən artıq ifşa gücləri təsir göstərərək ölçüləri sulandıracaq. Mükəmməl bir xüsusiyyət qurmaq həqiqətən dəhşətlidir, amma təsirini aşkar edə bilməyəcəksiniz!

Salam Məryəm: Təcrübənizi dəqiq şəkildə ortaya qoya bilmirsinizsə, sınağa girməməli istifadəçiləri müəyyənləşdirmək və analiz mərhələsinə atmaq üçün bir yolunuz olduğundan əmin olun. Airbnb-də bunu səhv eksperiment səbəbindən təhlildən kənarlaşdırılmalı olan bütün istifadəçilərin daxil olduğu təcrübə boru kəmərimizə "kənarlaşdırma masası" yükləyərək edirik. Bu istifadəçiləri müəyyənləşdirmək bəzən olduqca ağır ola bilər. Bu işi görürsənsə, məlumat problemlərini başa düşmək və miqyaslı şəkildə həll etmək üçün bütün komandanızın xeyrinə olduğu üçün ortaqlarınızla paylaşdığınızdan əmin olun.

Gücü anlamaq vacibdir

Güc varsa, təcrübənizdə bir təsiri aşkar etmək qabiliyyətinizi müəyyənləşdirir. Bunu başa düşmədiyiniz təqdirdə eksperimentlər aparmamalısınız. Bunu təxmin etməkdən daha yaxşı edə bilərsiniz və etməlisiniz.

Üç təklif:

  1. Tarixi məlumatlardan istifadə edərək sınaq keçirməyə başlamazdan əvvəl baza dərəcələri üçün bir məna əldə edin. Baza dərəcələri olmadan, əslində zəhmli xüsusiyyət dəyişikliyinizin təsirini aşkar edə biləcəyiniz barədə qaranlıq qalırsınız.
  2. İçəridə və xaricdə başa düşdüyünüz xüsusiyyətlər üzərində işləməsəniz, böyük olun və ya evə getməyin. İğnəni hərəkət etdirəcəyini düşünməsən bir şey başlatma. Baza dərəcələri barədə əmin deyilsinizsə, bu xüsusilə vacibdir. Baza dərəcələriniz kütləvi olmadıqda, dəyişiklikləri aşkar etməyin yeganə yolu ölçümləri böyük bir şəkildə hərəkət etdirəcək böyük olanlara etməkdir.
  3. Unutmayın ki, təcrübə istifadəçiləriniz haqqında hər şeyi öyrənməyin yeganə yolu deyil. Güc çatmadığınıza və buna görə nəzarət edilən bir sınaq keçirməməyiniz oyunun bitməsi demək deyil. Airbnb-də, istifadəçi davranışı ilə qabaqcıl və düşüncəli işlər görən tədqiqatçılar və tədqiqat alimləri qrupu ilə sıx işləyirik. Tədqiqatçılara tərəfdaş kimi baxın: anlayışları, həqiqətən təsirli bir xüsusiyyəti inkişaf etdirmək üçün istifadəçilərinizi anlamaq üçün komandalarınıza lazım olan çox körpü ola bilər.

Uğursuzluq bir fürsətdir: istifadə edin

Bəzən ölçmələri hərəkət edə biləcəyinizi sübut etmək üçün bir sınaq olaraq sınaqdan istifadə etmək cazibədar olur və əgər (nə vaxt) etməsəniz, (başqa bir zəhmli ay görüntüsü fikirinə) davam edin. Metrik hərəkət etməlisiniz və bunu etdiyiniz zaman bunu göstərə bilməlisiniz. Ancaq yalnız qazandığınız qələbələrə diqqət etsəniz, bir ton fikirdən qaçacaqsınız və səhvlərə kor olmaq riski.

Təcrübələr uğursuz deyil - fərziyyələr yanlış sübut olunur

Bu baş verdikdə, bunun səbəbini başa düşməyi öz işinizə çevirin. Başlamağınız üçün bəzi suallar daxildir:

  • Fərziyyə səhv idi, yoxsa fərziyyənin icrası / icrası qüsurlu idi? Biz adətən ikincisindən başlayırıq və əvvəlkisinə yol tapırıq. İşlərimiz çox mürəkkəbdir, çox vaxt hər hansı bir şəxsin tam anlaşılmazlığına zərbə vurmur. Bu o deməkdir ki, hər dəfə hər şeyi ilk dəfə düzgün qəbul etmirik. Əgər aşağı axın dönüşümünə təsir edəcəyinizi fərz etdiyiniz bir xüsusiyyət əlavə edirsinizsə, dönüşümdə dəyişikliklər axtarmayın - xüsusiyyətiniz nəzərdə tutulduğu kimi işləməyəcəyi üçün heç bir şey görə bilməzsiniz. Bunu sınamağın asan bir yolu, sınadığınız xüsusiyyətlərə giriş etdiyinizdən əmin olmaqdır. (Buna görə də hər hansı bir yaxşı məlumat alimi işə salmadan əvvəl düzgün giriş aparmağa məcbur edəcək - mövcud olmayan şeyləri ölçə bilmərik.)
  • Metrika gözlədiyim yollarla birlikdə hərəkət edir? Funnels əvvəlcədən bilinən nümunələri izləyir. Yuxarıdakı metriklər sizin aşağı axın metrik hərəkətinizi dəstəkləmirsə, bunun üçün yaxşı bir izahat verməyiniz yaxşı olar. (Bu cəbhədə itələmək əla məhsul menecerinin keyfiyyətidir.) Ancaq təsdiq qərəzli olduğunu unutmayın - əksəriyyətimiz işimizin təsirli olduğunu təsdiqləməyə təşviq edirik. Bu səbəbdən, Airbnb-də təcrübələrimizi həm qeyri-rəsmi yoxlamalar, həm də iki həftəlik Təcrübə Rəyləri vasitəsilə ictimailəşdirmək üçün müntəzəm bir təcrübə yaratmağa çalışırıq ki, bu da komandaların təcrübədən əldə etdikləri dərsləri təqdim edir. Tapıntınızı nə qədər çox insan eşitsə, bu barədə daha çox rəy alacaqsınız. Bu müddət sizi və qrupunuzu bütün düzgün yollarla sınayacaqdır.
  • Mən kifayət qədər cəsarətli fərziyyələri sınayıram? Fərziyyələriniz ardıcıl olaraq ortaya çıxsa, yəqin ki, zəhmli hiss edəcəksiniz. Ancaq ehtiyatlı olun! Yerli maxima optimallaşdırılmasına alışmayın. Basmağa davam edin.

Burada bir öyrənmə əyrisi var. Ancaq əksər şeylər kimi bu da asanlaşır. Mütəmadi olaraq maraq dairəsindən başlayaraq öyrənə biləcəyiniz şey inanılmazdır.

Nəticə

Eksperiment çətin işdir. Mürəkkəb təcrübə vasitəsi məhz budur - bir vasitədir. Öz üzərində heç bir iş görmür. Bu, diqqət yetirdiyimiz müəssisələri formalaşdırmaq üçün inanılmaz fürsət sınayan hamımızı tərk edir.

İntiqam? Məlumat Elmləri və Analitika qrupumuza qoşulmaq üçün həmişə istedadlı insanları axtarırıq!