Tworzenie samoobsługowych danych i kultury eksperymentowania w celu lepszego podejmowania decyzji

Jeśli chodzi o projektowanie aplikacji lub strony internetowej, najlepsza jest prostota. Pozyskiwanie użytkowników z punktów A do B w jak najmniejszej liczbie kroków i z najczystszym interfejsem to znak wyjątkowego doświadczenia. Jednak nawet najprostsza podróż użytkownika generuje ciąg danych o zdarzeniach, które należy posortować i zinterpretować. Dzięki odpowiednim narzędziom te surowe dane stają się skarbnicą informacji, które mogą przenieść Twoją firmę na wyższy poziom.

Jestem starszym menedżerem produktu w SmartRecruiters, dostawcy oprogramowania, który umożliwia firmom prowadzenie programu pozyskiwania talentów jak potężnej maszyny do marketingu i sprzedaży. Nasz pakiet do pozyskiwania talentów B2B ułatwia zatrudnianie i pomaga firmom znaleźć i zatrudnić ludzi, których potrzebują.

Dzięki odpowiednim narzędziom surowe dane stają się skarbnicą informacji, która może przenieść Twoją firmę na wyższy poziom.

Ostatnim uzupełnieniem naszego flagowego produktu B2B jest nasze rozwiązanie B2C, Smartr. Smartr to przyjazna dla użytkownika platforma internetowa, która łączy osoby poszukujące pracy z ponad 4000 pracodawców. Mamy dwa miliony aktywnych użytkowników szukających pracy online, generujących setki milionów wydarzeń.

Zrozumienie podróży użytkowników było niemożliwe

Kiedy dołączyłem do firmy w 2020 roku, zrozumienie podróży naszych użytkowników było prawie niemożliwe. Korzystaliśmy bezpośrednio z naszej bazy danych wydarzeń i próbowaliśmy wizualizować rzeczy za pomocą SQL i Tableau. Napisaliśmy zapytania dla każdego przeanalizowanego wydarzenia i wprowadziliśmy wyniki do Tableau. To było czasochłonne i przeskakiwaliśmy przez obręcze, aby dane działały, ponieważ było zbyt wiele ruchomych części.

W tym czasie Smartr był w powijakach – a nasz zespół też był nowy. Gdy dodaliśmy więcej osób do pracy nad Smartr, jednocześnie szukaliśmy nowych narzędzi, które mogłyby nam pomóc w doskonaleniu. Chcieliśmy analizować i wizualizować więcej zdarzeń oraz tworzyć nasze raporty, ale nasze narzędzia do wizualizacji nie nadawały się do analizy śledzenia zdarzeń. Zacząłem szukać idealnego rozwiązania, które pomoże nam lepiej zrozumieć zachowania użytkowników.

Rozwijanie się na odpowiedniej platformie

Podczas podstawowych badań nad narzędziami analitycznymi odkryłem, że strona korporacyjna SmartRecruiters korzysta z bezpłatnej wersji Amplitude Analytics. Ponieważ mieliśmy już to w domu, postanowiłem spróbować i zapisałem się na kilka warsztatów z Account Managerami Amplitude.

Nawet przy ograniczonych funkcjach bezpłatnego pakietu Starter od razu stało się jasne, że Analytics jest najlepszym narzędziem na rynku do śledzenia zdarzeń. Bezproblemowo integruje się z naszą bazą danych, a jego interfejs typu „wskaż i kliknij”, wbudowane narzędzia do wizualizacji i szablony raportów pozwalają nam przełożyć surowe dane na łatwe do zrozumienia informacje. W mniej niż minutę możemy zadawać pytania i odpowiadać na pytania, których sformułowanie, wyodrębnienie i zinterpretowanie zajęło kiedyś pół dnia, za pomocą zapytań SQL i Tableau.

Szybko doszedłem do wniosku, że nie wykorzystujemy w pełni możliwości Analytics, i poparliśmy przejście na jeden z płatnych poziomów platformy, abyśmy mogli w pełni wykorzystać jego możliwości.

Monitorowanie nowych funkcji w czasie rzeczywistym

W miarę zwiększania jej wykorzystania, Analytics wprowadził monitorowanie w czasie rzeczywistym, które pozwala nam testować nową funkcję w chwili, gdy dodamy ją do naszej witryny lub aplikacji. Mając istniejący identyfikator użytkownika, możemy przetestować projekt w czasie rzeczywistym i zobaczyć, jakie zdarzenia są uruchamiane bez tworzenia środowiska testowego lub oczekiwania na zalogowanie się użytkowników i klientów.

Dane w czasie rzeczywistym sprawiają, że zespoły i użytkownicy są szczęśliwsi, ponieważ w cyklach rozwoju i rozszyfrowaniu podróży klientów występuje mniej przeszkód.

W ciągu kilku minut od uruchomienia nowej funkcji mogę poinformować moich inżynierów, czy uruchamia ona żądane zdarzenia, a oni mogą natychmiast rozwiązać problem. To mądrzejszy sposób pracy (przepraszam za kalambur), a mój zespół i nasi użytkownicy są szczęśliwsi, ponieważ w naszych cyklach rozwoju i rozszyfrowaniu podróży klientów jest mniej przeszkód.

Przenoszenie eksperymentów na nowe wyżyny

Analityka jest potężna, a wraz z rozwojem zespołu Smartr zaczęliśmy robić więcej z danymi o zdarzeniach. Logiczną odpowiedzią było zwiększenie naszych testów A/B, abyśmy mogli wypróbować różne wersje naszej strony internetowej i aplikacji.

Kupienie osobnej platformy eksperymentalnej lub zbudowanie własnej kosztowałoby z łatwością sto tysięcy dolarów rocznie, a potem musielibyśmy znaleźć sposób na zintegrowanie nowej platformy z naszymi danymi i wydarzeniami.

Zamiast szukać osobnego rozwiązania, zwróciliśmy się do Amplitude Experiment, solidnego rozwiązania do eksperymentowania i zarządzania funkcjami, które pozwala nam wypróbować funkcje i ulepszyć interfejs. Eksperyment w pełni integruje się z narzędziami Analytics, oferując jednocześnie pełny przepływ pracy eksperymentalnej.

Jednym z największych sukcesów programu Experiment było uruchomienie funkcji zakładek naszego Smartr. Gdy kandydaci znajdą interesującą ofertę, mogą ją oznaczyć, kontynuować poszukiwanie pracy, a potem wrócić i złożyć podanie. Eksperymentowaliśmy z dwiema nowymi wersjami ikony zakładki, gwiazdką i sercem, a także istniejącą ikoną zakładki jako kontrolką. i zobaczyłem, że użytkownicy woleli serce.

Przeprowadziliśmy test, przypisując 1/3 naszego ruchu do każdego z wariantów. Byliśmy zainteresowani przetestowaniem współczynnika zakładek, który jest współczynnikiem konwersji użytkowników narażonych na różne warianty i ilu z nich dodało zadanie do zakładek. Współczynnik zakładek dla przycisku serduszka wzrósł w porównaniu do opcji kontrolnej o 46,6%, natomiast dla przycisku gwiazdka tylko o 8,78%. Chcieliśmy również przetestować wskaźnik aplikacji, czyli procent ofert pracy dodanych do zakładek, o które kandydaci się ubiegali. W przypadku przycisku serduszka wskaźnik ten wzrósł o 58% w porównaniu z kontrolą, natomiast w przypadku przycisku z gwiazdką poprawa wyniosła zaledwie 23,4%.

Amplituda potwierdziła statystyczną istotność tych ulepszeń po sześciu dniach prowadzenia eksperymentu, więc decyzja o zmianie starego przycisku zakładki na serce była łatwa.

Oczywiście zadaliśmy wtedy dalsze pytania. Jak zareagowaliby użytkownicy, gdybyśmy zmienili część naszego onboardingu lub stworzyli zupełnie nową? Czy bardziej zaangażują się w treści? Aplikować na więcej ofert pracy? Jak wpłynęłoby to na nasze KPI? Zadaliśmy i odpowiadaliśmy na więcej pytań istotnych dla naszych odbiorców.

Rosnąca kultura danych

To ekscytujące obserwować rozwój naszej kultury danych. W ciągu ostatnich 12 miesięcy zaobserwowaliśmy wzrost popularności o 950%. I zamiast widzieć początkowy wzrost po zatrudnieniu i odejściu, zaangażowanie pozostaje wysokie. Został wprowadzony w samoobsługowym modelu danych, w którym ludzie czują się pewniej co do danych, które widzą, i ich zdolności do podejmowania na ich podstawie decyzji.

Na co dzień korzystam z Analytics do tworzenia nowych wykresów i prezentowania ich zespołowi, dając przykład. Każdy, od zespołów produktowych po projektantów i inżynierów, może tworzyć wykresy i zagłębiać się w potrzebne dane, kiedy tylko tego potrzebują. Chociaż nie wszyscy codziennie korzystają z Analytics, mniej osób przychodzi do mnie z pytaniami lub prośbami o zapytania, a zespół może działać szybciej.

Z powodu tego wzrostu byłem finalistą Amplitude Pioneer Awards w ich kategorii Data Culture Award. To wspaniałe uczucie, że nasza praca jest doceniana zarówno zewnętrznie, jak i wewnętrznie.

Elastyczność udoskonalania Smartr

Każde narzędzie analityczne zapewni informacje, które pomogą podejmować bardziej oparte na danych decyzje, ale wyróżnia je elastyczność Analytics. To sprawia, że ​​analiza danych jest tak łatwa. Zamiast poświęcać czas, wysiłek i zasoby na zbudowanie tego, czego potrzebujemy od podstaw, wszystko jest gotowe do użycia i modyfikacji.

Mój zespół udoskonalił naszą ofertę produktów i dopracował wrażenia użytkownika. Zbudowaliśmy dobrze prosperującą społeczność osób poszukujących pracy, które wykorzystują naszą platformę, aby wykonać następny lub pierwszy krok w karierze. Możemy tworzyć nowe zdarzenia oraz błyskawicznie je śledzić i analizować za pomocą wbudowanych pulpitów nawigacyjnych. Zaczęliśmy podejmować decyzje na podstawie danych i skupiać się na monitorowaniu wydajności zamiast pisania zapytań i zarządzania naszymi narzędziami analitycznymi. Łatwo jest zobaczyć, jakich funkcji użytkownicy potrzebują i podążać ich ścieżką, gdy przechodzą ze strony głównej na inne strony w naszej witrynie.

Tworząc nowy produkt, musisz szybko zareagować i upewnić się, że wszystkie szczegóły dotyczące właściwości zdarzenia są poprawne. Połączenie Analytics i Experiment zapewnia, że ​​zespół Smartr nadal tworzy produkt, który dorównuje naszemu odpowiednikowi w przedsiębiorstwie.