Memulihkan Kepercayaan pada Data dan Mempercepat Pertumbuhan Produk dengan Amplitudo

Sangat frustasi mendengar manajer produk menyatakan, "Saya tidak mempercayai data ini, jadi saya hanya akan mengikuti apa yang saya pikirkan." Tapi kita tidak bisa selalu menyalahkan mereka atas ketidakpercayaan mereka. Setiap penyok kecil pada pelindung data organisasi menurunkan kemampuan tim untuk menjadi terinformasi data. Dan jika data yang ada membingungkan atau sulit diakses, orang tidak dapat menggunakannya untuk membantu produk berkembang.

Di Whisk, kami tahu ini lebih baik daripada siapa pun. Mungkin sulit untuk memulihkan kepercayaan pada data, dan meskipun kami memiliki keinginan yang kuat untuk instrumentasi dan eksperimen, tidak selalu ada cara untuk terus maju dengan apa yang kami pelajari. Kami tidak memiliki cara untuk mendukung pendekatan pertumbuhan kami dengan data yang dilegitimasi dan wawasan yang dapat ditindaklanjuti.

Jika data Anda yang ada membingungkan atau sulit diakses, orang tidak dapat menggunakannya untuk membantu produk berkembang.

Namun, selama enam bulan terakhir, Whisk telah menemukan jalan yang jelas menuju pengelolaan data yang lebih baik. Hasilnya, kami dapat memperbaiki masa lalu, memulihkan kepercayaan pada data kami, dan mengembangkan platform kami.

Menjadi ujung tombak pertumbuhan produk di Whisk

Whisk adalah aplikasi lengkap untuk berbagi dan memonetisasi konten makanan. Pengguna dapat menyimpan resep, rencana makan, dan membuat daftar belanja untuk menghemat waktu menyiapkan makanan rumahan. Samsung mengakuisisi kami pada tahun 2019, dan kami memainkan peran utama dalam strategi IoT mereka.

Kami sedang mengembangkan seluruh platform makanan untuk Samsung, membangun semua API yang mendukung pengalaman terkait makanan di seluruh divisi utama perusahaan. Saat ini, lusinan peralatan Samsung dilengkapi teknologi Whisk, mulai dari lemari es hingga rentang oven dan kompor yang terhubung.

Datang ke Whisk adalah kesempatan luar biasa bagi saya. Saya awalnya mulai mengerjakan strategi B2B2C, tetapi kami segera mengalihkan lebih banyak fokus kami ke pengalaman konsumen. Dalam transisi, saya menjadi Head of Product, yang ditugasi membawa lensa yang lebih berorientasi produk untuk berkembang. Saya ingin memperluas budaya eksperimen yang ada dan meningkatkan pengambilan keputusan berdasarkan data.

Tapi pertama-tama, saya perlu mengendalikan situasi data kami.

Memahami masalah data

Data adalah inti dari apa yang kami lakukan di Whisk. Di luar analitik produk, kami juga telah membangun ontologi makanan luar biasa ini yang dengan sendirinya merupakan produk data. Tim memiliki budaya instrumentasi analitik yang solid. Yang tidak kami miliki adalah organisasi.

Saya tidak memiliki latar belakang teknis, tetapi saya memahami dua hal saat saya bekerja bersama ilmuwan data. Pertama, sebagian besar pekerjaan data adalah memastikan data dapat diamati dan dirancang dengan baik. Kedua, data harus sangat tersedia dan akurat untuk menginformasikan pemangku kepentingan.

Ketika kami mengalihkan fokus kami ke pengalaman konsumen pada tahun 2021, saya memulai tim pertumbuhan pertama kami. Tidak butuh waktu lama untuk melihat bahwa kesenjangan dalam tumpukan teknologi kami menciptakan hambatan yang tidak perlu untuk pertumbuhan produk.

• Kami memiliki terlalu banyak instrumentasi. Dengan ratusan peristiwa yang diinstrumentasikan secara berbeda di seluruh aplikasi, sulit untuk mempertahankan kualitas data yang baik dan memahami semuanya. Tim kami tidak fokus pada peristiwa penting.
• Kami memiliki celah besar dalam eksperimen kami. Menjadi lebih sulit untuk mempertahankan fokus laser pada KPI dan metrik utama kami. Kami menggunakan beberapa platform eksperimen dengan kemampuan yang berbeda, default ke retensi sebagai metrik utama. Itu tidak ideal untuk budaya pertumbuhan kecepatan tinggi yang ingin saya bangun.

Kami tidak mencari platform baru pada saat itu. Kami sudah menjadi pelanggan Mixpanel, tetapi platform mulai menghentikan fungsionalitas pengujian A/B mereka, yang akan membawa kami ke arah yang berlawanan dari tujuan yang saya tuju.

Saat itulah Amplitudo datang ke pikiran.

Migrasi Whisk ke Amplitudo

Saya telah lama menjadi penggemar John Cutler, seorang penginjil produk di Amplitude. John menawarkan diri untuk memimpin lokakarya produk bagi siapa pun di jaringannya, dan saya menghubunginya tentang penggunaan instrumen yang berlebihan dan dampaknya terhadap budaya data Whisk. Selama lokakarya, kami mengumpulkan rekan tim dari QA, teknik, dan desain untuk memeriksa cara mengidentifikasi peristiwa penting dalam siklus hidup kami. Itu adalah pengalaman yang luar biasa, dan pada akhirnya, John menyebutkan bahwa ada nilai dalam memiliki analitik dan eksperimen Anda secara berdampingan dan bahwa Amplitudo dapat melakukan keduanya.

Kami berencana untuk mengintegrasikan eksperimen tambahan SaaS ke Mixpanel, tetapi semakin saya belajar tentang Amplitudo, semakin saya terkesan dengan toolset all-in-one-nya.

Untuk eksperimen, Amplitudo menjaga terhadap PM yang mengintip hasil terlalu dini dan menggambar hasil yang tidak meyakinkan. Meskipun itu bukan platform eksperimen yang paling lengkap di pasar, kami menyukai visi Amplitude. Kami juga melihat manfaat memiliki semua data dan alat eksperimen kami dalam satu sistem yang sangat mudah diamati. Kami dapat melacak orang-orang yang pernah melakukan eksperimen jangka panjang. Kita bisa mengatur independensi eksperimen dengan cukup mudah. Kita bisa tetap fokus pada data yang akurat. Jadi kami melompat.

Inovasi produk yang ditingkatkan

Kami menempatkan Amplitudo untuk bekerja segera, menangani sebagian besar eksperimen kami. Kami telah menjalankan uji coba ROI pada berbagai peluang monetisasi dalam basis pengguna inti, termasuk pengujian A/B yang dirancang untuk mengukur dampak keterlibatan menjalankan iklan bersponsor di feed beranda kami.

Dengan menempatkan lebih banyak iklan di feed beranda, kami mengharapkan penurunan kedalaman scroll (yang berkorelasi dengan retensi). Kami membandingkan umpan beranda Whisk saat ini dengan umpan yang menyertakan penempatan iklan bertarget dan menemukan hasil yang mengejutkan: tidak ada perbedaan.

Tapi ini baru permulaan. Kami sekarang menjalankan beberapa pengujian sekaligus dan PM berpikir lebih cerdas tentang cara melacak perubahan dan mengukur keterlibatan secara efektif.

Amplitudo membantu kami memahami peristiwa dalam konteks, yang telah menghasilkan peningkatan dalam pembuatan dan retensi konten.

Amplitudo membantu kami memahami peristiwa dalam konteks, yang telah menghasilkan peningkatan dalam pembuatan dan retensi konten. Misalnya, kami mengembangkan fitur yang disebut “Made It”, yang meminta pengguna untuk menambahkan catatan, tag, dan gambar setelah mereka menyiapkan resep. Setelah lusinan iterasi yang menghasilkan hasil yang tidak memuaskan, kami memperbesar Amplitudo dan memeriksa di mana tindakan pengguna yang berbeda dikorelasikan. Segera menjadi jelas bahwa beberapa pengguna menginginkan lebih banyak koneksi. Mereka tidak melihat nilai posting demi itu; mereka ingin seseorang untuk memposting.

Dengan menggunakan wawasan ini, kami membantu orang menemukan dan terhubung dengan orang lain yang menghargai dan berbagi wawasan mereka dalam aplikasi. Kami ingin menggunakan pengetahuan ini dengan cara baru, dan saat ini sedang mengevaluasi strategi monetisasi untuk "dana pembuat konten" berdasarkan keterlibatan yang didorong oleh konten pengguna. Semakin banyak yang kami pelajari tentang bagaimana konten mendorong keterlibatan, semakin banyak yang dapat kami tawarkan.

Kami juga menjawab sejumlah pertanyaan strategis dan spesifik produk dalam Amplitude. Saat ini, kami sedang berupaya mengungkap titik balik viral dari resep, melacak apakah imbalan sosial efektif dalam mendorong lingkaran kebiasaan, dan menentukan jumlah pengikut ajaib yang menciptakan pengguna aktif. Kami juga lebih memahami yang mana dan seberapa sering acara pertunangan terjadi selama hari-hari tertentu. Tim produk mendistribusikan wawasan ini kepada pemangku kepentingan dan anggota tim Samsung lainnya. Data kami dikutip secara luas dalam penelitian internal tentang perilaku memasak konsumen di AS dan Inggris, mendorong inovasi produk dan strategi pemasaran.

Fitur tangguh membantu kami memanfaatkan pasar baru

Strategi utama Whisk termasuk membangun mesin keterlibatan yang berkelanjutan dan mendapatkan visibilitas yang lebih besar ke dalam jenis pengguna. Prioritas besar adalah memahami dan memanfaatkan pasar yang belum dimenangkan: komunitas makanan sosial vertikal.

Sebelum menggunakan Amplitudo, kami memiliki pendekatan satu ukuran untuk semua tindakan keterlibatan utama dengan kemungkinan retensi yang tinggi. Saat ini, mudah untuk melakukan analisis pengelompokan dan korelasi segmen yang berbeda dalam Amplitudo, mengidentifikasi persona yang berbeda dan menciptakan perjalanan yang lebih disesuaikan dan disesuaikan. Dan itu semua dilakukan dalam satu klik.

Whisk masih mempertahankan budaya startup meskipun pertumbuhannya cepat, jadi semua orang di atas dan di bawah organisasi masuk ke Amplitude untuk menyelesaikan pekerjaan mereka. Demokratisasi data ini berarti lebih banyak orang dapat mengumpulkan wawasan, dan wawasan ini biasanya lebih berdampak daripada wawasan sebelumnya dari Mixpanel. Penggunaan Amplitude di Whisk mencakup analis data, PM, tim pemasaran dan teknik, dan eksekutif. Bahkan tim kemitraan terlibat dari waktu ke waktu. Bagan amplitudo dan dasbor tersedia untuk umum bagi seluruh tim, menghemat banyak waktu.

Kami secara teratur menggunakan Kompas, yang menunjukkan bagaimana peristiwa pengguna baru berkorelasi dengan retensi; Persona, yang mengelompokkan pengguna ke dalam kelompok berdasarkan kesamaan perilaku acara mereka; Segmentasi, yang menunjukkan apa yang dilakukan pengguna dalam produk; dan Analisis Corong, yang menawarkan wawasan tentang seberapa sukses pengguna menavigasi jalur peristiwa yang ditentukan.

Fitur penting lainnya bagi kami adalah integrasi Iteratif. Sebelum adopsi Amplitudo kami, kami berpikir untuk menggunakan Iteratively untuk meningkatkan konsistensi analitik di seluruh platform. Untungnya bagi kami, Amplitudo diperoleh secara berulang sekitar waktu evaluasi kami. Mereka mulai mengintegrasikan Iteratively ke dalam alat tata kelola data mereka, yang kami manfaatkan saat kami membangun tim yang menciptakan proses luar biasa seputar instrumentasi rilis. Dengan Amplitudo, transformasi untuk memperbaiki data historis yang berantakan jauh lebih mudah disiapkan dan dikelola.

Kami telah memigrasikan semua dokumentasi acara kami ke data.amplitude.com dan perlahan melewati ratusan acara. Untuk pertama kalinya, kami mendapatkan pemahaman yang lebih baik tentang di mana ada instrumentasi yang tidak konsisten dan di mana ada properti yang hilang. Kami dapat melihat di mana kami memiliki celah di masa lalu dan memperbaiki kesalahan tersebut dengan cepat. Jadi, bahkan laporan lama dengan peristiwa yang salah format ini dapat menawarkan wawasan yang berharga.

Semua wawasan pengguna yang baru ditemukan ini menarik bagi tim kami karena ini menunjukkan kepada kami bahwa komunitas makanan sosial vertikal dapat lebih menarik daripada yang sepenuhnya didorong oleh algoritme. Fakta bahwa kami dapat melihat pengguna benar-benar memasak, kemudian merespons dan menyimpan lebih banyak dari orang yang mereka ikuti menunjukkan bahwa hipotesis inti kami berhasil.

Jalur yang jelas menuju infrastruktur kelas dunia

Eksperimen dalam Amplitudo menghilangkan perkiraan dalam mengukur dampak perubahan produk, membantu kami memulihkan kepercayaan pada data. Amplitudo memungkinkan kami untuk membangun budaya informasi data yang telah kami kerjakan.

Budaya informasi data dapat mengarah pada pertumbuhan produk yang cepat, efektif, dan berkelanjutan.

Saat kami bergerak menuju pengujian dan pelacakan yang lebih baik, Whisk berada dalam posisi untuk menciptakan infrastruktur data dan eksperimen kelas dunia—dan menjadi contoh bagi komunitas Samsung lainnya. Budaya kita lebih banyak informasi data daripada sebelumnya, yang telah menyebabkan pertumbuhan Whisk yang cepat, efektif, dan berkelanjutan.