Memperbesar proses pembuatan mesin rekomendasi

Lebih dari 80% acara yang ditonton orang di Netflix ditemukan melalui mesin rekomendasi platform. Artinya, sebagian besar yang Anda lihat adalah hasil dari keputusan yang dibuat oleh mesin yang canggih.

Layanan streaming mengandalkan kecerdasan buatan untuk melihat utas bernuansa dalam konten dan mendalami preferensi pemirsa. Dan aman untuk mengatakan: upaya terbayar!

Jika Anda masih berada di belakang kurva tetapi ingin meningkatkan pengalaman pelanggan dengan bisnis Anda, teruslah membaca. Dalam posting blog ini, kami memandu Anda melalui proses pembuatan mesin rekomendasi dan menjelaskan semua yang perlu Anda ketahui sebelum beralih ke vendor layanan AI.

Mesin rekomendasi 101: hal-hal yang perlu diketahui sebelum memulai pengembangan

Sebelum kita membahas cara membuat mesin rekomendasi, mari kita lihat jenis, kasus penggunaan, dan opsi penerapannya.

Secara tradisional, sistem rekomendasi dibagi menjadi dua kategori besar: penyaringan berbasis konten dan sistem penyaringan kolaboratif.

Penyaringan berbasis konten

Sistem penyaringan berbasis konten menghasilkan rekomendasi berdasarkan karakteristik atau fitur konten. Dengan kata lain, mereka merekomendasikan produk atau konten yang mirip dengan yang disukai atau berinteraksi dengan pengguna sebelumnya. Dengan cara ini, mesin rekomendasi dapat menyarankan "A Farewell to Arms" kepada pembaca yang menyukai "All Quiet on the Western Front" dan "Catch-22".

Tapi bagaimana mesin tahu barang mana yang mirip? Mari kita lihat pendekatan Netflix untuk membangun mesin rekomendasi untuk memahaminya. Meskipun sistem rekomendasi Netflix bersifat hibrid, ia sangat bergantung pada kesamaan konten.

Layanan streaming memiliki tim pemberi tag, yang menonton setiap konten baru dan melabelinya. Tag berkisar dari seberapa penuh aksi karya tersebut hingga apakah itu diatur di luar angkasa atau dibintangi oleh aktor tertentu. Menganalisis data tag terhadap perilaku pemirsa dengan algoritme pembelajaran mesin memungkinkan platform streaming mengetahui apa yang benar-benar relevan untuk setiap pengguna.

Penyaringan kolaboratif

Sistem pemfilteran kolaboratif membuat rekomendasi berdasarkan umpan balik pengguna. Sistem seperti itu berasumsi bahwa pengguna yang menikmati item serupa cenderung bereaksi serupa terhadap produk dan konten baru.

Ada dua pendekatan untuk membuat mesin rekomendasi dengan mengandalkan pemfilteran kolaboratif: berbasis pengguna dan berbasis item.

Dengan pemfilteran berbasis pengguna, Anda membuat segmen pengguna serupa dengan preferensi bersama. Jadi, pengguna kemungkinan akan merekomendasikan item yang disukai pengguna lain dari segmen tersebut. Fitur konten tidak dipertimbangkan.

Dengan pemfilteran berbasis item, mesin membuat rekomendasi berdasarkan kesamaan item yang disukai pengguna dengan yang disarankan. Kedengarannya mirip dengan pemfilteran berbasis konten, bukan? Meskipun pemfilteran berbasis konten dan sistem pemfilteran kolaboratif berbasis item menggunakan kemiripan item untuk membuat rekomendasi, keduanya berbeda dalam menentukan kesamaan.

Sistem pemfilteran berbasis konten hanya merekomendasikan item yang mirip dengan yang sudah disukai pengguna. Dengan pemfilteran kolaboratif berbasis item, Anda akan direkomendasikan item yang mirip dengan yang Anda sukai dan juga disukai oleh pengguna di segmen Anda.

Kasus penggunaan mesin rekomendasi

Personalisasi tingkat tinggi telah menjadi kebutuhan yang diharapkan pengguna, mendorong bisnis untuk memperkaya pengalaman online mereka dengan mesin rekomendasi. Sektor-sektor di mana mesin rekomendasi telah menjadi rentang umum:

• Ritel dan e-niaga: Mesin rekomendasi dalam e-niaga dapat melakukan apa saja mulai dari mengkategorikan produk hingga menyarankan item baru untuk dibeli pelanggan. Dampak yang didorong oleh penerapan mesin rekomendasi dalam e-commerce dan peningkatan layanan pelanggan, peningkatan pemasaran, dan kemungkinan yang lebih luas untuk peningkatan penjualan yang menyertainya sulit ditaksir terlalu tinggi. Misalnya, taipan e-niaga terkenal, Amazon, menghasilkan 35% pendapatannya dengan bantuan sistem rekomendasinya.
• Media dan hiburan: Dari membuat daftar putar hingga menawarkan saran yang dipersonalisasi berdasarkan interaksi sebelumnya, mesin rekomendasi membantu platform media dan hiburan melibatkan pengguna lebih lama dengan menampilkan konten yang tidak akan mereka temukan. Platform media dan hiburan terbesar, seperti YouTube, Netflix, dan Spotify, sangat bergantung pada rekomendasi hasil personalisasi AI untuk menarik dan mempertahankan pengguna baru.
• Media sosial: Sektor media sosial juga memanfaatkan kemungkinan untuk memberikan saran yang dipersonalisasi. Membantu pengguna menemukan halaman dan akun yang serupa, platform media sosial mendorong pengguna mereka untuk menghabiskan lebih banyak waktu berinteraksi dengan konten, yang mendorong rasio klik-tayang dan meningkatkan pendapatan.
• Perbankan dan keuangan: Sistem rekomendasi berbasis AI memungkinkan bank menganalisis transaksi pengguna dan meningkatkan penjualan untuk meningkatkan pendapatan. Misalnya, saat pengguna membeli tiket penerbangan senilai $500, mesin rekomendasi secara otomatis menganggap mereka terbang ke luar negeri dan menyarankan agar mereka membeli paket asuransi perjalanan.

Opsi implementasi untuk dipilih

Saat Anda memulai perjalanan membangun mesin rekomendasi, Anda akan menemukan beberapa opsi penerapan dengan kelebihan dan pertimbangannya masing-masing, yaitu:

Mesin rekomendasi plug-and-play

Mesin rekomendasi plug-and-play menawarkan cara yang nyaman dan bebas repot untuk memasukkan rekomendasi hasil personalisasi ke dalam produk atau platform Anda. Mereka dibuat sebelumnya dan dirancang untuk diintegrasikan dengan mulus ke dalam infrastruktur Anda yang ada.

Keuntungan utama dari mesin rekomendasi plug-and-play terletak pada kesederhanaan dan kemudahan penggunaannya. Mereka biasanya dirancang agar mudah digunakan, bahkan memungkinkan audiens non-teknis untuk mengaturnya dengan sedikit usaha. Contoh mesin rekomendasi plug-and-play mencakup platform seperti Recombee, Seldon, dan LiftIgniter.

Mesin rekomendasi plug-and-play downside hadir dengan kustomisasi dan kemampuan beradaptasi yang terbatas. Meskipun mereka menawarkan kenyamanan dan kecepatan, mereka mungkin tidak memberikan tingkat fleksibilitas dan penyempurnaan yang ditawarkan oleh solusi khusus.

Layanan rekomendasi berbasis cloud yang telah dilatih sebelumnya

Mesin rekomendasi berbasis cloud memungkinkan pemanfaatan sumber daya komputasi yang luas dan keahlian penyedia layanan cloud. Layanan rekomendasi ini biasanya menyediakan API yang mudah digunakan yang memungkinkan pengembang mengintegrasikan fungsionalitas rekomendasi dengan mudah ke dalam aplikasi mereka.

Mesin rekomendasi berbasis cloud juga sangat dapat diskalakan, yang memungkinkan mereka menangani basis pengguna yang besar dan beban lalu lintas yang tinggi. Keuntungan lainnya adalah peningkatan berkelanjutan karena model dasar diperbarui dan disempurnakan oleh penyedia layanan.

Vendor layanan cloud terkemuka, seperti Amazon Web Services, Google Cloud Platform, dan Microsoft Azure, menawarkan layanan rekomendasi terlatih.

Faktor-faktor yang perlu dipertimbangkan saat memilih layanan rekomendasi berbasis cloud pra-pelatihan meliputi privasi data, vendor lock-in, dan persyaratan penyesuaian. Meskipun layanan ini menawarkan kenyamanan dan skalabilitas, layanan tersebut mungkin memiliki keterbatasan dalam hal menyesuaikan algoritme rekomendasi agar sesuai dengan kebutuhan spesifik bisnis Anda.

Mesin rekomendasi khusus

Mesin rekomendasi khusus menawarkan tingkat fleksibilitas dan kontrol tertinggi, memungkinkan Anda menggabungkan algoritme kepemilikan, memanfaatkan pengetahuan khusus domain, dan mempertimbangkan nuansa data Anda. Menggunakan cara kustom memungkinkan Anda menangkap seluk-beluk preferensi pengguna, karakteristik item, dan faktor kontekstual, biasanya menghasilkan rekomendasi yang lebih akurat dan relevan.

Namun, meskipun mesin rekomendasi khusus menawarkan fleksibilitas paling besar, mesin tersebut juga memerlukan sumber daya pengembangan yang substansial, keahlian dalam pembelajaran mesin, dan upaya pemeliharaan berkelanjutan. Jadi, sebelum membuat mesin rekomendasi khusus, nilai dengan cermat kebutuhan bisnis Anda, sumber daya yang tersedia, dan tujuan jangka panjang.

Aturan praktisnya adalah menggunakan rute khusus dalam skenario berikut:

• Anda memiliki kebutuhan bisnis yang unik: Jika bisnis Anda memiliki persyaratan unik yang tidak dapat dipenuhi dengan solusi siap pakai, lakukan kebiasaan. Ini akan memungkinkan Anda untuk menyesuaikan algoritme dengan tugas spesifik Anda. Misalnya, Anda adalah platform ecommerce khusus yang menjual produk artisanal. Anda mungkin memiliki persyaratan yang berbeda dalam hal menyarankan produk: mesin rekomendasi harus mempertimbangkan faktor-faktor seperti kelangkaan produk, keahlian, dan preferensi pengguna untuk gaya atau bahan tertentu. Membuat mesin rekomendasi dari awal akan memungkinkan Anda menghasilkan rekomendasi yang selaras dengan preferensi pengguna.
• Anda menginginkan kontrol dan kepemilikan penuh: Membuat mesin rekomendasi khusus memberi Anda kontrol penuh atas seluruh proses pembuatan rekomendasi: mulai dari prapemrosesan data hingga pemilihan algoritme hingga penyempurnaan. Ini memungkinkan Anda untuk mendapatkan kepemilikan penuh atas sistem dan mengadaptasinya saat bisnis Anda berkembang tanpa bergantung pada solusi pihak ketiga.
• Anda memiliki pengetahuan khusus domain: Jika Anda memiliki keahlian khusus domain atau akses ke data khusus yang dapat meningkatkan akurasi rekomendasi secara signifikan, membuat solusi khusus memungkinkan Anda memanfaatkan pengetahuan tersebut secara efektif. Dengan mengembangkan mesin rekomendasi yang disesuaikan, Anda dapat menggabungkan fitur atau batasan khusus domain yang mungkin tidak tersedia dalam solusi terlatih.
• Aplikasi Anda memerlukan skalabilitas dan kinerja tinggi: Jika Anda mengantisipasi volume besar pengguna atau item, memiliki batasan latensi yang ketat, atau perlu memproses kumpulan data yang besar dan kompleks, membuat mesin rekomendasi khusus memberi Anda fleksibilitas untuk merancang dan mengoptimalkan sistem secara maksimal skalabilitas dan kinerja. Hal yang sama berlaku jika Anda ingin membuat rekomendasi waktu nyata atau mendekati waktu nyata.
• Anda ingin mendapatkan keunggulan kompetitif: Jika rekomendasi yang akurat merupakan faktor pembeda inti untuk produk atau layanan Anda, membuat mesin rekomendasi khusus dapat memberi Anda keunggulan kompetitif. Berinvestasi dalam solusi yang dibuat khusus dalam hal ini dapat memberikan peluang untuk memberikan pengalaman unik dan personal, meningkatkan keterlibatan, loyalitas, dan kepuasan pelanggan.

Membangun mesin rekomendasi khusus, selangkah demi selangkah

Memberikan rekomendasi yang dipersonalisasi adalah tugas yang biasanya diselesaikan dengan pembelajaran mesin. Neural network juga dapat digunakan, namun perannya sebagian besar terbatas pada prapemrosesan data pelatihan. Berikut adalah langkah-langkah kunci dalam proses membangun mesin rekomendasi yang dibagikan oleh pengembang pembelajaran mesin ITRex.

Langkah 1. Menetapkan arah

Memulai pengembangan dengan menetapkan arah untuk sisa proyek. Hal-hal penting yang harus dilakukan pada tahap ini antara lain:

Menetapkan tujuan dan menentukan ruang lingkup proyek

Uraikan dengan jelas apa yang ingin Anda capai dengan sistem rekomendasi dan pertimbangkan tujuan yang ditetapkan terhadap batasan sumber daya dan anggaran. Misalnya, jika Anda ingin meningkatkan keterlibatan pelanggan dan meningkatkan penjualan di toko online Anda, Anda mungkin membatasi ruang lingkup proyek untuk merekomendasikan produk kepada pelanggan yang telah melakukan pembelian. Mempertahankan ruang lingkup yang cukup sempit memerlukan upaya yang lebih sedikit daripada membangun mesin rekomendasi yang menargetkan semua pelanggan, sementara potensi untuk menghasilkan ROI tetap cukup tinggi.

Menilai sumber data yang tersedia

Kinerja sistem rekomendasi sangat bergantung pada volume dan kualitas data pelatihan. Sebelum memulai pelatihan, nilai dengan cermat apakah Anda memiliki poin data yang cukup untuk menghasilkan rekomendasi.

Menentukan metrik kinerja

Salah satu tantangan utama dalam membangun mesin rekomendasi yang harus diperhitungkan sejak awal adalah menentukan metrik kesuksesan. Temukan cara untuk mengetahui apakah pengguna benar-benar menikmati rekomendasi yang baru dibuat sebelum Anda mulai melatih algoritme ML.

Langkah 2. Kumpulkan data pelatihan

Langkah selanjutnya dalam proses membangun sistem rekomendasi khusus adalah mengumpulkan dan menyiapkan data untuk melatih algoritme pembelajaran mesin. Untuk membangun sistem rekomendasi yang andal, Anda memerlukan data yang cukup tentang preferensi pengguna.

Bergantung pada pendekatan untuk membuat mesin rekomendasi, fokus Anda akan bergeser. Saat membuat sistem pemfilteran kolaboratif, data yang Anda kumpulkan berpusat pada perilaku pengguna. Dengan sistem pemfilteran berbasis konten, Anda berkonsentrasi pada fitur konten yang disukai pengguna.

Penyaringan kolaboratif

Data tentang perilaku pengguna dapat datang dalam berbagai bentuk:

• Umpan balik pengguna eksplisit adalah segala sesuatu yang mengharuskan pengguna melakukan upaya, seperti menulis ulasan, menyukai konten atau produk, mengeluh, atau memulai pengembalian.
• Umpan balik pengguna implisit, seperti riwayat pembelian sebelumnya, waktu yang dihabiskan pengguna untuk melihat penawaran tertentu, kebiasaan melihat/mendengarkan, umpan balik yang tersisa di media sosial, dan banyak lagi.

Saat membangun mesin rekomendasi, kami menyarankan untuk menggabungkan umpan balik eksplisit dan implisit, karena yang terakhir memungkinkan menggali preferensi pengguna yang mungkin enggan mereka akui, membuat sistem lebih akurat.

Penyaringan berbasis konten

Saat mengumpulkan data untuk sistem pemfilteran berbasis konten, penting untuk memahami fitur produk/konten mana yang harus Anda andalkan saat menggali apa yang disukai pengguna.

Misalkan Anda sedang membangun mesin rekomendasi untuk pecinta musik. Anda dapat mengandalkan analisis spektogram untuk memahami jenis musik yang disukai pengguna tertentu dan merekomendasikan lagu dengan spektogram serupa.

Alternatifnya, Anda dapat memilih lirik lagu sebagai dasar untuk rekomendasi Anda dan menyarankan lagu yang memiliki tema serupa.

Kuncinya adalah menguji dan menyetel untuk memahami apa yang paling cocok untuk Anda dan siap untuk terus meningkatkan model awal.

Langkah 3. Bersihkan dan proses data

Untuk membuat mesin rekomendasi berperforma tinggi, Anda harus memperhitungkan perubahan selera pengguna. Bergantung pada apa yang Anda rekomendasikan, ulasan atau peringkat lama mungkin tidak lagi relevan.

Untuk mencegah ketidakakuratan, pertimbangkan untuk hanya melihat fitur yang cenderung mewakili selera pengguna saat ini, menghapus data yang tidak lagi relevan, dan menambahkan lebih banyak bobot pada tindakan pengguna baru-baru ini daripada tindakan lama.

Langkah 4. Pilih algoritma yang optimal

Langkah selanjutnya dalam proses membangun mesin rekomendasi adalah memilih algoritme pembelajaran mesin yang sesuai untuk tugas Anda. Ilmuwan data ITRex merekomendasikan untuk mempertimbangkan hal-hal berikut:

• Matrix Factorization memecah kumpulan data besar menjadi bagian-bagian yang lebih kecil untuk mengungkap pola tersembunyi dan kesamaan antara pengguna dan item.
• Faktorisasi Tensor adalah perluasan dari faktorisasi matriks yang dapat menangani struktur data berdimensi lebih tinggi yang disebut tensor. Ini menangkap pola yang lebih kompleks dengan menguraikan tensor menjadi faktor laten, memberikan pemahaman yang lebih mendetail tentang interaksi pengguna-item.
• Mesin Faktorisasi adalah model kuat yang dapat menangani data berdimensi tinggi dan jarang. Mereka menangkap interaksi antar fitur dan dapat diterapkan pada tugas rekomendasi. Dengan mempertimbangkan interaksi fitur, mereka dapat memberikan rekomendasi yang akurat meskipun data tidak lengkap.
• Model lingkungan menemukan kesamaan antara pengguna atau item berdasarkan atribut atau perilaku. Sangat efektif untuk pemfilteran kolaboratif, mereka membangun koneksi di antara pengguna atau item dalam jaringan dan membuat rekomendasi berdasarkan preferensi pengguna atau item serupa.
• Random Walk adalah algoritma berbasis grafik yang mengeksplorasi koneksi antar item atau pengguna dalam jaringan. Dengan menavigasi jaringan, itu menangkap kesamaan antara item atau pengguna, membuat rekomendasi berdasarkan koneksi yang ditangkap.
• SLIM adalah teknik yang digunakan dalam sistem rekomendasi untuk memahami bagaimana item terkait satu sama lain. Ini berfokus pada menemukan pola dalam hubungan antara item dan menggunakan pola tersebut untuk membuat rekomendasi.
• Model Linier memprediksi preferensi item pengguna berdasarkan hubungan linier antar fitur. Meskipun mudah dipahami dan cepat dilatih, pendekatan ini mungkin tidak menangkap pola kompleks seefektif pendekatan lainnya.

Selain itu, Anda dapat memilih dari model pembelajaran mendalam berikut:

• DSSM (Deep Structured Semantic Models) mempelajari representasi teks atau dokumen. Mereka fokus pada menangkap makna semantik kata-kata dan hubungan mereka dalam kerangka terstruktur.
• Graph Convolutional Networks dirancang untuk data terstruktur grafik. Mereka beroperasi pada grafik, menangkap hubungan dan interaksi antara node dalam grafik.
• Variational Auto-Encoder adalah model generatif yang mempelajari representasi data dengan menangkap ruang laten yang mendasarinya. Model ini menggunakan arsitektur encoder-decoder untuk memampatkan data ke dalam ruang berdimensi lebih rendah dan merekonstruksinya.
• Transformer adalah model yang menggunakan mekanisme self-attention untuk menangkap hubungan kontekstual antara kata-kata dalam sebuah kalimat atau dokumen.

Yang penting untuk diperhatikan adalah bahwa metode di atas jarang digunakan secara terpisah. Sebaliknya, mereka digabungkan melalui teknik dan algoritme berikut:

• Ensembling melibatkan pelatihan beberapa model secara mandiri dan kemudian menggabungkan prediksi mereka melalui berbagai teknik. Setiap model memberikan kontribusi yang sama untuk prediksi akhir, dan kombinasinya biasanya langsung dan tidak melibatkan pelatihan model tambahan.
• Penumpukan mengambil pendekatan yang lebih maju. Ini melibatkan pelatihan beberapa model, disebut sebagai model dasar, dan kemudian menggabungkan prediksi mereka melalui model meta. Model dasar membuat prediksi berdasarkan data input, dan prediksinya menjadi fitur input untuk model meta. Meta-model kemudian dilatih untuk membuat prediksi akhir.
• AdaBoost adalah algoritme pembelajaran ansambel yang meningkatkan akurasi model dasar dengan melatihnya secara iteratif pada subset data yang berbeda. Pendekatan ini berfokus pada contoh yang sulit untuk diklasifikasikan dengan benar dan memberi mereka lebih banyak perhatian dalam iterasi pelatihan berikutnya. Di setiap iterasi, AdaBoost memberikan bobot pada instans pelatihan berdasarkan akurasi klasifikasinya. Ini kemudian melatih model yang berkinerja buruk pada data berbobot, di mana bobot tersebut menekankan contoh yang salah klasifikasi dari iterasi sebelumnya.
• XGBoost adalah metode ansambel yang menggabungkan model prediksi lemah secara iteratif untuk membuat model yang lebih kuat. Ini melatih model secara berurutan, di mana setiap model berikutnya mengoreksi kesalahan yang dibuat oleh model sebelumnya.

Langkah 4. Latih dan validasi model

Setelah Anda memusatkan perhatian pada algoritme untuk mesin rekomendasi Anda, saatnya untuk melatih dan memvalidasi model tersebut. Beginilah langkah dalam proses membangun mesin rekomendasi ini:

Untuk memulainya, Anda perlu membagi data menjadi dua set: set pelatihan dan set pengujian. Set pelatihan, seperti namanya, mengajarkan model Anda untuk mengenali pola dalam preferensi pengguna. Set pengujian membantu menilai kinerja model pada data baru.

Dengan set pelatihan di tangan, mulailah melatih model Anda. Ini melibatkan pemaparan algoritme ke data, memungkinkannya mempelajari pola dan hubungan yang mendasarinya.

Setelah fase pelatihan, saatnya untuk mengevaluasi kinerja model menggunakan rangkaian pengujian. Ini akan membantu Anda memahami seberapa efektif model menggeneralisasi data baru.

Alternatifnya, Anda dapat mengandalkan umpan balik waktu nyata untuk memahami seberapa baik kinerja model. Dengan cara ini, Anda menerapkan model dalam produksi dan memetakan rekomendasi yang dihasilkan ke umpan balik pengguna. Kemudian Anda pindah ke langkah berikutnya, di mana Anda menetapkan model untuk menyesuaikan parameternya melalui proses pembelajaran berulang.

Langkah 5. Sesuaikan hyperparameter model

Setelah mengevaluasi performa model, Anda dapat menyempurnakannya sesuai kebutuhan. Mari pertimbangkan contoh sistem rekomendasi yang dibangun di atas algoritme pemfilteran kolaboratif.

Dalam pemfilteran kolaboratif, jumlah tetangga menentukan berapa banyak pengguna atau item serupa yang dipertimbangkan saat membuat rekomendasi. Misalkan Anda sedang membangun mesin rekomendasi yang mengandalkan pemfilteran kolaboratif dan menyarankan film baru. Awalnya, Anda menyetel jumlah tetangga menjadi 10, artinya model mempertimbangkan preferensi dari 10 pengguna yang paling mirip saat membuat rekomendasi.

Setelah mengevaluasi performa model, Anda menemukan bahwa ketepatan rekomendasi lebih rendah dari yang diinginkan. Untuk memperbaikinya, Anda memutuskan untuk menyempurnakan model dengan menyesuaikan jumlah tetangga.

Untuk mempelajari dampak ukuran tetangga yang berbeda, Anda dapat menjalankan eksperimen dengan nilai rentang. Misalnya, mengurangi jumlah tetangga menjadi 5 dapat menyebabkan peningkatan presisi yang signifikan. Namun, Anda mungkin melihat sedikit penurunan daya ingat, yang menunjukkan bahwa model tersebut kehilangan beberapa rekomendasi yang relevan. Meningkatkan angka 20, pada gilirannya, dapat menyebabkan sedikit peningkatan dalam ingatan, tetapi saran mungkin menjadi kurang personal.

Kuncinya adalah berkompromi antara presisi dan daya ingat serta mencapai keseimbangan antara menangkap preferensi pengguna yang beragam dan mempertahankan rekomendasi yang akurat.

Langkah 6. Terapkan, pantau, dan perbarui model

Dengan model prima dan siap diluncurkan, saatnya menerapkannya.

Untuk memastikan penerapan yang berhasil, pertimbangkan cara paling efektif untuk menggabungkan model ke dalam infrastruktur Anda yang ada. Misalnya, Anda dapat menyematkan model ke bagian belakang situs web Anda, memastikannya berinteraksi dengan antarmuka pengguna secara mulus. Integrasi ini memungkinkan rekomendasi waktu nyata yang beradaptasi secara dinamis dengan preferensi pengguna.

Sebagai alternatif, Anda dapat menerapkan model sebagai layanan, seperti API mesin rekomendasi, yang dapat dengan mudah dipanggil oleh komponen lain dari aplikasi Anda. Pendekatan berorientasi layanan ini memastikan fleksibilitas dan skalabilitas, memungkinkan aplikasi Anda memanfaatkan kemampuan mesin rekomendasi dengan mudah.

Fase implementasi juga merupakan saat yang tepat untuk mempertimbangkan bagaimana rekomendasi akan disajikan kepada pengguna. Apakah mereka akan ditampilkan sebagai saran yang dipersonalisasi di beranda situs web, dikategorikan dengan rapi dalam antarmuka yang intuitif? Atau apakah mereka akan diintegrasikan dengan mulus ke dalam antarmuka aplikasi, muncul pada saat yang tepat untuk mengejutkan pengguna? Pilihan ada di tangan Anda, tetapi selalu utamakan pengalaman pengguna.

Terakhir, sangat penting untuk menguji model yang diimplementasikan secara ketat untuk memastikan fungsionalitasnya yang lancar. Jalankan pengujian komprehensif untuk memvalidasi kinerja dan perilakunya di berbagai interaksi pengguna, untuk memastikan rekomendasinya akurat, tepat waktu, dan selaras dengan harapan pengguna.

Tantangan membangun mesin rekomendasi, dan cara menyelesaikannya

Memahami tantangan membangun mesin rekomendasi sangat penting untuk memberikan rekomendasi yang dipersonalisasi dan relevan. Berikut ini ikhtisar yang paling umum:

Tantangan 1. Mengukur kesuksesan

Salah satu tantangan utama dalam membangun mesin rekomendasi yang harus diperhitungkan sejak awal adalah menentukan metrik kesuksesan. Dengan kata lain, sebelum mulai mengumpulkan data dan melatih algoritme ML, Anda harus mencari cara yang andal untuk mengetahui apakah pengguna benar-benar menikmati rekomendasi yang baru dibuat. Ini akan memandu proses pengembangan Anda.

Katakanlah, Anda adalah platform streaming. Anda dapat menghitung jumlah suka atau langganan berbayar bulanan untuk mengukur seberapa baik kinerja mesin rekomendasi Anda. Namun, kemungkinan rekomendasi Anda baik-baik saja, sementara pengguna enggan menyatakan preferensi mereka secara eksplisit atau membayar layanan tersebut.

Pengalaman ilmuwan data kami menunjukkan bahwa perilaku pengguna adalah cara yang lebih andal untuk mengukur performa sistem rekomendasi. Kami tidak akan meragukan pengguna telah menikmati acara jika mereka menontonnya secara berlebihan dalam satu malam, bahkan tanpa umpan balik eksplisit yang diberikan.

Tantangan 2. Kutukan dimensi

Dimensi data mengacu pada jumlah fitur dalam kumpulan data. Fitur input yang lebih banyak sering kali mempersulit pembuatan mesin rekomendasi yang akurat. Mari kita ambil YouTube sebagai contoh. Di platform, miliaran video dan pengguna hidup berdampingan, dan setiap pengguna mencari rekomendasi yang dipersonalisasi. Namun, sumber daya manusia dan komputasi terbatas, dan hampir tidak ada orang yang mau menghabiskan waktu berjam-jam menunggu rekomendasi dimuat.

Untuk mengatasi tantangan ini, diperlukan langkah tambahan, pembuatan kandidat, sebelum meluncurkan algoritme rekomendasi. Langkah ini memungkinkan mempersempit miliaran video menjadi, katakanlah, puluhan ribu. Dan kelompok yang lebih kecil ini kemudian digunakan untuk menghasilkan rekomendasi.

Berbagai strategi, dengan pencarian tetangga terdekat menjadi yang paling menonjol, digunakan untuk generasi kandidat. Praktik umum lainnya untuk mengatasi masalah dimensi termasuk menjelajahi kategori atau preferensi populer yang dibagikan di antara orang-orang dari kelompok usia yang sama.

Tantangan 3. Awal yang dingin

Masalah umum lainnya dalam proses pembuatan mesin rekomendasi, teka-teki cold start muncul saat sistem kekurangan informasi yang memadai tentang pengguna atau item, sehingga sulit untuk memberikan rekomendasi yang akurat. Mengatasi rintangan ini melibatkan penggunaan metode seperti pemfilteran kolaboratif, pemfilteran berbasis konten, atau pendekatan hibrid.

Tantangan 4. Ekor panjang

Sistem rekomendasi mungkin mengalami fenomena yang dikenal sebagai "ekor panjang". Artinya, barang-barang populer mendapat lebih banyak perhatian dan rekomendasi, sementara barang-barang yang kurang populer tetap tidak diperhatikan oleh pengguna. Mengatasi masalah ini memerlukan pembuatan rekomendasi yang dipersonalisasi dan mempertimbangkan preferensi pengguna individual.

Tantangan 5. Awal yang dingin untuk item baru

Saat item baru ditambahkan ke sistem, sistem hanya memiliki sedikit atau tidak ada data historis untuk menghasilkan rekomendasi, sehingga sulit untuk membuat saran yang relevan. Salah satu pendekatan untuk mengatasi masalah ini adalah dengan menggunakan filter konten dan secara aktif melibatkan pengguna untuk berinteraksi dengan item baru melalui promosi atau iklan.

Tantangan 6. Awal yang dingin untuk pengguna baru

Demikian pula, pengguna baru mungkin tidak memiliki data historis yang memadai untuk rekomendasi yang akurat. Untuk mengatasi tantangan ini, metode seperti pemfilteran berbasis konten, permintaan umpan balik, dan survei pengguna awal dapat digunakan.

Tantangan 7. Ketersebaran data

Dalam sistem rekomendasi, ketersebaran data adalah kejadian umum di mana banyak pengguna menilai atau berinteraksi dengan sejumlah kecil item. Ini menimbulkan tantangan dalam memprediksi preferensi pengguna. Untuk mengatasi masalah ini, metode faktorisasi matriks yang menggabungkan reduksi dimensi, regularisasi, dan teknik lainnya dapat digunakan.

Singkatnya

Membangun mesin rekomendasi adalah perjalanan yang didorong oleh algoritme, wawasan pengguna, dan penyempurnaan berulang. Dari mendefinisikan masalah hingga memilih pendekatan yang tepat melalui pemrosesan awal data hingga pelatihan model, setiap langkah berkontribusi pada pembuatan sistem rekomendasi yang kuat.

Kemampuan mesin rekomendasi untuk memahami preferensi pengguna dan memberikan rekomendasi yang disesuaikan dapat memiliki potensi besar untuk bisnis Anda. Amazon, YouTube, Spotify, dan banyak bisnis lain yang kurang dikenal, namun tidak kalah sukses, merevolusi produk mereka dan kemudian meningkatkan pendapatan dengan rekomendasi yang disesuaikan.

Misalnya, Spotify, platform streaming musik yang mengandalkan rekomendasi yang sangat dipersonalisasi sebagai faktor pembeda utama, terus meningkatkan basis pengguna dan pendapatannya setiap tahun. Tepat di Q4 2022, janji untuk menemukan lagu favorit baru telah membawa platform ini 20% lebih banyak pengguna aktif bulanan, menghasilkan 33 juta penambahan bersih.

Jika Anda masih berada di belakang kurva, sekarang saatnya memanfaatkan kekuatan AI dan merevolusi pengalaman pengguna Anda dengan mesin rekomendasi khusus.

Ingin menyempurnakan solusi Anda dengan mesin rekomendasi yang andal? Bicaralah dengan konsultan ITRex.

Awalnya diterbitkan di https://itrexgroup.com pada 6 Juni 2023.