A/B Testing (Split Testing) adalah cara untuk membandingkan dua versi aplikasi atau sebuah halaman yang memungkinkan untuk menentukan manakah yang memiliki kinerja lebih baik.
A/B Testing dapat menentukan efektivitas dari strategi-strategi yang digunakan untuk pengguna atau audiens. A/B Testing dapat menguji kinerja dari berbagai hal, misalnya page layout, emoticons, interactive buttons, dan lain-lain. A/B Testing juga bisa dilakukan untuk menganalisis aplikasi saat pembuatan versi barunya.
Dalam artikel ini, akan dibahas khusus untuk A/B Testing Push Notification Messaging. Akan dijelaskan tahapan yang bisa menjadi acuan dalam membuat eksperimen pesan push notification.
Membuat Eksperimen Pesan Push Notification
Untuk menyiapkan A/B Testing pada variasi Mobile Messaging, penulis merekomendasikan proses berikut, yang didasarkan pada growth marketing testing principles:
Langkah 1: Tentukan Hipotesis
Cari tahu jenis pesan apa yang kemungkinan besar akan direspons pengguna atau audiens. Definisikan kategori pesan push notification yang akan dibuat; apakah edukasi, promosi,atau transaksional. Haruskah pesan berkesan serius, ceria, simpel, ataukah emosional.
Langkah 2: Jalankan Pengujian
Tulis push notification dengan menggunakan pendekatan yang berbeda-beda kemudian uji pesan tersebut. Eksperimen dengan variasi pesan yang berbeda untuk pengguna atau audiens tertentu untuk mendapatkan data laporan engagement dari setiap variasi.
Langkah 3: Dokumentasikan Hasil
Mana yang lebih baik? Seberapa banyak? Apa isi dari masing-masing push notification yang diuji? Akan sangat sulit apabila mengandalkan ingatan. Oleh sebab itu, mendokumentasikan hasil dalam spreadsheet akan lebih efektif sehingga dapat fokus pada data. Pastikan untuk mendokumentasikan A/B Testing dari awal hingga akhir, kelompok mana yang menerima varian apa, terdiri dari varian apa saja dan apa dampaknya terhadap metrik kesuksesan.
Langkah 4: Ambil Aksi
Analisis hasilnya. Lihat varian mana yang lebih baik, tindak lanjuti berdasarkan data, dan optimalkan langkah selanjutnya berdasarkan apa yang telah dipelajari.
Eksperimen Pesan Push Notification di Aplikasi Yuk Sholat Memakai Firebase A/B Testing
Selama magang di GITS Indonesia, salah satu yang saya kerjakan adalah analisis produk Yuk Sholat — Jadwal Sholat & Arah Kiblat. Saya melakukan A/B Testing pada pesan push notification-nya. Seperti langkah di atas, berikut ini yang saya lakukan.
Langkah 1: Tentukan Hipotesis
Setelah dipertimbangkan, hipotesis yang saya ambil adalah seberapa berpengaruh push notification (general) terhadap user retention. User retention adalah keberlangsungan pengguna dalam memakai suatu aplikasi. Pengukurannya bisa lewat durasi waktu dalam sekian hari. Di sini, saya juga ingin melihat apakah retensi pengguna berbeda-beda pula tergantung kapan notifikasi tersebut masuk ke ponselnya.
Langkah 2: Jalankan Pengujian
— Atur Dasar Eksperimen
Penjelasan tiap kolom
Nama dan Deskripsi (opsional): deskripsikan eksperimen.
Pengguna target: pilih aplikasi yang akan dilakukan eksperimen terhadapnya, bisa juga memilih subset user yang akan terlibat dalam eksperimen, terdiri atas:
- Versi: Satu atau beberapa versi aplikasi
- Audiens pengguna: Audiens analitik yang digunakan untuk menargetkan pengguna untuk disertakan dalam percobaan. Di sini saya memilih seluruh pengguna atau 100% pengguna sebagai audiens
- Properti pengguna: Satu atau beberapa properti pengguna Analytics untuk memilih pengguna yang mungkin disertakan dalam percobaan
- Prediksi: Kelompok pengguna yang diprediksi oleh pembelajaran mesin untuk terlibat dalam perilaku tertentu
- Negara/Wilayah: Satu atau beberapa negara atau wilayah untuk memilih pengguna yang mungkin dimasukkan dalam percobaan
- Bahasa perangkat: Satu atau lebih bahasa yang digunakan untuk memilih pengguna yang mungkin dimasukkan dalam percobaan.
Persentase pengguna:Atur jumlah persentase pengguna, range: 0,01-100%
— Atur Variasi
Variasi isi pesan push notification dapat dilakukan pada bagian ini.
Grup kontrol:Grup kontrol adalah subkumpulan pengguna yang menerima perilaku aplikasi secara normal. Untuk menambah variasi, bisa mengklik Tambahkan variasi (Add Variant).
— Atur Target Capaian
Menentukan target atau goal metrik yang ingin dicapai dari eksperimen. Pada eksperimen Yuk Sholat, untuk saat ini ditentukan goal untuk menganalisis pengaruh notifikasi terhadap User Retention & Engagement.
— Atur Pilihan
Tentukan opsi tambahan untuk pesan yang akan dikirim, yakni:
Tanggal pengiriman: Pilih Kirim sekarang untuk meluncurkan percobaan secara langsung, atau Dijadwalkan untuk menentukan waktu untuk meluncurkan percobaan sesuai jadwal
Opsi lanjutan: Opsi lanjutan untuk semua pemberitahuan yang termasuk dalam percobaan. Perluas opsi lanjut, lalu ubah salah satu opsi pesan yang tercantum.
Demikian bahasan mengenai push notification dengan Firebase A/B Testing beserta eksperimen yang saya lakukan pada aplikasi Yuk Sholat ketika magang di GITS Indonesia.
Fakry Adi Permana adalah pekerja magang di GITS Indonesia. Magang menjadi asisten Product Owner dan berkuliah di Telkom University.
