Developer Stories A/B Testing: Membuat Eksperimen Push Notification

A/B Testing: Membuat Eksperimen Push Notification

A/B Testing (Split Testing) adalah cara untuk membandingkan dua versi aplikasi atau sebuah halaman yang memungkinkan untuk menentukan manakah yang memiliki kinerja lebih baik.

a/b testing push notification application
Alur A/B Testing

A/B Testing dapat menentukan efektivitas dari strategi-strategi yang digunakan untuk pengguna atau audiens. A/B Testing dapat menguji kinerja dari berbagai hal, misalnya page layoutemoticonsinteractive buttons, dan lain-lain. A/B Testing juga bisa dilakukan untuk menganalisis aplikasi saat pembuatan versi barunya.

Dalam artikel ini, akan dibahas khusus untuk A/B Testing Push Notification Messaging. Akan dijelaskan tahapan yang bisa menjadi acuan dalam membuat eksperimen pesan push notification.


Membuat Eksperimen Pesan Push Notification

Untuk menyiapkan A/B Testing pada variasi Mobile Messaging, penulis merekomendasikan proses berikut, yang didasarkan pada growth marketing testing principles:

Langkah 1: Tentukan Hipotesis

Cari tahu jenis pesan apa yang kemungkinan besar akan direspons pengguna atau audiens. Definisikan kategori pesan push notification yang akan dibuat; apakah edukasi, promosi,atau transaksional. Haruskah pesan berkesan serius, ceria, simpel, ataukah emosional.

Langkah 2: Jalankan Pengujian

Tulis push notification dengan menggunakan pendekatan yang berbeda-beda kemudian uji pesan tersebut. Eksperimen dengan variasi pesan yang berbeda untuk pengguna atau audiens tertentu untuk mendapatkan data laporan engagement dari setiap variasi.

Langkah 3: Dokumentasikan Hasil

Mana yang lebih baik? Seberapa banyak? Apa isi dari masing-masing push notification yang diuji? Akan sangat sulit apabila mengandalkan ingatan. Oleh sebab itu, mendokumentasikan hasil dalam spreadsheet akan lebih efektif sehingga dapat fokus pada data. Pastikan untuk mendokumentasikan A/B Testing dari awal hingga akhir, kelompok mana yang menerima varian apa, terdiri dari varian apa saja dan apa dampaknya terhadap metrik kesuksesan.

Langkah 4: Ambil Aksi

Analisis hasilnya. Lihat varian mana yang lebih baik, tindak lanjuti berdasarkan data, dan optimalkan langkah selanjutnya berdasarkan apa yang telah dipelajari.

Eksperimen Pesan Push Notification di Aplikasi Yuk Sholat Memakai Firebase A/B Testing

Selama magang di GITS Indonesia, salah satu yang saya kerjakan adalah analisis produk . Saya melakukan A/B Testing pada pesan push notification-nya. Seperti langkah di atas, berikut ini yang saya lakukan.

Langkah 1: Tentukan Hipotesis

Setelah dipertimbangkan, hipotesis yang saya ambil adalah seberapa berpengaruh push notification (general) terhadap user retentionUser retention adalah keberlangsungan pengguna dalam memakai suatu aplikasi. Pengukurannya bisa lewat durasi waktu dalam sekian hari. Di sini, saya juga ingin melihat apakah retensi pengguna berbeda-beda pula tergantung kapan notifikasi tersebut masuk ke ponselnya.

Langkah 2: Jalankan Pengujian

— Atur Dasar Eksperimen

push notification a/b testing test application
Pengaturan Dasar Eksperimen

Penjelasan tiap kolom

Nama dan Deskripsi (opsional): deskripsikan eksperimen.

Pengguna target: pilih aplikasi yang akan dilakukan eksperimen terhadapnya, bisa juga memilih subset user yang akan terlibat dalam eksperimen, terdiri atas:

  1. Versi: Satu atau beberapa versi aplikasi
  2. Audiens pengguna: Audiens analitik yang digunakan untuk menargetkan pengguna untuk disertakan dalam percobaan. Di sini saya memilih seluruh pengguna atau 100% pengguna sebagai audiens
  3. Properti pengguna: Satu atau beberapa properti pengguna Analytics untuk memilih pengguna yang mungkin disertakan dalam percobaan
  4. Prediksi: Kelompok pengguna yang diprediksi oleh pembelajaran mesin untuk terlibat dalam perilaku tertentu
  5. Negara/Wilayah: Satu atau beberapa negara atau wilayah untuk memilih pengguna yang mungkin dimasukkan dalam percobaan
  6. Bahasa perangkat: Satu atau lebih bahasa yang digunakan untuk memilih pengguna yang mungkin dimasukkan dalam percobaan.

Persentase pengguna:Atur jumlah persentase pengguna, range: 0,01-100%

— Atur Variasi

Variasi isi pesan push notification dapat dilakukan pada bagian ini.

Grup kontrol:Grup kontrol adalah subkumpulan pengguna yang menerima perilaku aplikasi secara normal. Untuk menambah variasi, bisa mengklik Tambahkan variasi (Add Variant).

— Atur Target Capaian

push notification mobile application development a/b test testing
Pengaturan Sasaran

Menentukan target atau goal metrik yang ingin dicapai dari eksperimen. Pada eksperimen Yuk Sholat, untuk saat ini ditentukan goal untuk menganalisis pengaruh notifikasi terhadap User Retention & Engagement.

— Atur Pilihan

opsi pesan push notification a/b testing
Pengaturan Opsi Pesan

Tentukan opsi tambahan untuk pesan yang akan dikirim, yakni:

Tanggal pengiriman: Pilih Kirim sekarang untuk meluncurkan percobaan secara langsung, atau Dijadwalkan untuk menentukan waktu untuk meluncurkan percobaan sesuai jadwal
Opsi lanjutan: Opsi lanjutan untuk semua pemberitahuan yang termasuk dalam percobaan. Perluas opsi lanjut, lalu ubah salah satu opsi pesan yang tercantum.

Demikian bahasan mengenai push notification dengan Firebase A/B Testing beserta eksperimen yang saya lakukan pada aplikasi Yuk Sholat ketika magang di GITS Indonesia.


Fakry Adi Permana adalah pekerja magang di GITS Indonesia. Magang menjadi asisten Product Owner dan berkuliah di Telkom University.

LEAVE A REPLY

Please enter your comment!
Please enter your name here

More articles

Latest article

Implementasi REST API di iOS Development menggunakan Alamofire dan SwiftyJSON

iOS Development – Tentang REST API Bagi seorang developer, mungkin sudah tidak asing lagi...

GITS Expert Talks: Guide to Building a Learning Organization

In 1995, Peter Senge coined the term of a Learning Organization. He defines it as a company that facilitates learning of its...

GITS Webinar: How to Build UI UX Portfolio that Stand Out

Apa saja yang harus disiapkan UI/UX designer dalam membuat portfolio? Setelah kamu membuat UI design, lalu bagaimana cara mendokumentasikan...

12 Pelajaran dalam GITS 12 Tahun

GITS genap berumur 12 tahun pada 13 September ini. Ini juga tandanya saya sudah 2 tahun lebih 1...

Customer Loyalty Program yang Cocok untuk Masa Pandemi COVID-19

Customer loyalty program atau program loyalitas kepada pelanggan adalah tentang bagaimana menghargai pelanggan. Kemudian, pada akhirnya, pelanggan yang...