Δοκιμές A / B - Πώς να οδηγήσετε την επιτυχία μάρκετινγκ και την υιοθέτηση από τους χρήστες στο Dynamics 365

Αναρωτηθήκατε ποτέ πώς οι γίγαντες τεχνολογίας όπως το Netflix και το Twitter μένουν μπροστά από τον ανταγωνισμό από έτος σε έτος; Οι προγραμματιστές πίσω από τις δοκιμές Α / Β έχουν πολλά να απαντήσουν.

Αρχικά δημοσιεύτηκε στο https://daveclark.io/

Netflix ακόμη και εικόνες A / B δοκιμής που χρησιμοποιούνται για τίτλους ταινιών, αντλώντας το βλέμμα των θεατών τους σε νέες ταινίες επιτυχίας, παίρνοντας αυτό το πρώτο κλικ που οδηγεί σε περισσότερα λεπτά παρακολουθούμε ταινίες και παρέχοντας μια καλύτερη εμπειρία χρήστη.

Στην πραγματικότητα, η Netflix λέει ότι η δοκιμή A / B μιας εικόνας τίτλου μερικές φορές έχει ως αποτέλεσμα 20% έως 30% περισσότερη προβολή για αυτόν τον τίτλο. Πηγή.

Τι είναι λοιπόν ο έλεγχος A / B; Πώς μπορούν τα Dynamics 365 και Power Platform να επωφεληθούν από αυτό;

Εισαγωγή

Αυτή η ανάρτηση αρχίζει εξηγώντας τι είναι η δοκιμή A / B. Στη συνέχεια εξετάζει μια περίπτωση χρήσης και ιστορία επιτυχίας από μια μεγάλη εταιρία τεχνολογίας για να βοηθήσει να δικαιολογήσουμε γιατί εμείς, ως σύμβουλοι Power Platform και προγραμματιστές, πρέπει να φροντίσουμε για αυτό το εργαλείο.

Στη συνέχεια, περνάμε ένα παράδειγμα στο Dynamics 365 που είναι ήδη διαθέσιμο σε εμάς, για να βοηθήσουμε στην επιτυχία του μάρκετινγκ.

Τέλος εξετάζουμε άλλους τρόπους με τους οποίους μπορούμε να χρησιμοποιήσουμε τον έλεγχο A / B στο Dynamics για να προσελκύσουμε τους τελικούς χρήστες για την έγκαιρη υιοθέτηση από τους χρήστες και την επιτυχία των έργων και τη συνεχιζόμενη αύξηση της παραγωγικότητας.

Τι είναι η δοκιμή A / B;

Η ιδέα πίσω από τον έλεγχο A / B είναι να δημιουργηθεί μια ομάδα ελέγχου και μία ή περισσότερες πειραματικές ομάδες και να τους παρασχεθούν διαφορετικές εκδόσεις ενός προϊόντος. Στη συνέχεια, μπορούμε να παρακολουθήσουμε μετρήσεις σε κάθε ομάδα, όπως:

  • Ποσότητα δεδομένων που συμπληρώθηκε σε φόρμα Dynamics 365
  • Ώρα που απαιτείται για να ανοίξετε και να αποθηκεύσετε μια φόρμα
  • Κάνε κλικ μέσα σε email marketing

Οποιαδήποτε βασική μέτρηση για να αποφασίσετε ποια έκδοση του προϊόντος είναι πιο επιτυχημένη.

Έχετε πάει ποτέ σε μια συνάντηση απαιτήσεων όπου οι ενδιαφερόμενοι διαφωνούν σχετικά με τη διάταξη για μια φόρμα σε μια εφαρμογή; Με τις δοκιμές A / B μπορούμε να αποφασίσουμε τις αλλαγές προϊόντων με βάση τα δεδομένα, αντί για τον πιο δυνατό φορέα.

Πραγματική ιστορία επιτυχίας

Η Ubisoft είναι ένας εκδότης βιντεοπαιχνιδιών με έδρα το Παρίσι. Μπορεί να έχετε ακούσει για αυτούς ή κάποια από τα παιχνίδια τους, όπως το Assassin's Creed, το Far Cry και το Splinter Cell του Tom Clancy.

Ενώ κυκλοφόρησε ένα νέο παιχνίδι, For Honor, η Ubisoft δημιούργησε δύο εκδόσεις της σελίδας του παιχνιδιού 'Αγοράστε τώρα' και συγκέντρωσε δεδομένα σχετικά με την επιτυχία κάθε σελίδας κατά τη διάρκεια της εορταστικής περιόδου (Οκτώβριος - Δεκέμβριος 2017).

Πριν από τη φάση της δοκιμής:

Η υπόθεση ήταν ότι η διαδικασία αγοράς θα μπορούσε να απλοποιηθεί μειώνοντας την ανάγκη μετακίνησης σε αυτή τη σελίδα. Όπως δείχνει η παραπάνω εικόνα, πριν ο αγοραστής πρέπει να επιλέξει την προτιμώμενη έκδοση παιχνιδιού, κάντε κύλιση προς τα κάτω, επιλέξτε την κονσόλα τους, μετακινηθείτε προς τα κάτω, τοποθετήστε την παραγγελία τους και εισάγετε τα στοιχεία πληρωμής τους.

Μετά τη φάση της δοκιμής:

Αυτή η νέα έκδοση καταργεί την ανάγκη μετακίνησης καθώς όλες οι επιλογές αγοράς είναι επιλέξιμες σε μία μόνο στήλη. Η σύγκριση δεδομένων δοκιμών μεταξύ των δύο εκδόσεων διάταξης κατέδειξε αύξηση κατά 12% στην παραγωγή ηλεκτροδίου.

Μπορείτε να διαβάσετε την πλήρη μελέτη περίπτωσης εδώ. Αλλά κολλήστε για το κομμάτι διασκέδασης αυτής της θέσης πρώτα: Δοκιμή A / B στο Dynamics 365.

Δοκιμή A / B στο Dynamics 365 για επιτυχία μάρκετινγκ

Σχεδιάζοντας το τέλειο ηλεκτρονικό ταχυδρομείο μάρκετινγκ μπορεί να είναι δύσκολο. Ίσως έχετε μερικές παρόμοιες ιδέες που επιπλέουν γύρω από το θέμα του ηλεκτρονικού ταχυδρομείου, τις εικόνες ή τη διατύπωση. Ίσως να είστε εντάξει αποφασίζοντας ποιο να επιλέξει με βάση τη διαίσθηση ή την εμπειρία του παρελθόντος.

Ή, μπορείτε να χρησιμοποιήσετε τον έλεγχο A / B για να μάθετε ποια από μερικά παρόμοια σχέδια εκτελούν το καλύτερο σε ένα υποσύνολο του κοινού σας. Στη συνέχεια, στείλτε τον επιτυχημένο υποψήφιο στο υπόλοιπο κοινό σας. Όπως έχουμε δει από παλαιότερα παραδείγματα, η βασισμένη στις αποφάσεις σχεδιασμού στα δεδομένα, αντί να υπονοούμε, θα μπορούσε να είναι η έξυπνη κίνηση για να εξασφαλιστεί η επιτυχία.

Παράδειγμα walkwith στο Dynamics 365 για Μάρκετινγκ

Σε αυτό το παράδειγμα δημιουργούμε δύο εκδόσεις μάρκετινγκ ηλεκτρονικού ταχυδρομείου, έκδοση Α και έκδοση Β. Στη συνέχεια ενεργοποιούμε τη λειτουργία δοκιμής A / B στο Dynamics 365 for Marketing στα μηνύματα ηλεκτρονικού ταχυδρομείου μάρκετινγκ. Θα δούμε τι Dynamics 365 μπορεί να μας προσφέρει με όρους:

  • Επιλογές διαμόρφωσης δοκιμής A / B
  • Μετρήσεις απόδοσης
  • Εμφάνιση δεδομένων αποτελεσμάτων δοκιμών

Για να δημιουργήσετε ένα ηλεκτρονικό ταχυδρομείο μάρκετινγκ, μπορείτε να ακολουθήσετε αυτόν τον οδηγό της Microsoft.

Εδώ έχω προετοιμάσει νωρίτερα:

Με τη δημιουργία ενός email marketing, μπορούμε να πατήσουμε το κουμπί δοκιμής Add A / B που εμφανίζεται στα αριστερά του πεδίου του θέματος στο παραπάνω screenshot. Επιλέξτε για να δοκιμάσετε τις αλλαγές στο σώμα ηλεκτρονικού ταχυδρομείου, από το όνομα ή το θέμα ηλεκτρονικού ταχυδρομείου.

Στο παράδειγμά μου, η 'Έκδοση Β' αλλάζει ελαφρώς τη διατύπωση στο σώμα του ηλεκτρονικού ταχυδρομείου:

Για περισσότερες λεπτομέρειες σχετικά με τον τρόπο ρύθμισης των προτύπων ηλεκτρονικού ταχυδρομείου για τη δοκιμή A / B στο Dynamics, ανατρέξτε στην τεκμηρίωση της Microsoft εδώ.

Τώρα είμαστε έτοιμοι να δοκιμάσουμε τα μηνύματα ηλεκτρονικού ταχυδρομείου μας χρησιμοποιώντας ένα ταξίδι πελάτη. Εδώ η τεκμηρίωση της Microsoft επισημαίνει τα εξής:

Για να παράγετε αξιόπιστα αποτελέσματα δοκιμών, πρέπει πάντα να στέλνετε κάθε έκδοση (Α και Β) σε τουλάχιστον 100 παραλήπτες πριν επιτρέψετε στο σύστημα να επιλέξει έναν νικητή. Μια συνήθης συνιστώμενη ρύθμιση θα χρησιμοποιεί ένα τμήμα 1.000 μελών (ή μεγαλύτερο), με μια δοκιμαστική κατανομή που στέλνει την έκδοση Α στο 10% του τμήματος, την έκδοση Β σε άλλο 10% και στη συνέχεια στέλνει το νικηφόρο σχέδιο στο υπόλοιπο 80%.

Το ταξίδι μου έχει απλά δύο βήματα: αρχικά επιλέγει ένα υποσύνολο της βάσης επαφών μου (πρόσφατοι συμμετέχοντες στην εκδήλωση) και έπειτα τους στέλνει το e-mail μάρκετινγκ που μόλις δημιουργούσα.

Για να χρησιμοποιήσετε το ηλεκτρονικό ταχυδρομείο μάρκετινγκ που δημιουργήθηκε νωρίτερα, επιλέξτε το μήνυμά του μηνύματος ηλεκτρονικού ταχυδρομείου μάρκετινγκ στο ταξίδι και, στη συνέχεια, επιλέξτε τις ιδιότητες στα δεξιά και επιλέξτε το νέο μήνυμα στο πεδίο αναζήτησης μηνυμάτων ηλεκτρονικού ταχυδρομείου προώθησης.

Στο παράθυρο ιδιοτήτων θα έχετε επίσης τη δυνατότητα να καθορίσετε τη διανομή δοκιμών A / B, τη μέτρηση και τη διάρκεια δοκιμής:

Με αυτό το configured μπορώ να κάνω κλικ στο 'Go Live' στη γραμμή εντολών. Τότε παίζω το παιχνίδι αναμονής! Σημειώστε ότι η διάρκεια της δοκιμής καθορίστηκε ως 1 ημέρα. Κατά τη διάρκεια αυτής της περιόδου μπορώ να μεταβιβάσω προς τα κάτω στον πίνακα ελέγχου δεδομένων-

Μόλις τελειώσει η δοκιμαστική περίοδος, θα πρέπει να υπάρχει ένας σαφής νικητής: στην περίπτωση αυτή η έκδοση του σώματος ηλεκτρονικού ταχυδρομείου που έλαβε τα περισσότερα κλικ. Το υπόλοιπο 80% της βάσης επαφών μου μπορεί στη συνέχεια να αποσταλεί στην πιο επιτυχημένη έκδοση του ηλεκτρονικού μου μηνύματος μάρκετινγκ.

Το ηλεκτρονικό ταχυδρομείο δοκιμής μου στάλθηκε μόνο σε ένα άτομο (εμένα) ως δοκιμή, όχι σε 100 παραλήπτες σε επίπεδο παραγωγής που συνιστά η Microsoft. Το στιγμιότυπο οθόνης εξακολουθεί να απεικονίζει τις πληροφορίες που μπορούμε να παρακολουθήσουμε: το ποσοστό αποστολής, το ρυθμό παράδοσης, τα μοναδικά ανοίγματα και τα κλικ. Παρόμοια με το Google Analytics ή το ClickDimensions. Σημείωση: Το ClickDimensions υποστηρίζει επίσης δοκιμές A / B.

Ποιά είναι η συνέχεια για τον έλεγχο A / B στο Dynamics 365;

Κατά το χρόνο της γραφής, η εμπορική προώθηση μηνυμάτων ηλεκτρονικού ταχυδρομείου στο Dynamics 365 είναι η μοναδική μονάδα που υποστηρίζει τον έλεγχο A / B. Αλλά αν έχετε διαβάσει αυτό μακριά πρέπει να σκεφτείτε: γιατί να σταματήσετε εκεί;

Η ιδέα # 1: Η ανάλυση της φόρμας Dynamics 365 με τα δεδομένα Azure Application Insights

Υπόθεση: Παρέχοντας υποσύνολα χρηστών με διαφορετικές εκδόσεις παρόμοιας μορφής (π.χ. σύνθετη φόρμα εξυπηρέτησης πελατών), μπορούμε να χρησιμοποιήσουμε το Azure Application Insights (AAI) για να καθορίσουμε ποια είναι η πιο παραγωγική μορφή και επομένως να αυξήσει την παραγωγικότητα της ομάδας. Αυτό το σενάριο δοκιμής A / B θα λειτουργήσει ως εξής:

  • Δύο υποσύνολα της ομάδας εξυπηρέτησης πελατών θα έχουν ένα μοναδικό ρόλο ασφαλείας
  • Θα δημιουργηθούν δύο νέα έντυπα εξυπηρέτησης πελατών (υπόθεση). κάθε παρόμοια αλλά με αλλαγές που υποθέτουμε ότι είναι πιο παραγωγικές
  • Κάθε φόρμα παραδίδεται σε ένα ξεχωριστό υποσύνολο χρηστών χρησιμοποιώντας πρόσβαση ελέγχου ασφαλείας
  • Το AAI και τα αναλυτικά στοιχεία χρήσης μπορούν να χρησιμοποιηθούν για να μετρήσουν τις μετρήσεις απόδοσης των χρηστών και να καθορίσουν ποια μορφή είναι πιο επιτυχημένη (πιο παραγωγική για τους χρήστες μας)
  • Το πιο επιτυχημένο έντυπο θα παραδοθεί σε όλους τους χρήστες της ομάδας εξυπηρέτησης πελατών

Ιδέα # 2: Πύλες δυναμικής με το Google Optimize

Το Google Analytics έχει εγκατασταθεί στις περισσότερες πύλες αυτές τις μέρες. Βοηθά στην παρακολούθηση των επιδόσεων και των στατιστικών χρήσης για τον τρόπο με τον οποίο οι χρήστες ανταποκρίνονται στις πύλες μας.

Αυτό που φαίνεται να χρησιμοποιείται λιγότερο είναι το Google Optimize: ένα εργαλείο από την Google που προσφέρει μια προσέγγιση βάσει δεδομένων για την κατανόηση του τρόπου με τον οποίο μπορούν να γίνουν συνεχείς βελτιώσεις του UX σε μια πύλη για να δημιουργηθεί η καλύτερη εμπειρία για τους χρήστες μας. Η Google περιγράφει τη βελτιστοποίηση ως εξής:

Η βελτιστοποίηση ενσωματώνεται εγγενώς στο Analytics για να σας βοηθήσει να προσδιορίσετε ποια μέρη του ιστότοπού σας χρειάζονται βελτίωση. Χρησιμοποιήστε τα δεδομένα του ιστότοπού σας στο Analytics για να εντοπίσετε γρήγορα και εύκολα τις περιοχές προβλημάτων και στη συνέχεια να μετατρέψετε αυτές τις πληροφορίες σε ενέργεια για να προσφέρετε μια εμπειρία στο διαδίκτυο που λειτουργεί καλύτερα για τους πελάτες σας.

Τα εργαλεία βελτιστοποίησης διατηρούνται πολύ συχνά για την αύξηση των επιδόσεων μάρκετινγκ, συχνά παραβλέποντας τα οφέλη που θα προκύψουν από τη βελτιστοποίηση των μορφών που χρησιμοποιούν οι τελικοί χρήστες μας. Οι πύλες Dynamics χρησιμοποιούνται συχνά ως αγορά με ταμείο, αλλά μερικές φορές είναι ένα εξωτερικό παράθυρο στο Dynamics 365 που χρησιμοποιείται από τους διαχειριστές.

Το Google Optimize χρησιμοποιεί τη δοκιμή A / B και καθιστά ακόμα πιο εύκολο να αντλήσει στοιχεία για το πώς μπορούμε να αυξήσουμε την παραγωγικότητα των τελικών χρηστών χρησιμοποιώντας τις πύλες μας. Δεδομένης αυτής της νέας απλότητας, θεωρώ ότι είναι ώρα να δοθεί μεγαλύτερη προσοχή στην παραγωγικότητα όσον αφορά τη βελτιστοποίηση, αντί να επικεντρωθεί αποκλειστικά στα κέρδη μάρκετινγκ.

Προχωρώντας μπροστά

Θα ήθελα να διερευνήσω τα παραπάνω σημεία περαιτέρω στις μελλοντικές θέσεις του άρθρου, για τώρα όμως θα πρέπει να ζήσουν ως ιδέες. Ίσως έχετε τις δικές σας ιδέες για το πώς θα μπορούσαν να χρησιμοποιηθούν οι δοκιμές A / B για να βελτιώσουν την εμπειρία των χρηστών των εφαρμογών Power Platform και του Dynamics 365;

συμπέρασμα

Έχουμε δει ότι οι δοκιμές A / B χρησιμοποιούνται με μεγάλη επιτυχία από τις εταιρείες τεχνολογίας με αρκετά μεγάλα ακροατήρια για να χωρίσουν τη δοκιμή. Το Dynamics 365 για το μάρκετινγκ χρησιμοποιεί δοκιμές A / B για ομάδες με μεγάλο ακροατήριο στόχων οδηγών ή επαφών, είναι καταστάσεις μαζικής αποστολής μηνυμάτων ηλεκτρονικού ταχυδρομείου. Τα νέα μηνύματα ηλεκτρονικού ταχυδρομείου της καμπάνιας μάρκετινγκ δοκιμάζονται πρώτα απέναντι σε υποσύνολα παραληπτών, μετρήσεις επιτυχίας που έχουν αναλυθεί και μια σχεδίαση ηλεκτρονικού ταχυδρομείου που έχει επιλεγεί για αποστολή στο υπόλοιπο κοινό. Αυτό επιτρέπει στις αποφάσεις σχεδιασμού μάρκετινγκ ηλεκτρονικού ταχυδρομείου να βασίζονται σε εμπειρικά στοιχεία και όχι σε διαίσθηση.

Οι δοκιμές A / B μπορούν να χρησιμοποιηθούν για να βελτιώσουν την εμπειρία των χρηστών του Dynamics 365, υποθέτοντας ότι υπάρχει ένα αρκετά μεγάλο σύνολο χρηστών που θα δοκιμάσουν. Τα στατιστικά στοιχεία εφαρμογών Google Analytics και Azure μετράνε βασικούς δείκτες απόδοσης των αλλαγών του προϊόντος της Dynamics, όπως η διάταξη της φόρμας και οι ροές διεργασιών. Αυτό μπορεί να αποτελέσει μια προσέγγιση βασισμένη στην τεκμηρίωση για τον προσδιορισμό των αλλαγών των προϊόντων που είναι πιο παραγωγικές για τους χρήστες μας και, ως εκ τούτου, πρέπει να αναπτυχθεί σε ολόκληρη τη βάση χρηστών μας.