Optimizely Intelligence Cloud: Πώς να χρησιμοποιήσετε το Stats Engine To A/B Test πιο έξυπνα και γρηγορότερα

Optimizely Stats Engine and A/B Testing Strategies

Αν θέλετε να εκτελέσετε ένα πρόγραμμα πειραματισμού για να βοηθήσετε την επιχείρησή σας να δοκιμάσει και να μάθει, πιθανότατα χρησιμοποιείτε Optimizely Intelligence Cloud - ή τουλάχιστον το είδες. Το Optimizely είναι ένα από τα πιο ισχυρά εργαλεία στο παιχνίδι, αλλά όπως κάθε τέτοιο εργαλείο, μπορεί να το χρησιμοποιήσετε λάθος αν δεν καταλαβαίνετε πώς λειτουργεί. 

Τι κάνει το Optimizely τόσο ισχυρό; Στον πυρήνα του συνόλου χαρακτηριστικών του βρίσκεται η πιο ενημερωμένη και διαισθητική μηχανή στατιστικών σε ένα εργαλείο τρίτου μέρους, επιτρέποντάς σας να εστιάσετε περισσότερο στη λήψη σημαντικών δοκιμών ζωντανά-χωρίς να χρειάζεται να ανησυχείτε ότι παρερμηνεύετε τα αποτελέσματά σας. 

Όπως και μια παραδοσιακή τυφλή μελέτη στην ιατρική, Α / Β δοκιμές θα εμφανίζονται τυχαία διαφορετικά θεραπείες του ιστότοπού σας με διαφορετικούς χρήστες για να συγκρίνετε στη συνέχεια την αποτελεσματικότητα κάθε θεραπείας. 

Στη συνέχεια, οι στατιστικές μας βοηθούν να βγάλουμε συμπεράσματα για το πόσο αποτελεσματική μπορεί να είναι αυτή η θεραπεία μακροπρόθεσμα. 

Τα περισσότερα εργαλεία δοκιμών Α/Β βασίζονται σε έναν από τους δύο τύπους στατιστικών συμπερασμάτων: στατιστικά στοιχεία Frequentist ή Bayesian. Κάθε σχολείο έχει διάφορα πλεονεκτήματα και μειονεκτήματα - Οι στατιστικές για τη συχνότητα απαιτούν να καθοριστεί ένα μέγεθος δείγματος πριν από την εκτέλεση ενός πειράματος και οι στατιστικές Bayesian ενδιαφέρονται κυρίως για τη λήψη καλών κατευθυντικών αποφάσεων και όχι για τον καθορισμό οποιουδήποτε αριθμού για τον αντίκτυπο, για να αναφέρουμε δύο παραδείγματα. Η υπερδύναμη της Optimizely είναι ότι είναι το μοναδικό εργαλείο στην αγορά σήμερα για να πάρετε ένα καλύτερα από τους δύο κόσμους πλησιάζω.

Το τελικό αποτέλεσμα; Το Optimizely επιτρέπει στους χρήστες να εκτελούν πειράματα γρηγορότερα, πιο αξιόπιστα και πιο διαισθητικά.

Ωστόσο, για να επωφεληθείτε πλήρως από αυτό, είναι σημαντικό να καταλάβετε τι συμβαίνει στα παρασκήνια. Ακολουθούν 5 πληροφορίες και στρατηγικές που θα σας βοηθήσουν να χρησιμοποιήσετε τις δυνατότητες του Optimizely σαν επαγγελματίας.

Στρατηγική #1: Κατανοήστε ότι δεν δημιουργούνται όλες οι μετρήσεις ίσες

Στα περισσότερα εργαλεία δοκιμών, ένα θέμα που συνήθως παραβλέπεται είναι ότι όσο περισσότερες μετρήσεις προσθέτετε και παρακολουθείτε ως μέρος της δοκιμής σας, τόσο πιο πιθανό είναι να δείτε κάποια λανθασμένα συμπεράσματα λόγω τυχαίας πιθανότητας (στα στατιστικά στοιχεία, αυτό ονομάζεται «πρόβλημα πολλαπλών δοκιμών ”). Προκειμένου να διατηρήσει τα αποτελέσματα του αξιόπιστα, το Optimizely χρησιμοποιεί μια σειρά ελέγχων και διορθώσεων για να διατηρήσει τις πιθανότητες να συμβεί αυτό όσο το δυνατόν χαμηλότερα. 

Αυτά τα στοιχεία ελέγχου και διορθώσεις έχουν δύο συνέπειες όταν πηγαίνετε για να ρυθμίσετε δοκιμές στο Optimizely. Πρώτον, η μέτρηση που ορίζετε ως δική σας Κύρια μετρική θα αποκτήσει ταχύτερη στατιστική σημασία, όλα τα άλλα σταθερά. Δεύτερον, όσο περισσότερες μετρήσεις προσθέτετε σε ένα πείραμα, τόσο περισσότερο θα χρειαστούν οι μεταγενέστερες μετρήσεις σας για να αποκτήσουν στατιστική σημασία.

Όταν σχεδιάζετε ένα πείραμα, βεβαιωθείτε ότι γνωρίζετε ποια μέτρηση θα είναι ο Αληθινός Βορράς κατά τη διαδικασία λήψης αποφάσεων, κάντε την κύρια μέτρησή σας. Στη συνέχεια, διατηρήστε το υπόλοιπο της λίστας μετρήσεων σας άκυρο, αφαιρώντας οτιδήποτε είναι υπερβολικό ή εφαπτόμενο.

Στρατηγική #2: Δημιουργήστε τα δικά σας προσαρμοσμένα χαρακτηριστικά

Το Optimizely είναι εξαιρετικό στο να σας προσφέρει αρκετούς ενδιαφέροντες και χρήσιμους τρόπους για να τμηματοποιήσετε τα αποτελέσματα του πειράματός σας. Για παράδειγμα, μπορείτε να εξετάσετε εάν ορισμένες θεραπείες αποδίδουν καλύτερα σε επιτραπέζιους υπολογιστές έναντι κινητών ή να παρατηρήσετε διαφορές μεταξύ των πηγών επισκεψιμότητας. Καθώς ωριμάζει το πρόγραμμα πειραματισμού σας, θα επιθυμείτε γρήγορα νέα τμήματα-αυτά μπορεί να είναι ειδικά για την περίπτωση χρήσης σας, όπως τμήματα για αγορές εφάπαξ έναντι συνδρομής ή γενικά όπως "νέοι έναντι επιστροφών επισκεπτών" (που, ειλικρινά, δεν μπορούμε ακόμα να καταλάβουμε γιατί αυτό δεν παρέχεται έξω από το κουτί).

Τα καλά νέα είναι ότι μέσω του πεδίου Optimizely Project Javascript, οι μηχανικοί που είναι εξοικειωμένοι με το Optimizely μπορούν να δημιουργήσουν οποιονδήποτε αριθμό ενδιαφέροντων προσαρμοσμένων χαρακτηριστικών στα οποία μπορούν να αποδοθούν και να τμηματοποιηθούν οι επισκέπτες. Στην Cro Metrics, έχουμε δημιουργήσει μια σειρά από ενότητες μετοχών (όπως "νέοι έναντι επιστροφών επισκεπτών") που εγκαθιστούμε για όλους τους πελάτες μας μέσω του Project Javascript. Η αξιοποίηση αυτής της ικανότητας είναι ένας βασικός διαφοροποιητής μεταξύ ώριμων ομάδων που διαθέτουν τους κατάλληλους τεχνικούς πόρους για να τους βοηθήσουν στην εκτέλεση και ομάδων που αγωνίζονται να αξιοποιήσουν πλήρως τις δυνατότητες του πειραματισμού.

Στρατηγική #3: Εξερευνήστε τον επιταχυντή στατιστικών Optimizely

Ένα συχνά υπερεκπληρωμένο χαρακτηριστικό εργαλείου δοκιμής είναι η δυνατότητα χρήσης «πολλαπλών ληστών», ενός τύπου αλγορίθμου μηχανικής εκμάθησης που αλλάζει δυναμικά όπου κατανέμεται η επισκεψιμότητά σας κατά τη διάρκεια ενός πειράματος, για να στείλει όσο περισσότερους επισκέπτες στους «νικητές» παραλλαγή κατά το δυνατόν. Το ζήτημα με τους πολέμους ληστές είναι ότι τα αποτελέσματά τους δεν είναι αξιόπιστοι δείκτες μακροπρόθεσμης απόδοσης, οπότε η περίπτωση χρήσης αυτών των τύπων πειραμάτων περιορίζεται σε περιπτώσεις ευαίσθητες στο χρόνο, όπως προωθήσεις πωλήσεων.

Το Optimizely, όμως, έχει έναν διαφορετικό τύπο αλγορίθμων ληστών που διατίθεται στους χρήστες σε υψηλότερα σχέδια - Stats Accelerator (τώρα γνωστή ως η επιλογή "Accelerate Learnings" εντός των Bandits). Σε αυτήν τη ρύθμιση, αντί να προσπαθεί να κατανείμει δυναμικά την επισκεψιμότητα στην παραλλαγή με τις υψηλότερες επιδόσεις, η Optimizely κατανέμει δυναμικά την επισκεψιμότητα στις παραλλαγές που πιθανότατα θα έχουν ταχύτερη στατιστική σημασία. Με αυτόν τον τρόπο, μπορείτε να μάθετε γρηγορότερα και να διατηρήσετε την αναπαραγωγικότητα των παραδοσιακών αποτελεσμάτων δοκιμών Α/Β.

Στρατηγική #4: Προσθέστε Emojis στα μετρικά σας ονόματα

Με την πρώτη ματιά, αυτή η ιδέα μάλλον ακούγεται παράταιρη, ακόμη και παράλογη. Ωστόσο, μια βασική πτυχή για να βεβαιωθείτε ότι διαβάζετε τα σωστά αποτελέσματα του πειράματος ξεκινά από τη διασφάλιση ότι το κοινό σας μπορεί να καταλάβει την ερώτηση. 

Μερικές φορές παρά τις προσπάθειές μας, τα ονόματα μετρικών μπορεί να μπερδευτούν (περιμένετε - ενεργοποιείται αυτή η μέτρηση όταν γίνεται αποδεκτή η παραγγελία ή όταν ο χρήστης χτυπήσει τη σελίδα ευχαριστιών;), ή ένα πείραμα έχει τόσες πολλές μετρήσεις που κάνουν κύλιση πάνω -κάτω στα αποτελέσματα σελίδα οδηγεί σε συνολική γνωστική υπερφόρτωση.

Η προσθήκη emoji στα ονόματα των μετρήσεων σας (στόχοι, πράσινα σημάδια ελέγχου, ακόμη και η μεγάλη τσάντα χρημάτων θα μπορούσε να λειτουργήσει) μπορεί να οδηγήσει σε σελίδες που είναι πολύ πιο σαρώσιμες. 

Εμπιστευτείτε μας - η ανάγνωση των αποτελεσμάτων θα είναι πολύ πιο εύκολη.

Στρατηγική #5: Επανεξετάστε το επίπεδο στατιστικής σημασίας σας

Τα αποτελέσματα θεωρούνται οριστικά στο πλαίσιο ενός πειράματος Optimizely όταν έχουν φτάσει στατιστική σημασίαΤο Η στατιστική σημασία είναι ένας σκληρός μαθηματικός όρος, αλλά ουσιαστικά είναι η πιθανότητα οι παρατηρήσεις σας να είναι το αποτέλεσμα μιας πραγματικής διαφοράς μεταξύ δύο πληθυσμών και όχι μόνο τυχαίας πιθανότητας. 

Τα αναφερόμενα επίπεδα στατιστικής σημασίας της Optimizely είναι «πάντα έγκυρα» χάρη σε μια μαθηματική έννοια που ονομάζεται διαδοχικές δοκιμές - αυτό στην πραγματικότητα τα καθιστά πολύ πιο αξιόπιστα από αυτά των άλλων εργαλείων δοκιμών, τα οποία είναι επιρρεπή σε κάθε είδους ζητήματα "peeking" αν τα διαβάσετε πολύ σύντομα.

Αξίζει να εξεταστεί ποιο επίπεδο στατιστικής σημασίας θεωρείτε σημαντικό για το πρόγραμμα δοκιμών σας. Ενώ το 95% αποτελεί σύμβαση στην επιστημονική κοινότητα, δοκιμάζουμε αλλαγές ιστότοπων και όχι εμβόλια. Μια άλλη κοινή επιλογή στον πειραματικό κόσμο: 90%. Είστε όμως πρόθυμοι να αποδεχτείτε λίγο περισσότερη αβεβαιότητα για να εκτελέσετε πειράματα πιο γρήγορα και να δοκιμάσετε περισσότερες ιδέες; Θα μπορούσατε να χρησιμοποιήσετε στατιστική σημασία 85% ή και 80%; Το να είστε σκόπιμοι σχετικά με το υπόλοιπο κινδύνου-ανταμοιβής σας μπορεί να πληρώσει εκθετικά μερίσματα με την πάροδο του χρόνου, οπότε σκεφτείτε το προσεκτικά.

Διαβάστε περισσότερα για το Optimizely Intelligence Cloud

Αυτές οι πέντε γρήγορες αρχές και πληροφορίες θα είναι απίστευτα χρήσιμες για να έχετε κατά νου κατά τη χρήση του Optimizely. Όπως συμβαίνει με οποιοδήποτε εργαλείο, αυτό οφείλεται στο να βεβαιωθείτε ότι έχετε κατανοήσει καλά όλες τις προσαρμογές των παρασκηνίων, ώστε να μπορείτε να βεβαιωθείτε ότι χρησιμοποιείτε το εργαλείο αποτελεσματικά και αποτελεσματικά. Με αυτές τις αντιλήψεις, μπορείτε να έχετε τα αξιόπιστα αποτελέσματα που αναζητάτε, όταν τα χρειάζεστε. 

Ποια είναι η γνώμη σας;

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει το spam. Μάθετε πώς επεξεργάζονται τα δεδομένα των σχολίων σας.