Αποτίμηση Marcom: Μια εναλλακτική λύση για τις δοκιμές A / B

Έτσι θέλουμε πάντα να ξέρουμε πώς μάρκομ (επικοινωνίες μάρκετινγκ) λειτουργεί, τόσο ως όχημα όσο και για μεμονωμένη καμπάνια. Κατά την αξιολόγηση του marcom είναι σύνηθες να χρησιμοποιούνται απλές δοκιμές A / B. Αυτή είναι μια τεχνική όπου η τυχαία δειγματοληψία συμπληρώνει δύο κελιά για θεραπεία εκστρατείας.

Ένα κελί παίρνει το τεστ και το άλλο κελί δεν θα το κάνει. Στη συνέχεια συγκρίνεται το ποσοστό απόκρισης ή τα καθαρά έσοδα μεταξύ των δύο κελιών. Εάν το κελί δοκιμής υπερτερεί του κελιού ελέγχου (εντός των παραμέτρων δοκιμής ανύψωσης, εμπιστοσύνης κ.λπ.), η καμπάνια θεωρείται σημαντική και θετική.

Γιατί κάτι άλλο;

Ωστόσο, αυτή η διαδικασία στερείται δημιουργίας πληροφοριών. Δεν βελτιστοποιεί τίποτα, εκτελείται σε κενό, δεν έχει επιπτώσεις στη στρατηγική και δεν υπάρχουν έλεγχοι για άλλα ερεθίσματα.

Δεύτερον, πολύ συχνά, η δοκιμή είναι μολυσμένη στο ότι τουλάχιστον ένα από τα κελιά έχει λάβει κατά λάθος άλλες προσφορές, μηνύματα επωνυμίας, επικοινωνίες κ.λπ. Πόσες φορές τα αποτελέσματα των δοκιμών θεωρήθηκαν ασαφή, ακόμη και μη λογικά; Έτσι δοκιμάζουν ξανά και ξανά. Δεν μαθαίνουν τίποτα, εκτός από το ότι η δοκιμή δεν λειτουργεί.

Γι 'αυτό προτείνω τη χρήση συνηθισμένης παλινδρόμησης για έλεγχο όλων των άλλων ερεθισμάτων. Μοντελοποίηση παλινδρόμησης δίνει επίσης πληροφορίες για την αποτίμηση του marcom που μπορεί να δημιουργήσει μια απόδοση επένδυσης (ROI). Αυτό δεν γίνεται υπό κενό, αλλά παρέχει επιλογές ως χαρτοφυλάκιο για τη βελτιστοποίηση του προϋπολογισμού.

Ένα Παράδειγμα

Ας πούμε ότι δοκιμάσαμε δύο μηνύματα ηλεκτρονικού ταχυδρομείου, δοκιμή εναντίον ελέγχου και τα αποτελέσματα επέστρεψαν μη λογικά. Στη συνέχεια, ανακαλύψαμε ότι το τμήμα επωνυμίας μας έστειλε κατά λάθος ένα κομμάτι άμεσου ταχυδρομείου στην (κυρίως) ομάδα ελέγχου. Αυτό το κομμάτι δεν σχεδιάστηκε (από εμάς) ούτε υπολογίστηκε τυχαία στην επιλογή των δοκιμαστικών κελιών. Δηλαδή, η ομάδα επιχειρήσεων ως συνήθως έλαβε το συνηθισμένο άμεσο ταχυδρομείο, αλλά η ομάδα δοκιμής –που πραγματοποιήθηκε– δεν το έπραξε. Αυτό είναι πολύ τυπικό σε μια εταιρεία, όπου μια ομάδα δεν λειτουργεί ούτε επικοινωνεί με μια άλλη επιχειρηματική μονάδα.

Έτσι, αντί να δοκιμάζουμε όπου κάθε σειρά είναι πελάτης, αλλάζουμε τα δεδομένα ανά χρονική περίοδο, ας πούμε εβδομαδιαία. Προσθέτουμε, ανά εβδομάδα, τον αριθμό των δοκιμαστικών email, των email ελέγχου και των άμεσων μηνυμάτων που αποστέλλονται. Περιλαμβάνουμε επίσης δυαδικές μεταβλητές που πρέπει να ληφθούν υπόψη για τη σεζόν, σε αυτήν την περίπτωση ανά τρίμηνο. Ο ΠΙΝΑΚΑΣ 1 δείχνει μια μερική λίστα των συγκεντρωτικών στοιχείων με τη δοκιμή ηλεκτρονικού ταχυδρομείου που ξεκινά από την εβδομάδα 10. Τώρα κάνουμε ένα μοντέλο:

Το συνηθισμένο μοντέλο παλινδρόμησης όπως διατυπώθηκε παραπάνω παράγει έξοδο του ΠΙΝΑΚΑ 2. Συμπεριλάβετε άλλες ανεξάρτητες μεταβλητές ενδιαφέροντος. Ιδιαίτερη προσοχή πρέπει να είναι ότι (καθαρή) τιμή εξαιρείται ως ανεξάρτητη μεταβλητή. Αυτό συμβαίνει επειδή τα καθαρά έσοδα είναι η εξαρτημένη μεταβλητή και υπολογίζεται ως (καθαρή) τιμή * ποσότητα.

ΠΙΝΑΚΑΣ 1

εβδομάδα	em_ δοκιμή	em_cntrl	dir_mail				net_rev
9	0	0	55	1	0	0	$ 1,950
10	22	35	125	1	0	0	$ 2,545
11	23	44	155	1	0	0	$ 2,100
12	30	21	75	1	0	0	$ 2,675
13	35	23	80	1	0	0	$ 2,000
14	41	37	125	0	1	0	$ 2,900
15	22	54	200	0	1	0	$ 3,500
16	0	0	115	0	1	0	$ 4,500
17	0	0	25	0	1	0	$ 2,875
18	0	0	35	0	1	0	$ 6,500

Το να συμπεριλάβουμε την τιμή ως ανεξάρτητη μεταβλητή σημαίνει ότι έχουμε τιμή και στις δύο πλευρές της εξίσωσης, κάτι που είναι ακατάλληλο. (Το βιβλίο μου, Marketing Analytics: Ένας πρακτικός οδηγός για την πραγματική επιστήμη μάρκετινγκ, παρέχει εκτεταμένα παραδείγματα και ανάλυση αυτού του αναλυτικού προβλήματος.) Το προσαρμοσμένο R2 για αυτό το μοντέλο είναι 64%. (Έπεσα το q4 για να αποφύγω την πλαστή παγίδα.) Emc = email ελέγχου και emt = δοκιμαστικό email. Όλες οι μεταβλητές είναι σημαντικές στο επίπεδο 95%.

ΠΙΝΑΚΑΣ 2

				dm	emc	EMT	const
συντελεστής	-949	-1,402	-2,294	12	44	77	5,039
λάθος	474.1	487.2	828.1	2.5	22.4	30.8
αναλογία t	-2	-2.88	-2.77	4.85	1.97	2.49

Όσον αφορά τη δοκιμή email, το δοκιμαστικό email ξεπέρασε τα email ελέγχου κατά 77 έναντι 44 και ήταν πολύ πιο σημαντικό. Έτσι, λαμβάνοντας υπόψη άλλα πράγματα, το δοκιμαστικό email λειτούργησε. Αυτές οι πληροφορίες έρχονται ακόμη και όταν τα δεδομένα είναι μολυσμένα. Ένα τεστ A / B δεν θα το παρήγαγε αυτό.

Ο ΠΙΝΑΚΑΣ 3 λαμβάνει τους συντελεστές για τον υπολογισμό της αποτίμησης marcomm, μια συμβολή κάθε οχήματος ως προς τα καθαρά έσοδα. Δηλαδή, για τον υπολογισμό της αξίας της άμεσης αλληλογραφίας, ο συντελεστής 12 πολλαπλασιάζεται με τον μέσο αριθμό των άμεσων μηνυμάτων που αποστέλλονται από 109 για να λάβετε 1,305 $. Οι πελάτες ξοδεύουν ένα μέσο ποσό 4,057 $. Ετσι 1,305 $ / 4,057 $ = 26.8%. Αυτό σημαίνει ότι η άμεση αλληλογραφία συνέβαλε σχεδόν στο 27% των συνολικών καθαρών εσόδων. Όσον αφορά την απόδοση επένδυσης (ROI), 109 απευθείας μηνύματα παράγουν 1,305 $. Εάν ένας κατάλογος κοστίζει 45 $ τότε ROI = (1,305 $ - 55 $) / 55 $ = 2300%!

Επειδή η τιμή δεν ήταν ανεξάρτητη μεταβλητή, συνάγεται συνήθως το συμπέρασμα ότι η επίδραση της τιμής βυθίζεται στη σταθερά. Σε αυτήν την περίπτωση, η σταθερά του 5039 περιλαμβάνει τιμή, άλλες μεταβλητές που λείπουν και ένα τυχαίο σφάλμα ή περίπου το 83% των καθαρών εσόδων.

ΠΙΝΑΚΑΣ 3

				dm	emc	EMT	const
Κοφ	-949	-1,402	-2,294	12	44	77	5,039
εννοώ	0.37	0.37	0.11	109.23	6.11	4.94	1
$ 4,875	- 352 $	- 521 $	- 262 $	$ 1,305	$ 269	$ 379	$ 4,057
αξία	-7.20%	-10.70%	-5.40%	26.80%	5.50%	7.80%	83.20%

Συμπέρασμα

Η συνηθισμένη παλινδρόμηση προσέφερε μια εναλλακτική λύση για την παροχή πληροφοριών σχετικά με τα βρώμικα δεδομένα, όπως συμβαίνει συχνά σε ένα εταιρικό πρόγραμμα δοκιμών. Το Regression παρέχει επίσης συμβολή στα καθαρά έσοδα, καθώς και σε μια επιχειρηματική περίπτωση για την απόδοση επένδυσης (ROI). Η συνηθισμένη παλινδρόμηση είναι μια εναλλακτική τεχνική από την άποψη της αποτίμησης του marcomm.