Einen A/B-Test für Ihre Gratisversand-Leiste in Shopify durchführen

Was der Test misst

Ein A/B-Test beantwortet eine einzige Frage: wie viel Ihnen der Fortschrittsbalken bringt. Jeder Besucher landet zufällig in einer von zwei Gruppen. Die erste Gruppe sieht Ihren Shop wie heute, mit dem Balken und Ihren Stufen. Die zweite Gruppe kauft ohne den Balken ein. Am Ende vergleicht Yaco den Umsatz pro Besucher der beiden Gruppen.

Ein Besucher bleibt von Seite zu Seite und bei späteren Besuchen in derselben Gruppe, und von Gerät zu Gerät, wenn er in seinem Kundenkonto angemeldet ist. Die Zuteilung erfolgt im Browser, aus der bereits geladenen Konfiguration: Der Test verlangsamt Ihren Shop nicht.

Was Besucher ohne Balken erleben

Sie wählen, was diese Gruppe verliert. Mit Den Balken und seine Angebote hat sie weder den Balken noch Ihre Geschenke oder die Rabatte von Yaco: Der Test misst alles, was der Balken einbringt. Mit Nur den Balken behält sie ihre Geschenke und Rabatte: Der Test misst, was die Anzeige des Balkens zu Ihren Angeboten beiträgt.

In beiden Fällen:

• Kein Fortschrittsbalken, weder im Warenkorb-Drawer noch auf der Warenkorbseite, den Produktseiten, in App-Blöcken oder im Checkout.
• Produktempfehlungen erscheinen weiterhin, ohne jeden Hinweis auf Stufen.
• Angebote, die nicht von Yaco stammen, bleiben bestehen, etwa Ihre Versandtarife, Ihre eigenen automatischen Rabatte und Rabattcodes.

Mit Den Balken und seine Angebote (Standard):

• Keine Stufe wird freigeschaltet: Kein Gratisgeschenk wird hinzugefügt, die Geschenkauswahl öffnet sich nie, und es gilt weder ein Rabatt noch Gratisversand von Yaco, im Shop wie im Checkout. Ein Geschenk, das schon in ihrem Warenkorb liegt, wird entfernt.

Mit Nur den Balken:

• Stufen werden wie gewohnt freigeschaltet: Gratisgeschenke werden hinzugefügt, die Geschenkauswahl öffnet sich, wenn es eine Wahl gibt, und Rabatte und Gratisversand von Yaco gelten, im Shop wie im Checkout. Ausgeblendet werden nur der Balken, die Angebotsübersicht und der Stufenhinweis in Empfehlungen: Geschenkauswahl, Geschenk-Button und Geschenkliste bleiben, damit Ihre Besucher ihr Geschenk einlösen können.

Nur Ihr veröffentlichtes Theme wird getestet. Der Theme-Editor und Theme-Vorschauen zeigen den Balken immer an. Besucher, deren Browser das Speichern von Daten blockiert, wie es manche privaten Fenster tun, nehmen nicht am Test teil: Sie sehen den Balken und werden nicht gezählt.

Wer es nutzen kann

A/B-Tests sind in jedem bezahlten Plan enthalten: Starter, Premium, Optimize und ältere Pläne, die nicht mehr angeboten werden. Der kostenlose Plan enthält sie nicht. Der Menüpunkt A/B-Tests (Beta) ist in jedem Plan sichtbar; im kostenlosen Plan stellt die Seite die Funktion vor und verweist auf die Pläne. Wechselt Ihr Shop während eines Tests in den kostenlosen Plan oder wird die App deinstalliert, endet der Test. Siehe Abonnement und die Preisseite.

Einen Test starten

1. Öffnen Sie A/B-Tests (Beta).
2. Klicken Sie unter Einstellung wählen auf 50/50, 70/30, 80/20 oder 90/10. Jede Option zeigt ihre empfohlene Dauer für Ihren Shop, und ein Klick legt Aufteilung und Dauer zugleich fest. 50/50 trägt den Hinweis Am schnellsten. Um die Aufteilung selbst festzulegen, verschieben Sie den Regler Aufteilung der Besucher, von 1 % bis 99 % der Besucher mit Balken, in Schritten von einem Prozent.
3. Behalten Sie unter Zu erkennender Unterschied 15 % (Standard) bei oder wählen Sie 20 % (großer Unterschied) oder 10 % (feiner Unterschied). Der Test liefert ein Ergebnis, wenn der Balken den Umsatz pro Besucher um mindestens diesen Wert verändert.
4. Behalten Sie unter Was Besucher ohne Balken verlieren die Option Den Balken und seine Angebote bei oder wählen Sie Nur den Balken.
5. Behalten Sie unter Dauer die empfohlene Dauer bei oder wählen Sie eine andere, von 1 bis 8 Wochen.
6. Klicken Sie auf Test starten. Ein Fenster fasst den Test vor dem Start zusammen: seine Dauer, sein Enddatum, den Anteil der Besucher ohne Balken und was sie verlieren. Bestätigen Sie, um ihn zu starten.

Es läuft immer nur ein Test zur selben Zeit. Aufteilung, zu erkennender Unterschied, Dauer und was Besucher ohne Balken verlieren lassen sich während des Tests nicht ändern: Beenden Sie ihn und starten Sie einen neuen. Sie erhalten eine E-Mail, wenn der Test startet, mit einem Link zum Test.

Wie die Dauer empfohlen wird

Yaco liest Ihre Online-Bestellungen der letzten 28 Tage: wie viele Sie pro Tag erhalten und wie stark ihre Beträge schwanken. Daraus berechnet Yaco, wie viele Bestellungen der Test braucht, um nach den üblichen Standards (95 % Konfidenz, 80 % Teststärke) den gewählten Unterschied beim Umsatz pro Besucher zu erkennen, und rechnet das in Wochen um.

• Die Dauer wird auf ganze Wochen aufgerundet, damit jeder Wochentag gleich viel Gewicht hat: von 1 bis 8 Wochen.
• Je feiner der zu erkennende Unterschied, desto mehr Bestellungen braucht der Test, und desto länger läuft er. Ein halb so großer Unterschied braucht viermal so viele Bestellungen.
• Eine andere Aufteilung als 50/50 braucht mehr Bestellungen, die empfohlene Dauer wird also länger. Nahe an den Extremen, etwa bei 95/5, liegt sie schnell über 8 Wochen.
• 8 Wochen sind das Maximum. Bräuchte Ihr Shop länger, wird der Test auf 8 Wochen eingestellt, und das Formular nennt Ihnen den kleinsten Unterschied, den er noch erkennen kann.
• Bei zu wenigen Bestellungen in letzter Zeit, oder wenn Yaco sie nicht lesen kann, wird die Dauer auf das Maximum gesetzt.

Das Symbol ⓘ neben jeder empfohlenen Dauer zeigt die Berechnung: Die benötigten Bestellungen, geteilt durch die Bestellungen, die Ihr Shop pro Tag erhält, ergeben eine Zahl an Tagen, aufgerundet auf ganze Wochen.

Wählen Sie eine kürzere Dauer als empfohlen, nennt Ihnen das Formular den kleinsten Unterschied, den der Test dann noch erkennen kann.

Den Test verfolgen

Die Seite A/B-Tests (Beta) zeigt den laufenden Test: den aktuellen Testtag, den Umsatz pro Besucher jeder Gruppe, den Unterschied zwischen beiden, die Wahrscheinlichkeit, dass der Balken mehr bringt, und wie viele der benötigten Bestellungen schon gesammelt sind. Die Zahl der benötigten Bestellungen wird beim Start festgelegt und ändert sich während des Tests nicht. Eine Tabelle ergänzt für jede Gruppe Durchschnittlicher Bestellwert, Konversionsrate, Bestellungen, Besucher, Umsatz und Bestellungen über einer Stufe.

Die Zahlen schwanken in den ersten Tagen stark. Beenden Sie den Test nicht, sobald ein Unterschied auftaucht: So entstehen am häufigsten falsche Ergebnisse. Sobald die benötigten Bestellungen erreicht sind und der Test mindestens 2 Wochen läuft (oder die geplante Woche bei einem Test über 1 Woche), zeigt die Seite Stichprobe erreicht: Sie können den Test dann beenden, ohne sein Fazit zu verlieren. Sonst läuft er bis zu seinem geplanten Ende.

Die Startseite der App zeigt eine Kurzfassung des laufenden Tests. Solange er läuft, enthalten die übrigen Zahlen der Startseite beide Gruppen.

Ihr Team wird nie einer Gruppe zugelost: Ein Browser oder Kundenkonto, das aus den Statistiken herausgehalten wird, von Hand oder automatisch, sieht den Balken immer, und seine Besuche und Bestellungen zählen nicht (siehe Statistiken). Wenn Sie nie in der Gruppe ohne Balken landen, liegt es daran.

Unter Beide Versionen prüfen öffnen zwei Links Ihren Shop in der einen oder der anderen Gruppe, damit Sie sehen, was Ihre Besucher erleben. Nur so sieht Ihr Team den Shop ohne Balken. Besuche über diese Links zählen in ihrer Gruppe, außer denen Ihres Teams: Aktivieren Sie Besuche meines Teams zählen, um die Besuche und Bestellungen Ihres Teams über diese Links mitzuzählen.

Einen Test beenden

Klicken Sie auf Test beenden und bestätigen Sie. Alle Ihre Besucher sehen den Balken wieder. Sie können einen Test jederzeit beenden. Mit Stichprobe erreicht behält er sein Fazit. Vorher ist sein Ergebnis nur ein Trend. Die Bestätigung sagt Ihnen, welcher Fall vorliegt.

Das Ergebnis lesen

Der Test endet von selbst am Ende seiner geplanten Dauer, und Sie erhalten eine Zusammenfassung per E-Mail. Sie erhalten sie auch, wenn Sie den Test selbst beenden. Die Seite zeigt dann:

• das Fazit: Der Balken bringt Ihnen mehr, Ihr Shop lief ohne den Balken besser, Kein messbarer Unterschied, Nicht genug Bestellungen für ein Ergebnis oder, bei einem vor dem Enddatum ohne die benötigten Bestellungen beendeten Test, Test vorzeitig beendet: kein Ergebnis;
• den Unterschied beim Umsatz pro Besucher in großer Schrift: grün, wenn der Balken gewinnt, rot, wenn Ihr Shop ohne ihn besser lief;
• ob die Dauer gereicht hat: mindestens 2 Wochen (oder die geplante Woche bei einem Test über 1 Woche) und dazu entweder die benötigte Zahl an Bestellungen oder das geplante Ende mit einem signifikanten Unterschied;
• den Umsatz pro Besucher jeder Gruppe und die vollständige Tabelle.

So funktioniert der Vergleich:

• Der Umsatz pro Besucher ist die Zwischensumme der Bestellungen einer Gruppe geteilt durch ihre Besucher. Er erfasst beide Wirkungen des Balkens: mehr Bestellungen und größere Warenkörbe.
• Bestellungen über einer Obergrenze zählen mit dem Betrag der Obergrenze, damit eine außergewöhnliche Bestellung nicht über den Test entscheidet. Die Obergrenze ist das 99. Perzentil Ihrer Bestellbeträge und wird beim Start des Tests festgelegt.
• Ein Unterschied ist ab einem Konfidenzniveau von 95 % signifikant. Darunter kann der Abstand Zufall sein. Ein Gewinner steht erst zum geplanten Ende des Tests fest, oder früher, sobald die benötigten Bestellungen erreicht sind, aber nie vor 2 Wochen. Ein Test, der für 1 Woche geplant ist, liefert sein Ergebnis zum Enddatum. Ein vorher beendeter Test liefert nur einen Trend.
• Haben die beiden Gruppen nicht den erwarteten Anteil an Besuchern, weist ein Banner oben auf der Seite darauf hin: Möglicherweise verfälscht ein Cache, ein Skript oder eine andere App die Aufteilung. Verlassen Sie sich noch nicht auf das Ergebnis, und nutzen Sie die Schaltfläche Support kontaktieren im Banner.

Frühere Tests bleiben unter Frühere Tests aufgelistet, jeweils mit einem Fazit-Badge: Balken gewinnt, Besser ohne Balken, Kein Unterschied oder Nicht eindeutig. Tests, die vor Einführung dieser Badges endeten, haben keines. Einen beendeten Test können Sie löschen.

Nach dem Test

Endet der Test, sehen alle Besucher den Balken wieder: Sie müssen nichts zurückstellen. Hat der Balken mehr gebracht, lassen Sie ihn, wie er ist. Lief Ihr Shop ohne ihn besser, führt Sie die Ergebnisseite zu Ihren Stufen: Ein zu hoher Schwellenwert kann einen Teil der Kunden abschrecken. War der Test nicht eindeutig, öffnet Mit diesen Einstellungen neu starten das Startformular mit derselben Aufteilung, demselben zu erkennenden Unterschied und derselben Wahl, was Besucher ohne Balken verlieren.