A/B-Test Laufzeitrechner

Reicht dein Traffic für den A/B-Test?

Für diesen Zeitraum fragst du Besucher und Conversion Rate ab.
Active Users auf der getesteten Seite bzw. im getesteten Segment.
Conversions: Gib Active Users mit Conversion oder die Conversion Rate an, das andere Feld wird berechnet.
Active Users im getesteten Segment mit mindestens einer Conversion.
Anteil der Besucher (in %) mit mindestens einer Conversion, im selben Zeitraum und im getesteten Segment.
Annahmen (Standardwerte)

So kommst du an die Zahlen

  1. Zeitraum festlegen Nimm die letzten 28 Tage, also vier volle Wochen, oder einen anderen Zeitraum, der zur geplanten Testlaufzeit passt.
  2. Besucher abfragen Active Users auf der Seite oder im Segment, das du testen willst, für genau diesen Zeitraum.
  3. Conversion Rate oder Active Users mit Conversion abfragen Entweder die Active Users mit mindestens einer Conversion oder deren Anteil an allen Active Users (die Conversion Rate), im selben Zeitraum und mit derselben Auswahl. Eins von beiden genügt, das andere rechnet der Rechner aus. Ein Zeitraum von 2 Wochen liefert andere Werte als 6 Wochen, weil mehr Wiederkehrer dazukommen. Frage deshalb für jeden Zeitraum neu ab.

So rechnet das Tool

Frequentistischer Zwei-Stichproben-Test für Anteile (Z-Test) mit fester Laufzeit: Der Test wird einmal nach Ende des Zeitraums ausgewertet, ohne Zwischenblick.

Die Besucher werden gleichmäßig auf alle Varianten verteilt. Berechnet wird der kleinste Anstieg der Conversion Rate, den der Test bei der gewählten Konfidenz mit der gewählten Power erkennt (Minimum Detectable Effect, MDE).

Bei mehr als zwei Varianten wird das Signifikanzniveau für jeden Vergleich mit der Kontrolle nach Bonferroni geteilt.

Gemeint ist die Conversion Rate pro Visitor: Besucher mit Conversion geteilt durch Besucher, randomisiert auf Visitor-Ebene. Eine Conversion Rate pro Session passt dazu nicht, weil mehrere Sessions desselben Visitors nicht unabhängig voneinander sind.

Der MDE ist keine Vorhersage, was dein Test zeigen wird. Er ist der kleinste wahre Effekt, den der Test mit der gewählten Power (meist 80 %) findet. Ist der wahre Effekt genau so groß, findet der Test ihn in 80 von 100 Fällen. Ist er kleiner, sinkt diese Chance, ist er größer, steigt sie.

Gerechnet wird in deinem Browser. Deine Eingaben werden weder gespeichert noch übertragen.

Warum geben mir unterschiedliche Laufzeitrechner unterschiedliche Ergebnisse?

Weil die Rechner leicht unterschiedliche Formeln und Voreinstellungen nutzen. Die häufigsten Gründe:

Pro Gruppe oder gesamt: Manche Rechner geben die Besucher pro Variante aus, andere die Summe aller Varianten. Bei zwei Varianten ist das der Faktor 2.

Streuung: Die Formel braucht für die Signifikanzschwelle eine Schätzung der Streuung. Dieser Rechner schätzt sie aus beiden Gruppen zusammen (gepoolt), so wie der klassische Z-Test später auswertet. Manche Rechner nehmen nur die Kontrollgruppe. Bei 3,2 % Baseline und +21,3 % relativ ergibt das 11.539 statt 10.783 Besucher pro Gruppe, also etwa 7 % weniger. Bei kleinen Effekten (+5 % relativ) beträgt der Unterschied nur etwa 1 bis 2 %.

Einstellungen: einseitiger statt zweiseitiger Test (bei 95 % und 80 % etwa 21 % weniger Besucher), 90 % statt 80 % Power (etwa 34 % mehr), relativer statt absoluter MDE, eine Korrektur bei mehr als zwei Varianten und sequentielle Verfahren, die anders rechnen.

Vergleiche deshalb mit gleicher Baseline, gleichem MDE (relativ oder absolut), 95 % zweiseitig, 80 % Power und 2 Gruppen, und prüfe, ob die Ausgabe pro Gruppe oder gesamt gilt. Einige Rechner rechnen außerdem die Laufzeit aus einem Tagestraffic hoch, obwohl Active Users nicht proportional zur Zeit wachsen. Hier gibst du Besucher und Conversion Rate für den Zeitraum direkt ein.

Warum ist dieser Laufzeitrechner für dich eine gute Wahl?

Wenn du wissen willst, welchen Effekt dein Traffic in der geplanten Zeit nachweisen kann, ist dieser Rechner sehr gut geeignet.

Im Vergleich zu Rechnern, in die du den MDE eingibst und die Laufzeit herausbekommst, rechnet dieser andersherum. Der Grund: Wer die Laufzeit aus einem Tagestraffic hochrechnet, wird bei Active Users zu optimistisch, weil wiederkehrende Nutzer nicht als neue hinzukommen. Hier fragst du Active Users und Conversion Rate für genau den Zeitraum ab, den der Test laufen soll. Beide Werte passen dadurch zusammen.

Außerdem musst du keinen erwarteten Uplift raten. Du gibst nur Zahlen ein, die du aus deinem Analytics-Tool kennst, und beurteilst danach, ob ein Effekt dieser Größe realistisch ist.

Die Rechnung hält, was die Power verspricht. Die Formel passt zum gepoolten Z-Test, mit dem du den Test später auswertest. Rechner, die für die Signifikanzschwelle nur die Streuung der Kontrollgruppe nutzen, kommen bei großen Effekten auf weniger Besucher. Für den gepoolten Z-Test bedeutet das nur etwa 77 % statt 80 % Power, zum Beispiel bei 3,2 % Baseline und +21,3 % relativ.

Außerdem ist der Rechner kostenlos und ohne Anmeldung. Deine Eingaben bleiben im Browser.

Grenzen: Der Rechner arbeitet mit Conversion Rates (Anteil der Besucher mit mindestens einer Conversion) und fester Laufzeit. Für Umsatz, Bestellungen oder Warenkorbwerte pro Nutzer, für Conversion Rates pro Session bei Randomisierung auf Visitor und für sequentielle Tests brauchst du andere Verfahren.

Was ist der MDE (Minimum Detectable Effect)?

Der MDE ist der kleinste wahre Effekt, den ein A/B-Test bei gegebener Besucherzahl mit der gewählten Power zuverlässig findet. Er wird meist relativ zur Baseline angegeben, zum Beispiel +3,4 %, und lässt sich auch in Prozentpunkten oder als „von → auf" ausdrücken.

Beispiel: Bei 100.000 Besuchern in 28 Tagen und einer Conversion Rate von 21,3 % beträgt der MDE +3,4 % relativ. Das sind +0,73 Prozentpunkte, also 21,3 % → 22,0 %.

Der MDE ist keine Vorhersage, was dein Test zeigen wird. Ist der wahre Effekt genau so groß wie der MDE, findet der Test ihn bei 80 % Power in 80 von 100 Fällen. Ist er kleiner, sinkt die Chance, ist er größer, steigt sie.

Der MDE hängt von der Besucherzahl, der Baseline-Conversion-Rate, dem Konfidenzlevel, der Power und der Zahl der Varianten ab. Mehr Besucher oder ein längerer Zeitraum senken ihn.

Wie bestimme ich einen guten MDE für einen A/B-Test?

Ein guter MDE ist ein Effekt, der inhaltlich relevant ist und den du in der Zeit, die du testen kannst, auch erkennen kannst. Drei Fragen helfen dabei:

1. Was haben bisherige Tests gezeigt? Schau auf die Effekte früherer Tests auf dieselbe Kennzahl und dieselbe Seite. Hat bisher kein Test einen Effekt von 14 % oder mehr gezeigt, ist es unwahrscheinlich, dass dein Test mit einem MDE von 14 % in diesem Zeitraum etwas findet. Dann ist der Test für die realistischen Effekte zu schwach.

2. Was ist inhaltlich überhaupt relevant? Frage dich, ab welchem Effekt sich die Änderung lohnt: zusätzlicher Umsatz gegen den Aufwand für Umsetzung und Test. Ein Effekt, der die Entscheidung nicht ändern würde, muss der Test nicht finden.

3. Wie viele Wochen kann ich testen? Lege die Laufzeit zuerst fest, in vollen Wochen, und rechne dann, welchen MDE du damit erreichst. 14 Wochen sind in der Praxis zu lang: Je länger der Test läuft, desto mehr verändert sich außerhalb des Tests (Kampagnen, Saison, Sortiment) und desto länger wartest du auf eine Entscheidung.

Liegt der MDE für die mögliche Laufzeit über dem, was bisherige Tests gezeigt haben oder was relevant wäre: Teste eine Kennzahl, die häufiger vorkommt (zum Beispiel Add-to-Cart statt Kauf), teste eine größere Änderung oder entscheide ohne Test. Der zweite Block dieses Rechners zeigt, wie sich der MDE mit einem längeren Zeitraum verändert.

Warum dauert es länger, einen kleineren erwarteten Effekt zu testen?

Weil die benötigte Besucherzahl mit dem Quadrat des Effekts wächst: Halbiert sich der Effekt, braucht der Test etwa viermal so viele Besucher.

Der Grund: Der Test muss einen kleinen echten Unterschied vom Zufallsrauschen trennen. Das Rauschen sinkt aber nur mit der Wurzel der Besucherzahl. Für einen halb so großen Effekt braucht es deshalb viermal so viele Besucher, für einen Effekt, der nur ein Zehntel so groß ist, hundertmal so viele.

Beispiel mit 3 % Baseline, 95 % Konfidenz und 80 % Power: Für +10 % relativ (3,0 % → 3,3 %) braucht jede Gruppe rund 53.000 Besucher. Für +5 % relativ (3,0 % → 3,15 %) sind es rund 208.000 pro Gruppe, also etwa das Vierfache.

Bei Active Users dauert es in der Praxis sogar länger als das Vierfache, weil wiederkehrende Besucher nicht als neue hinzukommen. Deshalb fragt dieser Rechner Besucher und Conversion Rate für den jeweiligen Zeitraum ab, statt sie hochzurechnen.

Was ist statistische Signifikanz?

Statistische Signifikanz bedeutet, dass ein beobachteter Unterschied unwahrscheinlich allein durch Zufall entstanden ist, wenn es in Wirklichkeit keinen Unterschied gibt.

Bei 95 % Konfidenz (Signifikanzniveau 5 %) gilt ein Ergebnis als signifikant, wenn der p-Wert unter 0,05 liegt. Der p-Wert ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied zu sehen, wenn die Variante in Wahrheit nichts verändert.

Signifikanz sagt nicht, mit welcher Wahrscheinlichkeit die Variante besser ist, und nicht, wie groß oder wie wichtig der Effekt ist. Sie begrenzt nur das Risiko eines falschen Alarms (Fehler 1. Art). Das Risiko, einen echten Effekt zu übersehen, steuert die Power.

Damit das Niveau stimmt, wertet man bei fester Laufzeit erst am Ende aus. Wer zwischendurch immer wieder nachschaut und beim ersten signifikanten Ergebnis stoppt, erhöht die Rate falscher Alarme.