Agiles Test-Management im E-Mail-Marketing

Jeder Test im E-Mail-Marketing, unabhängig davon wie gut das Konzept dahinter sein mag, ist ein „Schuss in Blaue“. Niemand wird je sagen können, ob das Optimum wirklich getroffen wurde. Mit diesem Dilemma im Hinterkopf sollte klar sein: nur wer gezielt in verschiedene Richtungen feuert, immer wieder die Resonanz protokolliert, diese interpretiert und die Ausrichtung entsprechend anpasst, der wird am Ende des Tages die Chance haben, das Ziel mit verbunden Augen zu treffen.

 

Ein Fachartikel von Jascha Quaas

 

Um A/B-Tests im E-Mail-Marketing zielführend zu managen, bieten sich aus diesem Grund agile Methoden, wie sie in der Softwareentwicklung häufig eingesetzt werden, an. Ein Framework welches in dieser Hinsicht oft zum Einsatz kommt und in den letzten Jahren einen regelrechten Hype ausgelöst hat ist Scrum.

 

Der spannendste Aspekt von Scrum besteht im Arbeiten in möglichst kurzen Schleifen, die es ermöglichen schnell auf Feedback zu reagieren, das aktuelle Vorgehen zu überprüfen und dabei stetig zu verbessern. Der folgende Beitrag bietet einen Einblick, sowie konkrete Ideen für den Einsatz dieses Frameworks zum Management von A/B-Tests im E-Mail-Marketing.

Die Vorbereitung – Das Test-Backlog muss erstmals befüllt werden

Ob verschiedene CTA-Buttons, die Anzahl der dargestellten Produkte oder ein ganzes Redesign des Newsletters – die Möglichkeiten zum Testen sind im E-Mail-Marketing scheinbar unbegrenzt. Es bedarf entsprechend einer Methode, welche es erlaubt, neue Ideen möglichst einfach und dennoch Zielorientiert aufzunehmen.

 

Hierzu werden in Scrum die ermittelten Konzepte in Form von sogenannten „User Stories“ gesammelt und verwaltet. Diese User Stories werden nach dem Schema „Als Rolle möchte ich Anforderung/Konzept, um Kundenwert“ konstruiert.

 

Durch die Konstruktion von Testkonzepten nach diesem „Rezept“ bleibt der Fokus stark auf die Perspektive des Empfängers gerichtet – einer der größten Vorteile von User Stories. Zudem bleibt das „Wie wird genau getestet“ zunächst unberücksichtigt. Auf diese Weise können im ersten Schritt schnell Testkonzepte gesammelt werden, ohne direkt genaue Hypothesen und Szenarien beschreiben zu müssen. Die Gesamtheit der identifizierten User Stories wird als Test-Backlog bezeichnet und dient später der Verwaltung. Es ist im ersten Schritt noch unsortiert.

Schritt 1 beim agilen Test-Management im E-Mail-Marketing

Sammeln Sie möglichst viele Testfälle in Form von „User Stories“ und schreiben Sie jeden einzelnen auf ein herkömmliches Post-It. Hier einige Beispiele die uns durch den Beitrag begleiten sollen:

• „Als Newsletter-Abonnent möchte ich ein personalisiertes Element in der Betreffzeile finden, um mich persönlich angesprochen zu fühlen.“
• „Als Newsletter-Abonnent möchte ich nur wenige, möglichst passende Angebote im Newsletter angezeigt bekommen, um nicht von der Auswahl überfordert zu werden“.
• „Als Newsletter-Abonnent möchte ich gut erkennbare Buttons (CTA’s) an den Angeboten vorfinden, um ohne langes Suchen in den Shop einsteigen zu können.“

Die Bewertung der Test-Backlog Items: Mit Schätzungen Ordnung ins Chaos bringen

Für den ersten „gezielten Schuss ins Blaue“ müssen die in Form von User Stories gesammelten Testkonzepte nun priorisiert werden. In Scrum erhält jede User Story dafür zunächst eine Aufwandsabschätzung. Hier lässt sich mit vielerlei Maß messen. Eine der einfachsten Methoden ist das Schätzen in T-Shirt-Größen. Ein schnell zu testendes Testkonzept, wie beispielsweise die personalisierte Betreffzeile erhält ein „XS“ als Schätzung. Sehr komplexe Testkonzepte, wie die möglichst angepasste Angebotsauswahl werden entsprechend mit „XL“ geschätzt.

Analog zur Aufwandsabschätzung wird der Geschäftswert ermittelt, der von einem Testkonzept erwartet wird. Neben erhaltenem Kundenfeedback oder Expertenmeinungen bleiben hier häufig nur die Erfahrung und das Fingerspitzengefühl des Test-Managers, um gute Schätzwerte zu erzielen.

Mit diesen Werten können die Testkonzepte im Test-Backlog nun in eine sinnvolle Reihenfolge gebracht werden. Es gilt das Prinzip der „Low-Hanging-Fruits“, die als erstes „gepflückt“ werden sollten. User Stories mit dem besten Verhältnis von Aufwand und Geschäftswert erhalten daher die höchste Priorisierung, der Rest folgt in entsprechender Reihenfolge.

Hinweis: Trotz der Schätzungen bleibt die Hoheit der Priorisierung beim Test-Manager! Hält dieser es für sinnvoll oder aus firmeninternen Gründen auch für notwendig, ein Testkonzept besonders hoch zu priorisieren, dann darf er dies entsprechend tun. Oft lohnt sich auch ein Blick auf die Stories mit sehr hohem Aufwand aber auch sehr hohem Geschäftswert – lassen sich diese in kleine wertvolle Häppchen teilen? Oft sind es gerade diese Szenarien, die dem E-Mail-Marketing zu einer ganz neuen Qualität verhelfen.

Schritt 2 beim agilen Test-Management im E-Mail-Marketing

Schätzen Sie die Aufwände und Geschäftswerte der Testkonzepte und vermerken Sie diese auf den jeweiligen Post-Its. Im Anschluss erfolgt die Sortierung – vielversprechendes wird oben an eine Pinnwand oder Flip-Chart gepinnt, Konzepte, von denen Sie sich kaum einen Verbesserung versprechen, landen weiter unten.

Der Testplan – Feinschliff & Festlegung der Reihenfolge

Nun können die Testkonzepte mit der höchsten Priorisierung in konkrete Hypothesen und Testszenarien zerlegt werden. Dabei fällt häufig auf: Nicht jedes Mailing eignet sich für jeden Test und einige Testkonzepte bestehen aus zahlreichen Elementen, die sich untereinander beeinflussen. Hier hilft nur ein gut durchdachter Testplan, um die Konzepte zuverlässig zu verifizieren.

Als Basis kann hier eine Excel-Tabelle oder auch das Unternehmenswiki herangezogen werden. Für Unternehmen mit vielen Beteiligten existieren zudem auch professionelle Lösungen. In jedem Fall sollte er die folgenden Fragen ausreichend beantworten:

• In welchem Mailing (Thema, Datum) soll welche Hypothese getestet werden?
• Wie groß ist der Verteiler für dieses Mailing?
• Welche Varianten werden getestet und mit welcher Verteilung?
• Welche Kennzahlen sind für den Erfolg maßgeblich (Öffnungen, Klicks zu Öffnungen, Konversionen)?
• Mit welchen Konfidenzniveau sollen die Hypothesen geprüft werden? Ist es realistisch (statistisch) aussagekräftige Ergebnisse zu erhalten?

Anhand des Testplans lässt sich eine ungefähre Aussage treffen, wann ein Konzept voraussichtlich getestet sein kann. Hierbei lohnt es sich immer, auch Raum für Verifizierungen wie Test-Wiederholungen oder A/A-Tests einzuplanen.

Schritt 3 beim agilen Test-Management im E-Mail-Marketing

Identifizieren Sie aus der priorisierten Testliste die Konzepte, welche Sie in jedem Fall prüfen möchten und erstellen Sie aus diesen einen Testplan. Finden Sie hierzu das Richtige Maß an Granularität. Durch das Arbeiten in Schleifen werden Sie Ihren Testplan häufig anpassen müssen, ohne den nötigen Detailgrad fehlen Ihnen jedoch der Überblick und das konkrete Ziel vor Augen.

Die Durchführungsphase – nicht zu kurz und nicht zu lang

Entsprechend des Testplans werden die Testkonzepte nun in konkrete A/A-Tests und A/B-Tests umgesetzt und durchgeführt. Ziel jeder Durchführungsphase sollte es sein eine Aussage über den Erfolg, Misserfolg oder zumindest die generelle Sinnhaftigkeit des Tests geben zu können.

Professionelle E-Mail-Marketing-Systeme, wie beispielsweise Inxmail Professional oder CleverReach® bieten viel Komfort bei der Durchführung und gute Analysemöglichkeiten.

Schritt 4 beim agilen Test-Management im E-Mail-Marketing

Planen Sie Ihre Tests in Durchführungsphasen. Die Länge einer solchen Phase hängt dabei stark von Ihrem Versandvolumen und der Frequenz ab. Da die Resultate direkt in Ihre nächsten Planungen eingehen sollten, empfiehlt es sich die Phasen entsprechend kurz zu gestalten.

Das Review – Zeit Feedback zu sammeln

Im Anschluss an eine Durchführungsphase folgt das Review. Es lohnt sich hier die Ergebnisse nicht nur im stillen Kämmerlein zu betrachten, sondern auch mit Kollegen zu diskutieren, um einen anderen Blickwinkel zu erhalten. Einige wichtige Fragen, die an diesem Punkt beantworten werden sollten:

• Ist es zumindest wahrscheinlich, dass der Uplift kausal aus der Änderung herrührt?
• Was könnten andere Einflussfaktoren gewesen sein?
• Steigt zwar die Klickrate, die Konversionsrate fällt aber ab?
• Gibt es Ideen für noch vielversprechendere Testszenarien?
• Kann man die Hypothese guten Gewissens bestätigen, oder müssen weitere Tests durchgeführt werden, um diese zu validieren/falsifizieren?

Ein wichtiger Punkt der trotz aller Agilität hier nicht vergessen werden sollte: Die möglichst gute Dokumentation der Ergebnisse und Erkenntnisse ist essentiell, denn nur so lassen sich langfristig echte Learnings realisieren.

Schritt 5 beim agilen Test-Management im E-Mail-Marketing

Diskutieren Sie die durchgeführten Tests und Ergebnisse mit den Kollegen. Oft gibt weitere Interessenshaber, wie beispielsweise das Conversion-Rate-Optimierungs-Team des Shopauftritts, welche sich gerne die Zeit nehmen. Dokumentieren Sie die Ergebnisse in einer Übersicht und überführen Sie neue Ideen für Testkonzepte in Ihr Test-Backlog.

Die nächste Iteration – Ein ganzes Stück schlauer das nächste Ziel anvisieren

Mit den gewonnen Erkenntnissen aus dem Sprint lässt sich die Testliste neu bewerten. Neue Test-Konzepte werden dazu in das Test-Backlog übernommen, überflüssige entfernt, andere ggf. erweitert. Im Anschluss erfolgt die Überarbeitung des Testplans woraufhin die nächste Durchführungs- und Revisionsphase folgt.

Schritt 6 beim agilen Test-Management im E-Mail-Marketing

Beginnen Sie mit Ihrem Erkenntniszugewinn bei Schritt 1. Sollten Sie das Ziel bisher verfehlt haben , dann lassen Sie sich nicht entmutigen – die Chance einen Treffer zu landen steigt mit jedem Durchlauf.

Fazit

Die Steigerung der der Konversionsrate von 1 Prozent auf 2 Prozent bedeutet die verdopplung Ihres Erfolges. Das Onlinemarekting bietet solche Steigerungsraten. Hausgemachte E-Mailings sind häufig nach bestem Wissen und Gewissen erstellt worden und Optimierungen werden aus Zeitgründen oder mangelndem Know-how nicht strukturiert umgesetzt. Dabei können Sie durch gezielte A/B-Tests oft ungeahntes Potenzial freisetzen.

Über den Autor

Jascha Quaas ist Produktmanager bei der Inxmail GmbH, die vor allem für die leistungsstarke E-Mail-Marketing-Versandlösung Inxmail Professional bekannt ist. Als diplomierter Betriebswirt mit mehreren Jahren Berufserfahrung im E-Mail-Marketing eines namenhaften Online-Händlers beschäftigt er sich aktuell mit den Herausforderungen, die moderne Kommunikation im e-Commerce an das E-Mail-Marketing stellt.

 

Weitere Informationen rund um das Testen von Newslettern und E-Mailings sowie E-Mail-Marketing allgemein finden Sie im Inxmail Blog.