Beta-Test erfolgreich: Kit#Quiz Bundesliga Open Beta

Experiment geglückt: Mit einer Anleihe aus der Software-Entwicklung (Open Beta) konnte ich mein neues Quiz launchen. Hier sind die Resultate.

Erst einmal vielen Dank an alle Open Beta User. Ihr habt das Kit#Quiz Bundesliga-Edition hoch und runter getestet und mir Feedback über User-Experience und Bugs gegeben!

In diesem Beitrag möchte ich kurz die Ergebnisse des Tests (anonymisiert) zusammenfassen, sowie meine Hobby-Testing-Methodik für Sideprojects beschreiben.

Über das Kit#Quiz Bundesliga-Edition

Das Kit#Quiz Bundesliga ist ein Pilot-Quiz, das ich vor ein paar Wochen erstellt habe um zu erfahren, wie einfach / schwer es ist, in WordPress eine Quiz-Applikation zu bauen. Spoiler: Es ist so semi-schwer.

Inhaltlich werden dem Teilnehmer innerhalb des Quiz 10 Aufstellungen von Fußballmannschaften mit taktischen Positionen und Rückennummern der Spieler gezeigt. Die Spielernamen sind dabei ausgeblendet. Mit diesen zwei Informationsquellen muss der Teilnehmer aus 5 Antwortmöglichkeiten die jeweils dargestellte Mannschaft identifizieren.

Am Ende gibt es das Ergebnis und es wird eine Fußballsachverstand-Einschätzung präsentiert.

Die Ergebnisse der Open Beta in der Übersicht

Teilnehmerzahlen der Open Beta

Insgesamt haben in drei Tagen 49 User das Quiz aufgerufen. Diese Nutzeranzahl resultierte aus einem facebook Post und ein wenig Verbreitung über whatsapp. Diese 49 User haben 64 Quiz-Runden gespielt. Für meine Beta-Feedback-Umfrage am Ende des Quiz habe ich 24 Antworten (ausgefüllte Umfragen) erhalten. Das sind sehr coole Zahlen. Vielen Dank an alle Teilnehmer.

Fancy Charts zu den anonymen User-Feedbacks

Aus den Fragen im Survey und den Nutzungsdaten lassen sich ein paar interessante Auswertungen fahren. Die Sachen, die mich vor allem interessiert haben:

1_ Wie hat es den Teilnehmern gefallen?

Das Feedback des Fun-Faktors war durchaus positiv.

71% der Befragten (17 Teilnehmer) mochten das Quiz. 25% (6 Teilnehmer) waren nicht vollends begeistert. Eine Enthaltung bei der optionalen Frage konnte ich verzeichnen. Ich hätte schlimmeres von einem Quiz erwartet, dass dir vor Augen führt, dass du keine Ahnung von Fußball hast.

2_ Wie ist die Punkteverteilung / Schwierigkeit des Quiz?

In der Ergebnisverteilung ist es jetzt nicht die perfekte Bell-Curve geworden, auf die Pädagogen immer so achten. Allerdings ist die Tendenz schon zu erkennen. Ich hätte jedoch auch erwartet, dass ein paar mehr 10 Punkte-Teilnehmer dabei gewesen wären.

Da ich ja meistens unter der Prämisse Everybody Lies! operiere, habe ich mir in dem dritten Chart dann auch noch den Vergleich zwischen den Aussagen zum Ergebnis im Survey und den tatsächlichen Ergebnissen angeschaut. Auch wenn der 7-Punkte-Bereich vermuten lässt, dass sich der ein oder andere besser dargestellt hat als er/sie war, finde ich die Abweichungen nicht allzu massiv – insbesondere gemessen an dem eher kleinen Sample.

3_ Wie viele Teilnehmer haben Fehler erlebt?

Lediglich 5 User haben einen Fehler im Quiz gefunden. 4 davon haben mir auch noch mitgeteilt wie sich der Fehler dargestellt. Es waren zum Glück keine massiven technischen Probleme, sondern eher inhaltliche Themen und 1 Vorschlag das Quiz noch etwas schwieriger zu gestalten. Die reproduzierbaren Fehler waren:

• Niklas Süle wird in der Aufstellung des FC Bayern mit der 5 gelistet, aber in der Tabelle mit der 4
• Die Formulierung Hertha BSC Berlin scheint eine Doppelung zu erhalten (Hertha BSC)

Beide Fehler konnte ich bereits beheben.

4_Offenes Feedback

In der abschließenden Frage Möchtest du mir noch etwas mitteilen? hat das zweite Freitext-Feld der Umfrage Einzug gehalten. Hier habe ich vor allem gelernt, dass ich dem Großteil meines Freundes- und Bekanntenkreises wirklich nicht mit Freitext-Feldern trauen kann! Hier war schon den ein oder anderen Verstoß gegen die Internet-Etikette zu beobachten … 😉

Die 3 Phasen meiner Usertests

Tatsächlich war die Open-Beta nicht der einzige Test-Zyklus meiner neuen Quiz-Applikation. Vorher habe ich bereits 2 weitere User-Testrunden durchlaufen, wenn ich meine eigenen Testläufe herausrechne.

1_Usertest mit meiner Freundin

Die erste externe Testerin war meine Freundin. Obwohl sie einen leichten Bias in der Befragung aufwies (sie hat nicht viel Ahnung von Fußball und hatte aus irgendeinem Grund ein gesteigertes Interesse daran, dass sich Fehler im Quiz befinden), habe ich in der Runde die ersten Problem ausbessern können. Dazu zählten:

• Rechtschreibfehler
• Fehler beim Laden von Bildern und Fragen auf dem iPhone
• Ein Problem mit Überschriften in der Umfrage

2_Usertest mit den Jungs von Der Kleine Jung Futsal Podcast

Um die Schwierigkeit des Quiz zu evaluieren, brauchte ich noch zwei echte Fußball-Nerds. Die beiden Macher des Futsal Podcasts Der Kleine Jung (von denen einer mein Bruder ist), haben das Quiz einmal auf Herz und Nieren getestet. Mit hohen Punktzahlen von 8 und 9 Punkten und dem einem positiven Fun-Faktor-Feedback waren sie sehr hilfreich. Nach der Runde konnte ich ein paar Anpassungen im Flow machen. Unter anderem habe ich die Randomisierung der Frage-Reihenfolge aufgegeben, sowie auch die Anzahl der doppelten Antworten reduziert.

3_Open Beta via facebook & whatsapp

Die Ergebnisse der Open Beta sind weiter oben im Artikel zu finden.