GUI Test Studio

Kapitel 13 — Testlauf-Historie & Vergleich

Jeder Testlauf wird automatisch gespeichert — so lässt sich nachvollziehen, wann ein Testfall zuletzt bestanden hat und was sich seitdem geändert hat.

Schritt 1

Testlauf-Historie ansehen

Screenshot: Testlauf-Historie-Liste im Tab Logging und Berichte, ein Lauf mit Status Bestanden markiert 1 2 3
1 Filter-Feld
2 Spalten: Datum, Testfall, Status, Dauer, Schritte, Metadaten
3 Jeder Lauf einsehbar — hier „Bestanden"

Jeder Lauf bleibt nachvollziehbar.

Im Tab „Logging / Berichte" listet die Testlauf-Historie automatisch jeden durchgeführten Testlauf mit Datum, Testfall, Status, Dauer und Schritt-Zusammenfassung.

Ein Freitext-Filter sowie klickbare Spaltenköpfe helfen, auch bei vielen Läufen schnell den gesuchten Eintrag zu finden.

Schritt 2

Freie Metadaten zu einem Lauf hinzufügen

Screenshot: Dialog Zusaetzliche Angaben zu diesem Testlauf mit leeren Bezeichnung/Wert-Feldern, aufgerufen im Tab Regressionstests 1 2 3
1 Bezeichnung/Wert frei eintragen
2 Weiteres Feld hinzufügen
3 Bestätigen startet den Lauf

Kontext, der später wieder auffindbar ist.

Beim Starten eines Testlaufs im Tab „Regressionstests" lassen sich beliebige Zusatzangaben hinterlegen — etwa Build-Nummer, Umgebung oder Tester-Kürzel. Gab es beim letzten Lauf bereits solche Angaben, sind sie hier vorbelegt.

Diese Metadaten erscheinen später als eigene Spalte in der Historie und lassen sich dort mitdurchsuchen.

Schritt 3

Zwei Läufe im Vergleich (A/B)

Screenshot: Zwei ausgewaehlte Testlaeufe, Vergleichen-Button mit Tooltip aktiv 1 2 3
1 Lauf A auswählen
2 Lauf B dazu auswählen
3 „Vergleichen" wird aktiv

Zwei Zeitpunkte, ein Blick.

In der Historie zwei beliebige Läufe per Mehrfachauswahl markieren — der Button „Vergleichen" wird erst aktiv, sobald genau zwei Läufe ausgewählt sind.

Das Vergleichsfenster zeigt beide Läufe mit Zusammenfassung und Metadaten nebeneinander, darunter die Schritte beider Läufe Seite an Seite.

Schritt 4

Unterschiede erkennen

Screenshot: Vergleichstabelle, ein Lauf mit nur 2 Schritten gegen einen Lauf mit 50 Schritten - rote und graue Zeilen 1 2
1 Rot: unterschiedliches Ergebnis
2 Grau: nur in einem Lauf vorhanden

Farbe statt mühsamem Zeile-für-Zeile-Vergleich.

Die Vergleichstabelle richtet beide Läufe anhand der Schrittposition aneinander aus und markiert auffällige Zeilen automatisch farbig — rot bei abweichendem Ergebnis, gelb bei deutlich veränderter Laufzeit, grau bei Schritten, die es nur in einem der beiden Läufe gibt. Hier bricht der Vergleich schon nach Schritt 1 auseinander, weil der zweite Lauf abgebrochen wurde — der Rest der Tabelle bleibt entsprechend grau.

So lassen sich Auffälligkeiten auf einen Blick erkennen, ohne jede Zeile einzeln durchzugehen.

Schritt 5

Anwendungsfall: Regressions-Ursache finden

Screenshot: Vergleichsfenster, Lauf A Bestanden gegen Lauf B Fehlgeschlagen 1 2
1 Letzter erfolgreicher Lauf als Lauf A
2 Aktueller fehlgeschlagener Lauf als Lauf B

Vom „es funktioniert nicht mehr" zur konkreten Ursache.

Typischer Einsatz: den letzten erfolgreichen Lauf gegen den aktuellen, fehlgeschlagenen Lauf vergleichen. Die erste rot markierte Zeile zeigt meist genau den Schritt, an dem sich das Verhalten der Anwendung geändert hat.

In Kombination mit dem HTML-Testbericht (Kapitel 6) und der Diagnose (Kapitel 8) lässt sich die Ursache so oft ohne erneutes manuelles Nachstellen eingrenzen.

Nachvollziehbar

Regressionen erkennen, bevor sie zum Problem werden

Im nächsten Kapitel geht es um Einstellungen, Lizenz & Updates.

Jetzt testen →