Konzeption und Umsetzung automatisierter Softwaretests

Dieses Buch behandelt die Umsetzung und Konzeption automatisierter Softwaretests. Zur Einordnung des Themas in die Historie der Softwareentwicklung, in die betriebliche Praxis, das grundlegende Vorgehen und das organisatorische Umfeld, in dem sich Testautomatisierung abspielt, sind zu Beginn einige Aspekte zu beleuchten. Auch die Ziele, die man mit Testautomatisierung verfolgt, sollten von Anfang an klar definiert werden.

Die Automatisierungspyramide zeigt die Ebenen der Automatisierung in einem Unternehmen. Die Ziele der Automatisierung treffen grundsätzlich auch auf die Testautomatisierung zu. Dabei hat sich die Bedeutung der einzelnen Ziele der Automatisierung im Laufe der Geschichte gewandelt. Die genaue Analyse der Arbeitsprozesse und die Beachtung der Komplexität der Systemintegration sind entscheidende Erfolgsfaktoren für Automatisierung im Allgemeinen und für Testautomatisierung im Besonderen.

Die Einführung und der Einsatz von Testautomatisierung in einer Organisation führt zu mehreren Vorteilen, die sich auf vielfache Weise positiv auf Unternehmensziele auswirken und erheblich dazu beitragen können, die Qualität von Produkten und die Rendite eines Unternehmens zu steigern. Die Bedeutung von Testautomatisierung ist in den letzten Jahren gestiegen und wird aus unterschiedlichen Gründen weiterhin zunehmen.

Definition des Projektumfangs und Abgrenzung des Untersuchungsgegenstands stehen am Anfang eines Projekts zur Testautomatisierung. Die einzelnen Schritte sind mit einem Projekt zur Entwicklung einer Software zu vergleichen: Nach einem Proof of Concept wird der Testfallkatalog erstellt, automatisierte Skripte entwickelt, ein Akzeptanztest der erfolgreichen Umsetzung durchgeführt und schließlich das automatisierte Verfahren eingefügt.

Für den automatisierten Test existieren unterschiedliche Testtools. Aus dem Ziel der Umsetzung leiten sich die Anforderungen an dieses Werkzeug ab. Die einzelnen Testwerkzeuge besitzen gewisse Stärken und Schwächen und erfüllen dadurch bestimmte Reifestufen. Aus diesem Testvorgehen leiten sich unterschiedliche Formen der Testautomatisierung ab.

Bei automatisierter Testdurchführung entstehen tendenziell mehr Testfälle als bei manueller Testdurchführung. Testautomatisierung kann aber auch den Aufwand, um die Testdurchführung vorzubereiten, erheblich minimieren. Das bezieht sich sowohl auf die Generierung von Testfällen als auch auf die, Verknüpfung von Testfällen mit geeigneten Testdaten bis zur automatischen Generierung der Testprozeduren und des Codes.

Die Automatisierung der Testdurchführung ist ein zentraler Aspekt der Testautomatisierung. Durch die stärkere Verbreitung agiler Vorgehensmodelle und Continuos Builds ist die Bedeutung von zahlreichen Regressionstests mit hohem Testumfang gestiegen. Auch ein kurzfristiges Feedback über die erzielten Testergebnisse wird immer wichtiger. Unterschiedliche Testarten bei der Automatisierung implizieren dabei unterschiedliche Vorgehensweisen.

Ein aussagefähiges und transparentes Berichtswesen trägt erheblich zum stärkeren Rückhalt durch das Management und den Erfolg eines Projekts bei. Mithilfe geeigneter Metriken lässt sich der Fortschritt bei der Testautomatisierung mit geeigneten Zahlen untermauern. Aber auch bei manueller Testdurchführung führt eine Automatisierung des Testreportings zu aktuelleren Daten und dadurch zu schnelleren Reaktionen und Entscheidungen über zu treffende Korrekturmaßnahmen.

Das Fehlermanagement lässt sich grundsätzlich ebenfalls automatisieren. Die Automatisierung unterliegt aber mehreren Einschränkungen, die bei der Umsetzung zu bedenken sind, um nicht verzerrte Fehlerstatistiken und damit ein unbrauchbares Reporting zu bekommen.

Um die Wirtschaftlichkeit von Maßnahmen zur Testautomatisierung nachzuweisen, sind mehrere Kennzahlen der notwendigen Investitionen (z. B. ROI, Break-Even-Punkt) zur Ermittlung der Rentabilität zu erheben und der erwartete Nutzen darzustellen. Das gilt allgemein für jede Art von Automatisierung und für Vorhaben zur Testautomatisierung im Besonderen.

Planung, Vorbereitung und Umsetzung der Testautomatisierung verlangen einige Vorüberlegungen und eine sinnvolle Priorisierung der geplanten Arbeitsschritte. Zur Verfolgung dieser Aktivitäten sollten geeignete Metriken eingesetzt werden. Die Bereitstellung geeigneter Testdaten ist dabei eine besondere Herausforderung.

Bevor ein Werkzeug zur Unterstützung der Testautomatisierung beschafft wird, ist ein geeigneter Auswahlprozess mit definierten Kriterien zur Bestimmung des geeigneten Tools erforderlich. Die Einbindung der Stakeholder in den Auswahlprozess trägt dabei wesentlich zur Akzeptanz des Tools bei. Zur neutralen Beurteilung empfiehlt sich eine entsprechende Gewichtung der einzelnen Kriterien.

Test durch Testautomatisierung kann bei unterschiedlichen Arten von Systemen und Applikationen eingesetzt werden. Je nach Einsatzgebiet sind dabei unterschiedliche Aspekte, aber auch gewisse Einschränkungen zu berücksichtigen.

Das TPI NEXT®-Modell ist eine Methode zur Bewertung des Reifegrads von Testprozessen. Dazu wird der Testprozess in Kernbereiche, Reifegrade, Kontrollpunkte und Verbesserungsvorschläge aufgeteilt. In diesem Zusammenhang lässt sich für die Testautomatisierung der betrachteten Organisation ein Reifegrad ermitteln, um die Optimierung der einzelnen Prozesse priorisieren und zielgerichtet vorantreiben zu können.

Die betriebliche Organisation und die Testprozesse haben Wechselwirkungen mit Maßnahmen zur Testautomatisierung. Für die Umsetzung der Testautomatisierung im Unternehmen ist daher eine Betrachtung des betrieblichen Umfelds erforderlich. Für einen Erfolg der Testautomatisierung und eine optimale Personalauswahl ist es erforderlich, die einzelnen Rollen im Testteam soweit möglich nach den Stärken der verfügbaren Mitarbeiter zu besetzen.

Testautomatisierung kann in den Teststufen Modultest, Integrationstest und Systemtest durchgeführt werden. Je nach betroffener Teststufe unterscheiden sich dabei die Ziele, Kriterien und besonderen Herausforderungen für die erfolgreiche Umsetzung.

Nichtfunktionale Tests sind durch unterschiedliche Testziele und Methoden gekennzeichnet. Bei der Automatisierung von Last- und Performancetests sind vor allem die Erstellung geeigneter Testdaten und die Definition der Benutzerparameter zu bedenken. Werkzeuge für Performancetests in der Cloud eignen sich in diesem Zusammenhang besonders für die Simulation verschiedener geografischer Standorte.

Wenn Testautomatisierung unternehmensweit oder in mehreren Projekten durchgeführt werden soll, ist ein geeignetes Projektmanagement und eine übergreifende Koordination unbedingt erforderlich. Die Kennzahlen der einzelnen Projekte sollten dabei miteinander verglichen werden, um Erfolgsfaktoren für das gesamte Unternehmen herauszuarbeiten und Störfaktoren zu ermitteln.

Neue Software-Versionen und Releasezyklen bedeuten eine permanente Weiterentwicklung der Software, eine Erweiterung des Testumfangs und eine höhere Bedeutung von Regressionstests, die mit Hilfe von Testautomatisierung durchgeführt werden können. Für die Wiederverwendung der Testskripte ist die Beachtung einer Reihe von Richtlinien für wartungsfreundliche Testverfahren erforderlich.

Für den Erfolg einer Maßnahme ist es entscheidend, messbare Zahlen und KPIs zu generieren. Für die Messung der Testautomatisierung gibt es eine Reihe sinnvoller Metriken, die sich in Fortschrittsmetriken und Qualitätsmetriken unterteilen lassen. Für die Ableitung der richtigen Schlüsse muss jede Metrik korrekt interpretiert werden und die Zahlen müssen im Zusammenhang betrachtet werden. Damit kann der Projekterfolg und die Softwarequalität der gesamten Organisationseinheit gezielt optimiert werden.

Prozessreifemodelle bewerten den digitalen Reifegrad der Testautomatisierung. Das TMAP-Modell analysiert dazu mehrere Kernbereiche der Testprozesse. Indem man die Reife der einzelnen Kernbereiche gezielt optimiert, gewinnt man eine bessere Strukturierung der Testprozesse und verbessert die Abstimmung mit den gesamten Softwareentwicklungsprozessen im Unternehmen.

Test-Frameworks dienen der testgetriebenen Entwicklung. Bei Frameworks wird der Test für alle entwickelten Funktionen berücksichtigt. Ein Automatisierungsframework soll Abhängigkeiten zwischen Testfall, Werkzeug und dem Testobjekt vermeiden. Zur technischen Umsetzung eines Automatisierungswerkzeugs bestehen unterschiedliche Ansätze.

Testautomatisierung ist im Zusammenhang mit dem gesamten Testprozess zu betrachten. Dadurch bestehen bei einer Änderung der Anforderungen teilweise erhebliche Wechselwirkungen zwischen Anforderungsmanagement und Testautomatisierung. Die Testautomatisierung macht die Notwendigkeit einer wirksamen Umsetzung der Kernbereiche des Anforderungsmanagements deutlich. Dafür sind mehrere Kriterien zu beachten.

Testautomatisierung soll die Effizienz des Testens und die Softwarequalität erhöhen. Um dieses Ziel zu erreichen, sind die erwarteten Fehler zu ermitteln, die sinnvolle Testabdeckung zu bestimmen und dabei eine Risikoabschätzung vorzunehmen. In diesem Zusammenhang ist die sinnvolle Anzahl der durchzuführenden Testfälle zu ermitteln.

Keyword-Driven Testing eignet sich gut für Testautomatisierung. Dabei ist die geeignete Syntax der Anweisungen zu beachten. Schlüsselwortgetriebenes Testen eignet sich vor allem für Webapplikationen und agile Projekte. Es gibt unterschiedliche Methoden zur Implementierung schlüsselwortgetriebener Tests. Eine geeignete Architektur der Testautomatisierung senkt den für die Automatisierung notwendigen Aufwand zur Umsetzung.

Für die Testautomatisierung muss eine eigene Testumgebung zur Verfügung stehen und vom Testumgebungsmanagement überwacht werden. Die Vorbereitung, Einrichtung und Betriebsführung dieser Testumgebung beinhaltet mehrere Schritte und Aufgaben.

In der agilen Softwareentwicklung steigt die Bedeutung der Testautomatisierung. Continuos Delivery und häufige Deployments, eine erhöhte Anzahl an Builds, iterative und inkrementelle Softwareentwicklung erfordern eine stärkere Dynamik in der Softwareentwicklung und beim Test als in klassischen Projekten.

Testgetriebene Entwicklung bedeutet ein Umdenken der Entwicklung; es werden erst Testfälle entwickelt und danach die Software codiert. Testgetriebene Entwicklung erfordert einen hohen Testautomatisierungsgrad und eine detaillierte Planung. Auch neuartige Ansätze der künstlichen Intelligenz (KI) haben Auswirkungen auf die Testautomatisierung.

Testdaten haben eine hohe Bedeutung für die Testdurchführung automatisierter Tests und erfordern ein konsequentes Testdatenmanagement. Testdaten lassen sich nach unterschiedlichen Kriterien klassifizieren. Testdaten können automatisch generiert werden. Beim datengetriebenen Test werden Testdaten von den Testschritten getrennt. Durch diese Trennung kann die Testabdeckung erhöht werden und gleichzeitig der Aufwand der Testfallerstellung erheblich reduziert werden.

Modellbasiertes Testen automatisiert die Erstellung von Testfällen und wählt unterschiedliche Ansätze zur Optimierung von Testprozessen und Testdurchführung. Modellelemente und Keywords werden mithilfe von Aktivitätsdiagrammen miteinander verbunden.

Mehrere Zukunftstrends werden die Schwerpunkte der Testautomatisierung in den nächsten Jahren bestimmen. Ziel ist dabei die Steigerung der Effizienz und Sicherheit der Testautomatisierung. Codelose Automatisierung, Test Ops, künstliche Intelligenz, Automatisierung in der Cloud und entwicklungsnahe Testautomatisierung sind einige dieser Trends.

Testautomatisierung ist nicht immer sinnvoll, es geht um die richtige Kombination aus manuellen und automatisierten Testfällen. Neue Rollenverteilungen und neue Teamstrukturen wirken sich auf die Möglichkeiten der Testautomatisierung aus.