Die Automobilbranche ist geprägt von ständigen Innovationen und einem kontinuierlichen Streben nach Qualität und Effizienz. In diesem hochdynamischen Umfeld sind Unternehmen wie die Marquardt Gruppe gefordert, ihre Testprozesse zu optimieren, um wettbewerbsfähig zu bleiben. Dieser Artikel beleuchtet, wie Marquardt in enger Zusammenarbeit mit TestBench und der imbus AG eine wegweisende Lösung zur effizienten Testautomatisierung entwickelt hat.

Die Ausgangssituation

Die Marquardt Gruppe ist ein renommierter Mechatronik-Experte. Sie ist unter anderem im Automobilsektor tätig. Das Unternehmen zeichnet sich durch seine einzigartigen, intelligenten Lösungen aus, die auf einer Gesamtarchitektur aus Mechanik, Elektronik und Softwareplattform basieren. Marquardt stellt Produkte und Systeme her, die einer umfassenden Qualitätsprüfung unterzogen werden, wobei für verschiedene Produkte spezielle Qualitätssicherungslösungen entwickelt werden.

Die getesteten Produkte sind elektrische Komponenten und Systeme für Fahrzeuge. Sie werden mit maßgeschneiderten Hardware-in-the-Loop-Lösungen der ibb testing GmbH auf Basis von VT-Standardkomponenten der Vector Informatik GmbH getestet. Marquardt setzt standardisierte Testsysteme ein und nutzt individuelle Testumgebungen zur Anbindung der Prüflinge an die Testsysteme.

Marquardt setzte schon früh auf den Keyword-Driven Testing Ansatz in Verbindung mit Data-Driven Testing. Die Spezifikation der Testsequenzen erfolgte im selbst entwickelten Testframework auf Basis von Excel-Sheets. Diese waren jedoch projekt- und teamspezifisch, was die Wiederverwendbarkeit deutlich einschränkte – obwohl sehr viele ähnliche oder sogar identische Testsequenzen in parallel laufenden Projekten existierten. Es fehlte ein zentrales Testmanagement-Tool zur effizienten Verfolgung bereits getesteter Anforderungen und zur Ermöglichung der Wiederverwendung von Tests.

Hohe Wartungs- und Abstimmungsaufwände waren nicht länger tragbar

Grundsätzlich steht die Automobilzulieferindustrie vor der Herausforderung, dass unterschiedliche Kunden unterschiedliche Ausstattungspakete für ein Fahrzeug wünschen. Produktvarianten von Fahrzeugkomponenten werden daher nicht nur durch die Evolution von Fahrzeugen, sondern auch durch den Markt an sich getrieben.

Neue Produkte oder Projekte setzt Marquardt auf bereits etablierten Lösungen auf, aber nicht selten entstehen daraus weitere Varianten, die dann eigenständig weiterentwickelt werden. Varianten sind Ausprägungen eines Produktes, die in der Regel eine gemeinsame Basis haben, sich aber durch variantenspezifische Eigenschaften oder Funktionen unterscheiden.
Auf diese Weise entstanden mehrere, voneinander unabhängige Mengen von Testfällen, welche bisher trotz inhaltlicher Überlappung ebenfalls voneinander unabhängig weiter gepflegt wurden.

Diese Varianten haben zwar eine gemeinsame Basis, unterscheiden sich jedoch durch spezifische Merkmale.

Es war also bekannt, dass die Produkte in den meisten Fällen ähnliche Funktionen und Codekomponenten hatten, die aber aufgrund geringfügiger Unterschiede in den Produktausführungen nicht zentral gemanagt werden konnten. Viele Tests wurden manuell durchgeführt, was bei der geplanten Expansion und dem zu erwartenden Mengengerüst nicht mehr tragbar war. Für die Zukunft war eine effizientere Lösung zur Qualitätssicherung und eine umfassendere Testautomatisierung erforderlich.

Dazu wurde das Testmanagement von imbus in enger Abstimmung mit Marquardt als Pilotkunde um die Verwaltung vieler Produktvarianten erweitert.

Unsere Aufgabe

In einem ersten Schritt wurde die imbus AG von Marquardt mit einem Proof of Concept beauftragt, um eine wartungsarme Testspezifikation für mehrere Produktvarianten zu ermöglichen. Übergreifende Testfälle, welche für mehrere verschiedene Varianten relevant sind, sollten nur einmal spezifiziert werden. Dies sollte mit Hilfe einer projektübergreifenden, zentral gesteuerten, datenbankbasierten Testmanagement-Lösung erfolgen. Darüber hinaus sollte eine einheitliche, wiederverwendbare und wartbare Testautomatisierungs-Architektur aufgebaut werden, um bisher noch ungenutzte Potenziale des Keyword-Driven Testing-Ansatzes auszuschöpfen.

Das Konzept

Die imbus AG führte die von ihr entwickelte TestBench als zentrales Testmanagement-System ein, um Testfälle wiederverwendbar und klar strukturiert zu spezifizieren und zu verwalten. Gemeinsam wurde auf Basis von TestBench und mithilfe des Test Execution Plugins eine Testautomatisierungs-Architektur definiert, welche in der Lage ist, HiL-Prüfstände direkt anzusteuern. Darüber hinaus wurde eine zentrale Keyword-Bibliothek für alle Testschritte der Hardware-in-the-Loop-Prüfstände bereitgestellt.

Zudem hat imbus das Testmanagement-System genutzt, um den gesamten Prozess von Anforderungen (verwaltet in DOORS) über das Testdesign und die Testautomatisierung bis hin zur eigentlichen Testdurchführung nahtlos zu unterstützen. Besonderes Augenmerk wurde auf die Nachvollziehbarkeit gelegt, um sicherzustellen, dass alle Anforderungen auch mit fehlerfrei durchgeführten Tests validiert und verifiziert wurden.

Außerdem wurde von imbus gemeinsam mit Marquardt als Pilotkunde die TestBench-Funktion „Variantenmanagement“ entwickelt: Eine sogenannte Basis-Testobjektversion („Basis-TOV“) beinhaltet die Vereinigungsmenge aller varianten-spezifischen Testfälle. In Verbindung mit einer geeigneten Zuordnung der Testfälle in der Basis-TOV können daraus jederzeit wieder die varianten-spezifischen Testfälle abgeleitet werden.

Darüber hinaus wurde die Testautomatisierungs-Architektur so gestaltet, dass sowohl Testdesign als auch die Testautomatisierung selbst modular aufgebaut und damit bestmöglich wartbar sind. Alle Testfälle, einschließlich der wiederverwendbaren Testschritte und Testfalldaten, werden nun zentral in einer weltweit zugreifbaren Datenbank abgelegt.
Hierzu erfolgt das Testdesign in TestBench auf Basis zentral bereitgestellter Keywords, welche die Testdesigner:innen zu einer Testsequenz aneinanderreihen.

Diese Testsequenzen steuern im Anschluss dann die automatische Testdurchführung – ohne Medienbrüche und Redundanzen. Die Ablaufsteuerung der Testsequenzen bei der automatischen Testdurchführung erfolgt auf den HiL-Testsystemen. Diese werden über ein von Marquardt selbst implementiertes HiL Backend angesteuert, das auf die HiL-Lösung auf Basis von Vector CANoe zurückgreift. Dabei werden die Testfälle in die Skriptsprache des HiLs kompiliert und die Testskripte auf die ausgewählten Prüfstände verteilt und angesteuert. Nach erfolgter Testdurchführung werden alle Testergebnisse im HiL Backend gespeichert und in dem zentralen TestBench-Repository zur Analyse und dauerhaften Dokumentation abgelegt.

Durch die testfallübergreifende Wiederverwendung von Keywords und das Variantenmanagement werden die Auswirkungen von Änderungen minimiert, was zu einer sehr guten Wartbarkeit der gesamten Testmittel und insbesondere der Testautomatisierung führt. Es ist sinnvoll, Namenskonventionen für Testelemente (Datentypen, Testschritte) sowie eine Schichten-Architektur für Keywords zu definieren und entsprechende Keywords projektübergreifend zentral zur Verfügung zu stellen. Durch diese Vorgehensweise können spezifizierte Testfälle leichter auf unterschiedlichen Testebenen bzw. Testsystemen angewendet werden.

Um die gesamten Testmittel (u.a. Testfälle, Testschritte, Testfalldaten) inklusive des Variantenmanagements zentral verwalten zu können, wurde TestBench eingesetzt. Im Rahmen der Umsetzung wurden die Testingenieur:innen an allen Standorten von Marquardt geschult, um diese Lösung eigenverantwortlich und adäquat anzuwenden

Das Resultat

Die Lösung wird aktuell mit folgendem Mengengerüst genutzt: über 1,5 Mio. Testfälle, mehr als 30 Produktfamilien, bis zu 150.000 Anforderungen pro Produkt, mehr als 120 gleichzeitig arbeitende Testingenieur:innen weltweit sowie ca. 45 HiL-Testaufbauten, die direkt aus der Toolchain angesteuert werden. Darüber hinaus wurde die erarbeitete Lösung auf alle Produktlinien und alle internationalen Marquardt Standorte ausgerollt.

Neben einer Effizienzsteigerung der Testaufwände für den gesamten V&V-Bereich von rund 10 % unterstützt die neue Lösung die Koordination der weltweit verteilten Teams. Ermöglicht wird dies durch das zentrale Repository, in dem alle Testmittel inklusive der Verknüpfungen zu den Anforderungen ohne Medienbrüche und Redundanzen gemanagt werden.

Ausblick

Das derzeit eingesetzte Anforderungsmanagement-Tool DOORS soll in Zukunft abgelöst werden. Hierfür evaluiert Marquardt aktuell mögliche Nachfolger. Das neue Anforderungsmanagement-Tool soll zukünftig auch an TestBench angebunden werden, um z.B. Anforderungen und Testfälle weiterhin im Hintergrund bzw. auf Knopfdruck auszutauschen.

Marquardt und imbus erarbeiten derzeit eine Schulung nach dem Blended Learning Konzept mit dem Ziel, dass sich neue Mitarbeiter:innen über Self-Learning-Einheiten mit den Grundlagen TestBench vertraut machen können.

Die Arbeit mit TestBench soll für die Anwender:innen weiter automatisiert werden. Dazu wird die Toolchain erweitert und zusätzliche Tools integriert, um manuelle Importe und Exporte zu vermeiden. Diese Automatisierung geschieht über die API der TestBench, unter Verwendung der neuen Features der TestBench 3.0.