13. Simulationsmodelle der Virtuellen Inbetriebnahme als Lernumgebung für Reinforcement Learning

Über die letzten Jahrzehnte haben sich industrielle Prozesse und Produktionssysteme stetig weiterentwickelt. In vielen Produktbereichen steigt die Variantenvielfalt, sodass produzierende Unternehmen auch bei kleineren Losgrößen effizient sein müssen. Besonders für kleine und mittelständische Unternehmen steigen dabei die Herausforderungen, trotz kleiner Losgrößen automatisiert produzieren zu können. Zudem sind kleine Unternehmen oftmals Teil einer größeren Wertschöpfungskette. Sie müssen dadurch schnell und unter hoher Termintreue reagieren können und ihr Produktionssystem auf eine neue Variante umstellen können.

Problematisch ist zumeist nicht die technische Realisierung einer Automatisierung von Produktionssystemen an sich, sondern diese mit wenig Entwicklungsaufwand zu erreichen. Besonders wichtig für kleine Losgrößen ist es, den Aufwand des Engineerings für alle an der Automatisierung beteiligten Systeme gering zu halten. Dabei hilft der zunehmende Trend zum Software-Defined-Manufacturing [1]. Funktionalitäten, welche früher spezielle Hardware benötigten, werden zunehmend in den Softwareanteil von Automatisierungssystemen verlagert. Für die dadurch steigenden Anforderungen an die Softwareentwicklung sind zudem computergestützte Werkzeuge entstanden. Ein wichtiges Werkzeug der Softwareentwickler im Bereich Produktionstechnik ist die Virtuelle Inbetriebnahme (VIBN) [2] mit ihren Simulationsmodellen des Produktionssystems.

Die Simulationsmodelle stehen früher zur Verfügung als ein realer Aufbau des Produktionssystems, welcher beim Kunden oder beim Hersteller in Betrieb genommen wird. Dem Steuerungsentwickler steht durch das simulierte Produktionssystem früher eine Testumgebung zur Verfügung. Dadurch kann die Steuerungsentwicklung zeitlich und räumlich verlagert werden, was den Arbeitsprozess des Steuerungsentwicklers erleichtert. Eine solche virtuelle Testumgebung wird als X-in-the-Loop System [3] (siehe Abb. 13.1 links) bezeichnet, in der ein Testobjekt X, hier das Steuerungssystem, mithilfe einer Feedbackschleife iterativ entwickelt und optimiert werden kann. Die Testumgebung verwendet dabei hauptsächlich die Steuerungssoftware oder Steuerungshardware für Integrations-, beziehungsweise Systemtests [4]. Das Vorgehen zur Entwicklung ist zumeist eine empirische Steuerungsentwicklung welche die Testumgebung als wichtige Komponente verwendet.

In Abb. 13.1 wird die empirische Vorgehensweise für die Steuerungsentwicklung schematisch dargestellt. Im ersten Schritt wird versucht, die informelle Anforderungsbeschreibung, also das Sollverhalten, durch ein implementiertes Steuerungsprogramm zu erreichen. Das Steuerungsprogramm soll in Kombination mit der XiL Simulation, welche die simulierte Steuerstrecke beinhaltet und die entsprechenden Eingangssignale benötigt, verarbeitet werden können. Das Steuerungsprogramm wird im zweiten Schritt, mit Hilfe von Tests in Form von Simulationen überprüft. Die Tests und Simulationen umfassen dabei mehr oder weniger systematische Entwürfe von Testszenarien von kritischen Aspekten und Situationen, welche idealerweise vorab definiert sind. Im dritten Schritt wird ein Vergleich zwischen dem durch die Steuerung erreichten Verhalten und dem Sollverhalten statt. Wird das Sollverhalten nicht erreicht muss erneut ab Schritt 1 die nächste Iteration mit einem angepassten Steuerungsprogramm durchgeführt werden [5]. Für komplexe Systeme werden zumeist viele abgetrennte Iterationsschleifen mit einzelnen Modul-, Integrations- und Systemtests durchgeführt.

Dieses iterative Vorgehen wird durch den Steuerungsentwickler vorangetrieben, welcher durch direktes Testen seines Entwicklungsschritts ein Feedback erhält und darauf basierend den nächsten Entwicklungsschritt plant und umsetzt. Durch die frühere Verfügbarkeit des X-in-the-Loop Systems, kann die Steuerungsentwicklung zeitlich vorverlagert werden, basiert im Grundsatz jedoch weiterhin auf einer konventionellen Entwicklung ohne Simulationsmodelle.

Ein Ansatz welcher die Iterationen mithilfe der Simulation selbstständig durchführt und automatisiert eine Lösung entwickelt und vorschlägt, wäre eine deutliche Erleichterung für den Entwickler. Die VIBN kann dadurch von einem reinen Testsystem zu einem computergestütztem Werkzeug zur Steuerungsentwicklung werden.

Ein Ansatz welcher eine selbständige Iteration und Lösungsfindung am X-in-the-Loop System ermöglichen kann, ist Reinforcement Learning.

Reinforcement Learning steht für eine Klasse von Problemen, sowie für die Vielzahl von dazugehörigen Lösungsmethoden, die im Bereich des Maschinellen Lernens zur Verfügung stehen. Dabei interagiert ein lernfähiges Programm, ein sogenannter Agent, mit einer Umgebung (engl. Environment), die ihm dabei nicht zwingend bekannt sein muss. Der Agent sieht die Umgebung über bestimmte Zustandsvariablen und kann über definierte Aktionen Einfluss auf die Umgebung ausüben. Der Agent lernt dabei laufend dazu und passt sich an, indem er für jede Iteration eine Belohnung oder Bestrafung als numerisches Feedback von der Umgebung erhält. Das Ziel des Agenten ist es, die Belohnung auf lange Sicht zu maximieren [6].

Reinforcement Learning hat bereits, in oftmals noch nicht-kommerziellen und nicht industriellen Bereichen, beeindruckende Ergebnisse erzielt. Bekannte Beispiele sind Spiele mit perfekter Information (sämtliche Informationen aller Spieler sind bekannt) wie Schach oder Go, oder auch Videospiele mit imperfekter Information (nicht alle Informationen sind bekannt), wobei in beiden Bereichen oftmals nach dem Lernen auch die fähigsten Menschen weit übertroffen werden konnten [7, 8]. Diese Beispiele haben meist bereits implementierte Punktesysteme oder Gewinnkriterien, weshalb sie sich für eine automatische Optimierung durch Belohnung sehr gut eignen.

Entscheidend für Reinforcement Learning ist die Lernumgebung innerhalb derer der Agent interagieren kann. Für Produktionssysteme (Maschinen, Anlagen und Roboter) scheidet das reale System aus, da der Agent während des Lernens unweigerlich Fehler machen muss. Diese Fehler sind zeit- und kostenintensiv und teilweise gefährlich für das Produktionssystem. Daher müssen simulierte Lernumgebungen für den Einsatz von Reinforcement Learning geschaffen werden. Ein Ansatz zur Schaffung von simulierten Lernumgebungen ist es bereits bestehende Simulationsumgebungen so zu erweitern, dass sie den Anforderungen des Reinforcement Learning gerecht werden.

Der hier vorgestellte Lösungsansatz basiert auf der strukturellen Ähnlichkeit zwischen der X-in-the-Loop Simulation (XiLS) und Reinforcement Learning, welche in Abb. 13.2 nachvollzogen werden kann.

Der Lösungsansatz besteht darin, die Testumgebung so zu verändern, dass die XiLS vom Funktionsumfang in einer Weise erweitert wird, um als Lernumgebung verwendbar zu sein. Innerhalb dieser Lernumgebung kann ein sogenannter Agent trainiert werden. Dieser Agent ist dadurch in der Lage, geeignete Steuerungslösungen für produktionstechnische Problemstellungen zu lernen [9].

Der Agent ersetzt das Steuerungssystem in der XiLS-Struktur (vgl. Abb. 13.2). Die Kommunikation der Soll-/Istwerte zwischen den simulierten Komponenten und der Steuerung muss in die für Reinforcement Learning übliche Struktur mit Zuständen und Aktionen eingepasst werden. Als Ergänzung zu der XiLS-Struktur, muss eine spezifische Belohnungsfunktion integriert werden, um das Reinforcement Learning Problem vollständig zu definieren.

Auf Basis dieses Lösungsansatzes wurden bereits mehrere Anwendungsfälle untersucht und spezifische industrienahe Problemstellungen gelöst [10, 11]. Für jede Problemstellung wurde eine Lernumgebung innerhalb des VIBN-Werkzeugs ISG-virtuos entwickelt, welche mit einer speziellen Kommunikationsschnittstelle, zur Übertragung der anwendungsfallspezifischen Aktor- und Sensorsignale an den Agenten, ausgestattet war.

Bei der erfolgreichen Übertragung von Reinforcement Learning Methoden in die Produktionstechnik kann auf existierende und aktuelle Ressourcen zurückgegriffen werden, die sich bereits in anderen Anwendungsbereichen bewährt haben. Der Anwender soll in die Lage versetzt werden die aktuellsten Methoden und Algorithmen an seinen Anwendungsfall koppeln zu können, ohne diese selbst zu entwickeln oder anzupassen. Wichtig dafür ist es, die Lernumgebung an bestehenden Standards zu orientieren. OpenAI, Google oder Microsoft liefern standardisierte Lernumgebungen für Lernalgorithmen. Das am weitesten verbreitete Toolkit kommt von OpenAI [12]. OpenAI Gym [13] bietet Open-Source Lernumgebungen für z. B. Videospiele, physikbasierte Simulationen und unteraktuierte Steuerungsprobleme. Durch den freien Zugang zu den einheitlich aufgebauten Lernumgebungen hat sich daraus ein De-Facto Standard entwickelt.

Dazu stellt OpenAI sogenannte Open-Source Baseline Algorithmen zur Verfügung, welche die wichtigsten Entwicklungen und Fortschritte der aktuellen Forschung beinhalten. Diese Baseline Algorithmen werden laufend verbessert und erweitert. Eine unabhängige Community stellt zum Beispiel Implementierungen dazu als Stable Baselines zur Verfügung. [14]

Den Anbietern fehlt aktuell jedoch eine produktionstechnische Simulationsumgebung oder eine geeignete Ankopplung der Toolkits an industrielle Problemstellungen. Ein Lösungsansatz dazu soll im Folgenden vorgestellt werden.

Für die Erfüllung des OpenAI Standards müssen bestimmte Funktionalitäten im VIBN-Werkzeug abgebildet werden. Es muss eine Schnittstelle für den Austausch von Signalen zwischen Agent und Simulation bestehen. Üblicherweise existieren bei VIBN-Werkzeugen Schnittstellen auf Feldbusebene, um die Kommunikation zwischen Steuerung und Simulation in gleicher Art und Weise wie zwischen Steuerung und realen Feldbuskomponenten sicherzustellen.

Innerhalb der Lernumgebung wurde statt einer Feldbus-Schnittstelle eine Remote-Schnittstelle gewählt, um weitere relevante Funktionalitäten, wie das Starten, Stoppen, Parametrieren und Zurücksetzen von Simulationen umsetzen zu können. Da die relevanten Reinforcement Toolkits wie auch OpenAI Gym in der Programmiersprache Python implementiert sind, wird diese Kommunikationsschnittstelle zunächst durch eine Wrapper-Klasse für Python umgesetzt. Über eine weitere Wrapper-Klasse erbt, die VIBN-Lernumgebung die Funktionen und die Struktur von OpenAI Gym, welche mittels der Kommunikationsschnittstelle überschrieben und konkretisiert werden. Die VIBN-Lernumgebung soll so möglichst automatisch aus dem Simulationsprojekt generierbar sein. Die VIBN-Lernumgebung beinhaltet auf diese Weise zwar nicht die eigentliche Simulation und die Modelle, kann jedoch über die Verlinkung und die Remote-Schnittstelle, die Modelle aufrufen und selbstständig starten. Die VIBN-Lernumgebung kann 1:1 wie ein Standard OpenAI Environment verwendbar gemacht werden (siehe Abb. 13.3). Dadurch können Standard-Lernalgorithmen, welche zu OpenAI Gym kompatibel sind, ohne Anpassung gekoppelt werden.

Im Anwendungsbeispiel wird eine Roboter-Zellensteuerung einer Fräs- und Handhabungszelle mithilfe von Reinforcement Learning gesucht und optimiert.

Je nach Problemstellung gibt es viele Interpretationen, wie die Systemgrenzen eines Robotersteuerungssystems definiert werden [15]. Für industrielle Roboter werden in der Regel alle Technologien, die zur Steuerung des Roboters benötigt werden, zusammengefasst als Steuerungssystem bezeichnet [16].

Das Steuerungssystem kann auf Basis einer hierarchischen funktionsbasierten Struktur beschrieben werden. Steuerungsfunktionen auf unterer Ebene sind für die Bewegungsausführung der einzelnen Achsen zuständig. Die Steuerungsfunktionen auf höherer Ebene beinhalten die logische Handlungsplanung zur Erfüllung spezifischer Aufgaben [15]. In industriellen Anwendungen sind die Bewegungssteuerung und die logische Steuerung in der Regel separate Einheiten, welche zumeist jedoch als kombiniertes Produkt Robotersteuerung bereitgestellt werden.

Das Lernen wird im Anwendungsbeispiel auf der Aufgabenebene durchgeführt. Die Bewegungssteuerung wird mithilfe eines industriellen numerischen Steuerungskerns (NC Kern) ausgeführt. Dafür wird der integrierte virtuelle NC Kern im VIBN-Werkzeug ISG-virtuos verwendet [17].

Die Lernumgebung ist damit eine Software-in-the-Loop Simulation eines kinematischen Robotermodells mit einer geeigneten NC-Steuerung zur Bahn- und Geschwindigkeitsplanung auf Basis von G-Code. Die Förderbänder und Werkstücke sind mithilfe von Materialflussmodellen realisiert. Zudem wird der Materialabtrag beim Fräsen simuliert. Die Lernumgebung ist in Abb. 13.4 dargestellt.

Anstatt durch theoretische Überlegungen und Vorarbeiten ein vereinfachtes Modell zu erstellen, das dem Agenten das Lernen so einfach wie möglich macht, soll in diesem Ansatz dem Anwender so wenig Arbeit wie möglich entstehen. Daher wird ein Zustandsraum geschaffen, der aus einer Dimension pro verwendeten Sensor besteht. Für jede mögliche Sensordatenkombination wird ein neuer Zustand erstellt. Es erfolgt keine Priorisierung oder Generalisierung der Sensordaten. Im beschrieben Anwendungsfall sind die Zustandssensoren alle einfach zu diskretisieren (z. B. Lichtschranken). Ausnahmen bilden die Endzustände, welche als feste Zustände implementiert sind und die die Umgebung zurücksetzen und den nächsten Durchlauf starten. Es ergeben sich insgesamt über 3500 mögliche Zustands-Aktions-Kombinationen für den Agenten. Zum Erfolgreichen Lösen der Aufgabe muss daraus eine Sequenz von 18 korrekt hintereinander ausgeführten Aktionen gefunden werden.

Abb. 13.5 zeigt den Lernfortschritt als Verhältnis der Gesamtzahl von positiven zu negativen Belohnungen während eines Durchlaufes. Die Kurve zeigt somit die Gesamt-Performance des Agenten bis zu einem bestimmten Zeitpunkt (Anzahl durchlaufener Episoden) und nicht die aktuelle Perfomance zu einem bestimmten Zeitpunkt. In der Abbildung kann die stetig steigende Performance des Agenten und somit das Lernen nachvollzogen werden. Der Absolutwert des Verhältnisses von positiven zu negativen Belohnungen ist auf einem niedrigen Niveau, weil über den gesamten Lerndurchlauf nicht immer die beste Aktion ausgewählt wird, sondern auch zufällige Aktionen ausprobiert werden. Dazu kommt, dass es über die 18 Aktionen die der Agent machen muss viele Möglichkeiten für negative Belohnungen und nur eine einzige Möglichkeit am Ende für eine positive Belohnung gibt.

Nach einer ausreichenden Anzahl von Aktionen konnte für dieses Anwendungsbeispiel in mehreren Versuchen immer eine optimale Strategie gefunden werden. Abhängig von den Umgebungsbedingungen (das heißt der Förderbandgeschwindigkeit, die zu Kollisionen innerhalb des Prozesses führt) gibt es verschiedene optimale Strategien, die jeweils gefunden wurden. Abb. 13.6 zeigt das Ergebnis eines erfolgreichen Lerndurchlaufs anhand von beispielhaften Einzelbildern, welche sich jeweils zu den Aktionen der gefundenen Sequenz zuordnen lassen.

Detailliertere Beschreibungen der Lernumgebung (Zustandsraum, Aktionsraum und Belohnung) sowie des Lernansatzes und der Ergebnisse können in [10] nachvollzogen werden.

Zur Validierung der beschriebenen VIBN-Lernumgebung nach OpenAI-Standard ist eine Roboter-Kabelhandhabungsaufgabe untersucht worden, bei der ein Kabel in einer bestimmten Pose automatisiert auf einen Tisch gelegt werden soll. Die Anwendung Kabelhandhabung ist für den vorgestellten Ansatz aufgrund der Potenziale und dem bisherigen Fehlen von Lösungen besonders interessant.

In der Automobilbranche wird die Verkabelung oder die Montage von Schläuchen und Dichtungen weitestgehend manuell durchgeführt. Kabelbäume haben grundsätzlich einen großen Einfluss auf die Qualität und Kosten eines PKWs [18]. In einer Studie von 2012 zur Untersuchung der körperlichen Belastung bei der Endmontage von Kabelbäumen stellte sich heraus, dass weniger als 5 % der Montageschritte automatisiert waren [19]. Das Einsparpotential bei einer Automatisierung wird noch deutlicher unterstrichen, wenn berücksichtigt wird, dass circa 750 verschiedene Kabel mit einer Gesamtlänge von ca. 1,5 km in einem Mittelklasse-PKW verbaut sind [18].

Trotz der Potenziale existieren kaum industrielle Anwendungen, da der Schwierigkeitsgrad der Automatisierung bisher eine zu große Hürde darstellt. Im Gegensatz zur Roboter-Handhabung von starren Objekten, bei denen hauptsächlich Position und Orientierung des Manipulators (und damit auch des Werkstücks) berücksichtigt werden müssen, spielt bei flexiblen Objekten zusätzlich die aktuelle Deformation des Werkstücks eine große Rolle. Daher reichen nicht die 6 üblichen Freiheitsgrade (DoF) zur Handhabung eines Objekts, sondern es müssen prinzipiell unendlich viele DoFs berücksichtigt werden. Wenn das flexible Objekt manipuliert, also zum Beispiel in eine definierte Pose gebracht werden soll, handelt es sich folglich um ein unteraktuiertes System. Von der Pose des Manipulators können dadurch nur indirekt Schlüsse auf den Zustand des zu handhabenden Objektes gezogen werden. Das zu handhabende Objekt kann bei gleicher Roboterpose mit der Umgebung kollidieren oder kollisionsfrei sein, abhängig vom Pfad, auf dem der Roboter zu dieser Pose kam. Die Planung einer Trajektorie kann somit nur zeitabhängig und abhängig vom aktuellen Zustand erfolgen, wobei dieser Zustand und die weitere Planung sehr komplex zu bestimmen bzw. zu berechnen ist [20].

Insbesondere wenn keine Spezialmaschinen, sondern flexible Automatisierungslösungen auf Basis von Industrierobotern verwendet werden, treten die Schwierigkeiten bei der Beeinflussung des Objektverhaltens verstärkt auf. Aufgabenstellungen, welche ein Mensch durch seine, auf Erfahrung und Lernen basierten sensomotorischen und kognitiven Fähigkeiten relativ einfach lösen kann, sind für Roboter bisher eine sehr große Herausforderung. Auch für Menschen relativ einfach anmutende Aufgaben, wie ein Kabel zu greifen, sicher durch den Arbeitsraum zu befördern und in einem definierten Bereich sauber abzulegen, sind mit einem Roboter nur schwer umsetzbar. Die Übertragung des menschlichen Erfahrungsschatzes und deren Fähigkeiten auf Robotersysteme, sind mithilfe der gängigen Roboterprogrammiermethoden und -Schnittstellen bislang ebenfalls nicht möglich.

Der Anwendungsfall Roboter-Kabelhandhabung (vgl. [11]) ist in Abb. 13.7 dargestellt. Das Kabel wird zunächst horizontal im freien Raum positioniert, ist vom Roboter gegriffen und schwingt aufgrund der Schwerkraft nach unten. Der Roboter, beziehungsweise der Reinforcement Learning Algorithmus, soll das Kabel stabilisieren und kontrolliert auf dem Tisch platzieren, sodass die markierten Segmente wie abgebildet im Zielbereich liegen (siehe Abb. 13.7 rechts). Die Lernumgebung besteht aus einem 6-Achs-Roboterkinematikmodell in ISG-virtuos gekoppelt mit einer Mehrkörper-Kabelsimulation in der Physik-Engine AGX Dynamics. Die beiden Simulationswerkzeuge sind über den Functional Mock-up Interface Standard gekoppelt [21]. Die Lernumgebung wird durch einen kontinuierlichen Zustandsraum (Position und Geschwindigkeit des letzten Kabelsegments) und einen diskreten Aktionsraum (3 Achsen mit inkrementaler Achsbewegung) aufgebaut. Der Roboter wird für diesen Anwendungsfall auf 3 seiner 6 Achsen begrenzt. Der Lernansatz ist episodisch. Der Agent hat pro Episode 7s Zeit, um das Kabel im Zielgebiet zu stabilisieren, falls keine Kollision die Episode vorzeitig abbricht. Entscheidend für einen erfolgreichen industriellen Einsatz ist eine sinnvolle Belohnungsfunktion und eine Möglichkeit, diese zu implementieren. Für diesen Anwendungsfall sind 3 verschiedene Belohnungsfunktionen integriert, welche in verschiedenen Kombinationen untersucht werden:

Der verwendete Lernalgorithmus ist ein DeepQ-Learning-Algorithmus, mit einem DeepQ Netz (DQN) von Stable Baselines, mit verschiedenen Erweiterungen, die das Lernen beschleunigen und stabiler machen [8, 22, 23, 24].

Die eingesetzte Policy ist eine Multilayer Perceptron (MLP) Policy, was bedeutet, dass die interne Bewertungsfunktion des Agenten durch ein mehrschichtiges künstliches Neuronales Netz [14] approximiert wird. Das MLP ist für diesen Anwendungsfall mit zwei versteckten Schichten ausgeführt, die jeweils 64 Neuronen enthalten.

Die Simulation läuft nicht in einem Echtzeittakt. Der Agent kann die Simulation in 10 ms Taktschritten schrittweise takten. Da keine spezialisierte Simulations- und Machine Learning Hardware mit leistungsfähiger GPU verwendet wird, sind die Taktschritte nicht schneller als Echtzeit. Durch die Physiksimulation und das online Trainieren des Neuronalen Netzes kann die getaktete Simulation zumindest circa im Bereich der Realzeit durchgeführt werden.

Ein wichtiges Ergebnis für die Validierung ist, dass der Reinforcement Learning Algorithmus mit der VIBN-Lernumgebung Lösungen für diese Kabelhandling-Aufgabe finden konnte. In Abb. 13.8 ist eine Lösung nach etwa 20 000 Simulations- und Trainingsschritten des Agenten anhand von Einzelbildern visualisiert, die über eine Episode gespeichert wurden. Das Kabel wird so auf dem Tisch abgelegt, dass durch Reibung die Pendelenergie abgebaut wird. Danach wird das Kabel langsam nach hinten in die Zielposition gezogen.

In diesem Beitrag wurde ein Ansatz zur Verwendung von VIBN-Simulationsmodellen als Lernumgebung für selbstlernende und selbstoptimierende Steuerungssysteme aufgezeigt. Dabei wurde erläutert wie die VIBN, ursprünglich als Testumgebung entwickelt, in eine Lernumgebung überführt werden kann. Des Weiteren wurde der Ansatz anhand von zwei Anwendungsbeispielen, mit unterschiedlichen Problemstellungen für Robotersteuerungen, näher betrachtet und validiert.

Eine solche Lernumgebung, eingebettet in ein industrietaugliches Werkzeug, kann in der Zukunft einen wichtigen Beitrag zur Zeit- und Kosteneinsparung für komplexe Automatisierungslösungen liefern. Zudem kann ein solcher Ansatz ein Schritt in Richtung des Digitalen Zwillings nach Kritzinger et al. [25] sein, welcher als steuerndes, simulatives und optimierendes Abbild der realen Anlage viele Mehrwerte bietet.