Reinforcement Learning

shutterstock

Der Leitfaden „Selbstlernende Produktionsprozesse – Einführungsstrategie für Reinforcement Learning in der industriellen Praxis“ führt in das Thema Machine Learning ein und zeigt Schritt für Schritt, wie eine Einführung von industriellem Reinforcement Learning im eigenen Unternehmen ablaufen kann. Anwendungsbeispiele verdeutlichen die Vorgehensweise.

Machine Learning als Teilgebiet der künstlichen Intelligenz umfasst eine Vielzahl unterschiedlicher Konzepte und Methoden. Eine davon ist Reinforcement Learning, welches auf dem Prinzip der Belohnung bzw. Bestrafung basiert und Lernen durch Ausprobieren bedeutet. Dieses Verfahren ist besonders vielversprechend für die Steuerung von Prozessen und eignet sich insbesondere darin, intelligente Steuerungsstrategien zu erlernen. Reinforcement Learning kann bei Prozessen helfen, welche zu komplex sind, um ihr Verhalten in einer Simulation abzubilden. Mithilfe von Reinforcement Learning können Steuerungsstrategien sowohl für sehr komplexe Prozesse als auch für komplexe Umweltbedingungen gelernt werden, ohne diese explizit modellieren zu müssen. Einen weiteren Vorteil bietet die Möglichkeit, eine Steuerungsstrategie in Echtzeit zu ermitteln, während dies mithilfe einer Simulation zu rechenintensiv wäre. Mit Reinforcement Learning ist ein Perspektivwechsel von einer Anlagen- zur Prozesssteuerung verbunden.

Anwendung des maschinellen Lernens in den verschiedenen Bereichen der Automatisierung mit unterschiedlichem Komplexitätsniveau.


Der Einstieg in das Reinforcement Learning ist eine Möglichkeit zum selbstständigen Erlernen von komplexen Steuerungsstrategien. Da die Einführung komplex ist, sollen die im Leitfaden vorgestellten Leitfragen und Werkzeugkästen bei der Identifizierung eines geeigneten Pilotprojekts unterstützen. Die Leitfragen beschäftigen sich mit den Themen Prozessanalyse (Zustandsraum, Aktionsraum, Kostenfunktion), personelle Ressourcen (Kompetenzen, zeitlicher Aufwand) und materielle Ressourcen (Machine Learning Hardware, Sensorik). Die Werkzeugkästen unterstützen in der Beantwortung der Leitfragen, so zum Beispiel ob ein bestimmter industrieller Prozess für das Reinforcement Learning-Verfahren geeignet ist.

Mit Reinforcement Learning können Prozesse gesteuert werden, für die eine Modellierung mit konventionellen Methoden zu komplex wäre.

Algorithmische Ansätze für selbstlernende Produktionsprozesse

Zudem werden im Leitfaden algorithmische Ansätze für selbstlernende Produktionsprozesse vorgestellt und die notwendigen Begriffe und Konzepte sowie die darauf basierende Methoden erläutert. Reinforcement Learning Methoden beginnen in der Regel mit einem Datensatz. Dieser Datensatz enthält für jeden Zeitschritt einer Trainingsepisode den aktuellen Zustand, die durchgeführte Aktion und die zugehörige Bewertung. Dieses Datenset kann dann auf verschiedene Weisen genutzt werden, um die vom Algorithmus gelernte intelligente Steuerungsstrategie, die Policy, zu optimieren. Standard Reinforcement Learning Methoden berechnen mindestens eine der folgenden Größen: eine direkte Schätzung der aktuellen Policy, eine Schätzung der sogenannten Value Funktion oder eine Schätzung der Systemdynamik.
 

Eine Reinforcement Learning Methodik in eigene Prozesse integrieren

Die Anwendungsfälle für Reinforcement Learning in der Industrie sind vielfältig. Das Vorgehen, um eine solche Methodik zu integrieren, folgt jedoch in den meisten Fällen einem klar definierten Schema. Dieses Vorgehen kann in zwei Phasen, die Planungs- und die Realisierungsphase, unterteilt werden. Insgesamt kann die Integration in acht zeitlich aufeinander aufbauende Schritte unterteilt werden.

Der Prozess zur Integration von Reinforcement Learning besteht aus 8 Schritten und trennt sich insbesondere in die Planungs- und in die Realisierungsphase.

 

Best-Practice-Beispiele veranschaulichen die Methoden

Zwei Anwendungsbeispiele verdeutlichen die Vorgehensweise:

  • Für das erste Beispiel wurde am Institut für Unternehmenskybernetik e.V. ein wissenschaftlicher Demonstrator aufgebaut, welcher mithilfe von Reinforcement Learning einen autonomen, kraftgeregelten Montageprozess erlernt.
  • Das zweite Anwendungsszenario wurde im Technikum der AZO GmbH + Co. KG realisiert. In diesem Szenario wird eine verfahrenstechnische Problemstellung am Beispiel eines pneumatischen Schüttgutförderers adressiert.

Loading video

Über das Forschungsprojekt InPulS

Der Leitfaden ist im Zusammenhang mit dem Projekt „InPulS – Intelligente und selbstlernende Produktionsprozesse“ entstanden. Im Rahmen dieses Projektes ist eine selbstlernende Prozessregelung am Beispiel eines pneumatischen Schüttgutförderers und eines kraftgeregelten Fügeprozesses mit einem Roboterarm entwickelt worden. InPulS wurde als vorwettbewerbliches Forschungsprojekt des VDMA-Forum Industrie 4.0 in Kooperation mit dem Institut für Unternehmenskybernetik e. V. (IfU) des Cybernetics Lab der RWTH Aachen und einem projektbegleitenden VDMA-Industriearbeitskreis durchgeführt. Gefördert wurde das Projekt vom Forschungskuratorium Maschinenbau (FKM) e.V. und VDMA in der Zeit vom 01. Oktober 2017 bis 30. September 2019.


Leitfaden zum Download und als Print-Ausgabe

Der Leitfaden „Selbstlernende Produktionsprozesse – Einführungsstrategie für Reinforcement Learning in der industriellen Praxis“ steht zum Download zur Verfügung. Die Print-Version erhalten Sie bei anita.siegenbruk@vdma.org


Weitere Informationen

Institut für Unternehmenskybernetik e. V. (IfU) des Cybernetics Lab der RWTH Aachen: https://cybernetics-lab.de/

Internetauftritt zum Projekt InPulS (Urheber: Cybernetics Lab):
http://www.i40-inpuls.de/de/about

Downloads