Erkennung transparenter Objekte für die Laborautomatisierung

In der Laborautomation dominieren auch heute noch manuelle Verfahren bei der Montage und Prüfung von Produkten für pharmazeutische und medizinische Anwendungen [1]. Der Grund dafür ist, dass die Vorschriften für eine sichere Ausführung jedes Prozessschrittes eine systematische Überprüfung der korrekten Durchführung der Montageaufgabe verlangen. Man spricht von der Erstellung eines Prüfprotokolls oder auch Audit Trail genannt [2]. Eine besondere Herausforderung in diesem Bereich ist der Umgang mit sterilen Medizinprodukten. In diesem Bereich wäre eine Automatisierung wünschenswert, denn Menschen können nur in Schutzkleidung in die sterile Umgebung gebracht werden. Eine Lösung ist daher die Laborautomatisierung mittels geeigneter Methoden der Robotik und künstlichen Intelligenz (KI).

Derzeit erfolgt die Erstellung des Prüfprotokolls durch den Menschen. Dabei wird in der Montageliste jeder Schritt nach der Durchführung als erfolgreich bestätigt. Diese manuelle Nachverfolgbarkeit soll nun durch eine automatisierte Verifikation durch das Robotersystem ersetzt werden.

Erste Ansätze zeigen, dass für einfache Montageaufgaben mit vordefinierten Maschinen diese Arbeitsschritte erstellt werden können [3] oder die Korrektheit der Abfolge überprüft werden kann [4]. Für spezifische Schritte wie das Schließen von Schnappverschlüssen gibt es erste Möglichkeiten einer Verifikation [5]. Weitere Ansätze versuchen Bildverarbeitung für die Verifikation der Pose des Objektes einzusetzen [6‐8]. Derzeit ist es jedoch nicht möglich, ein Prüfprotokoll für die einzelnen Schritte einer Montage mit Robotern zu erstellen.

In diesem Beitrag berichten wir über Lösungen um in Bilddaten die Erkennung und Poseschätzung von bekannten Objekten zu überprüfen und zu verifizieren. Insbesondere wenden wir die Methoden darauf an, die Objekte eines Sterilitätsprüfsets zu erkennen, siehe Abb. 1 rechts. Dabei gilt es besonders die Herausforderung, welche mit der Transparenz der Materialen einhergeht, zu lösen. Die Geometrie der Objekte muss robust erkannt werden, obwohl die Sensorik keine Objekttextur, sondern eine verzerrte Abbildung des Hintergrunds liefert.

Für die Erkenung und Posebestimmung von transparenten Objekten präsentieren wir hier Adaptionen von bestehenden und neue Lösungen, die insbesondere folgende Aspekte umfassen:Der Beitrag startet mit einer Analyse der Probleme bei der Erkennung von transparenten Objekten, Kap. 2, präsentiert dann die Methoden und Ergebnisse in Kap. 3 und die Lösung zur Erfassung von Modellen und Daten fürs Lernen und Evaluieren in Kap. 4. Als Abschluss folgt ein Beispiel um mit einem Serviceroboter ein transparentes Objekt zu greifen in Kap. 5.

Die letzten Jahre zeigten große Fortschritte bei Methoden zur Erkennung von Objekten mit Farb- und Tiefendaten mit RGB‑D Kameras wie der Kinect oder der RealSense. Während Farbe gut ist um Objekte zu erkennen, helfen Tiefendaten um die Pose von Objekten genauer zu bestimmen [7]. Für transparente und reflektierende Objekte ergeben sich jedoch Probleme bei der Bildaufnahme mit Tiefenbildkameras.

Das eine Problem dieser Tiefenkameras ist, dass sie aktiv Licht aussenden, meist im infraroten Spektrum, und daher transparente und reflektierende Materialien nicht erfasst werden können [9]. Abb. 1 links zeigt ein Beispiel mit den Kanistern des Sterilitätsprüfsets. Man sieht in der Ansicht von der Seite, dass nur Artefakte im Tiefenbild auftauchen. Daher müssen Methoden mit Farbbilddaten auskommen um transparente Objekte zu erkennen.

Das zweite Problem hängt mit dem Aufkommen von Methoden des Deep Learning (Neuronalen Netzwerken mit vielen Ebenen) zusammen. Nach diesem Ansatz arbeiten derzeit fast alle Methoden auf Basis von Convolutional Neural Netzwerks (CNN) [10]. Deep Learning benötigt große Mengen an Trainingsdaten, und damit einhergehend auch Annotationen der Bilder (Objektklasse, Position im Bild und Pose im \(3D\)-Raum).

Die Schwierigkeit dabei ist die dreidimensionale Pose aus den zweidimensionalen Bildern richtig zu schätzen. Abb. 2 veranschaulicht das Problem. Da ein Farbbild keine Tiefeninformation liefert, ist die Poseschätzung in der Tiefe schlecht. Obwohl die Pose anhand der Kontur des Gegenstandes sehr genau aussieht, ist die Distanzschätzung im Tiefenbild um mehr als einen Zentimeter falsch. Als Folge davon sind viele Referenzdaten derzeitiger Datensets nicht sehr genau und daher auch die Genauigkeit der Aussagen von solchen Datensets beschränkt. Wir zeigen im nächsten Abschnitt, wie eine Poseschätzung von transparenten Objekten in Farbbildern möglich ist, und danach in Abschn. 4, wie man die Genauigkeit von Datensets verbessern kann.

Im Zuge unserer Forschungen entwickeln wir Methoden um direkt aus Farbbildern die Pose von Objekten zu bestimmen und daraus Greifpunkte für die Manipulation mit dem Roboter abzuleiten [11, 12]. Dabei zeigt sich, dass Poseverifizierung in der Simulation, basierend auf physikalischer Plausibilität, vergleichbare bis bessere Genauigkeiten erzielt, wie Methoden zur Posenverifizierung welche echte Objektobservationen verwenden (Kap. 3.2) [13]. So wie alle Methoden um Objekte zu erkennen, ist das Ergebnis eine Hypothese, dass sich an dieser Stelle im Bild ein Objekt einer bestimmten Klasse befindet. Ein Konfidenzmaß gibt an, wie sicher die Methode ist, dass es sich um dieses Objekt handelt. Obwohl die Erkennungsmethoden laufend besser werden, sind diese Hypothesen unsicher. Um diese Unsicherheit zu minimieren wird ein zusätzlichen Schritt, zur Verifizierung der Objektpose angewandt [7]. Dieser Ansatz, Hypothesenbildung und Verifizierung, verbessert die Ergebnisse in vielen Anwendungen deutlich (Kap. 3.2).

Um den Fortschritt bei der Erkennung von transparenten Gegenständen zu evaluieren, werden geeignete Daten benötigt. Erste Datensätze, die für die Erkennung von transparenten Objekten geeignet sind, wurden in Arbeiten publiziert wie ClearGrasp [17], KeyPose [18] und TODD [19]. Diese Datensätze enthalten meist leere transparente Gefäße, mit Ausnahme des Toronto Transparent Object Depth (TODD)-Datensatzes, der auch mit Flüssigkeit gefüllte Objekte enthält, allerdings nur für sechs verschiedene Objekte. Diese Datensätze liefern auch die Referenz für die Position und Lage der Objekte in Form von Masken und Objektposen, die für das Lernen und die Bewertung notwendig sind.

Während diese Datensätze eine erste Grundlage darstellen, müssen wir bewerten, wie Methoden insbesondere für die relevanten Objekte der Anwendung abschneiden. Aus diesem Grund ist es notwendig ein Datenset für die Zielobjekte zu erstellen. Da dies auch für viele andere Anwendungen gilt, stellen wir hier ein effizientes Verfahren vor, wie exakte Objektdaten und deren Posen erlangt werden können.

Die vorgestellte Methode um mittels COPE transparente Objekte zu erkennen und deren Pose zu bestimmen, danach die Pose zu verifizieren und zu verbessern, wurde mit einem Toyota HSR Roboter ausgetestet [21]. Abb. 12 zeigt ein Beispiel.

Der Artikel präsentiert Methoden um transparente Objekte wie Kanister, Flaschen und Schläuche in Bildern zu erkennen und die exakte Pose zu bestimmen. Dies ist für viele medizinische und pharmazeutische Anwendungen notwendig, da transparente Objekte allgegenwärtig sind.

Wir zeigen, dass transparente Objekte sehr gut aus Farbbildern gelernt werden könnnen mit Ansätzen wie COPE [14]. Um sowohl die Erkennung zu verifizieren als auch die Pose des Objektes zu verfeinern, verwenden wir einen Ansatz mit Hypothesenbildung und anschließender Verifizierung [7, 8]. Das Ergebnis ist eine Bestätigung, dass das korrekte Objekt erkannt wurde als auch die Pose plausibel und richtig ist.

Dieser Ansatz ist ein wichtiger Schritt um Robotersysteme zu schaffen, die in der Lage sind, zu verstehen, was sie wahrnehmen und was sie tun, um sicherzustellen, dass jede Manipulation eines Objektes mit dem Roboter verifiziert ist und somit den Anforderungen einer regulierten Umgebung entspricht, wie sie in medizinischen und pharmazeutischen Anwendungen der Normalfall sind.