3. Grundlagen: Verarbeitung

Das vorige Kapitel befasste sich mit dem Thema Daten als zentrale Grundlage für ein KI-System. Aber was passiert nun, wenn man Daten einem KI-System zur Verfügung stellt bzw. ein KI-System mit diesen Daten trainiert? Wie verarbeitet das System die Daten? Ein KI-System lernt nicht auswendig, es lernt grundsätzliche Strukturen, weshalb das System nicht nur mit den bereits bekannten Trainingsdaten Ergebnisse liefert, sondern auch mit zuvor völlig unbekannten, neuen Daten einen Output generiert. Im Folgenden werden drei maßgebliche Verfahren des maschinellen Lernens vorgestellt, das überwachte, unüberwachte und bestärkende Lernen (vgl. Seegerer et al., 2020 sowie Russel & Norvig, 2012, S. 811).

Ausgangslage für das überwachte Lernen sind Daten, die ein Label enthalten. Als Label bezeichnet man die Information oder das Ergebnis, mit dem der Input verbunden werden soll. Das könnten am Beispiel der öffentlichen Verwaltung auch „Angenommen“ oder „Abgelehnt“ bei Bescheiden sein. Ein anderes Beispiel sind viele handschriftlich erstellte Buchstaben, die dann mit dem korrekten Label gekennzeichnet sind, damit die Maschine versteht, welcher Buchstabe hinter der Schrift steht. In Abb. 3.1 etwa sind verschiedene handschriftlich geschriebene Buchstaben mit dem jeweils für die Maschine lesbaren Buchstaben gekennzeichnet.

Die Daten werden anschließend in Trainings- und Testdaten aufgeteilt, wobei die Menge der Trainingsdaten deutlich größer ist. Das System lernt nun anhand der Trainingsdaten die Strukturen und charakteristischen Merkmale der einzelnen Buchstaben. Anschließend wird anhand der Testdaten geprüft, wie präzise das System die Daten korrekt zuordnet.

Durch überwachtes Lernen können hauptsächlich zwei Aufgaben erfüllt werden: Klassifikation und Regression. Ersteres bedeutet beim Beispiel der Buchstaben, dass das System für jeden Buchstaben eine Kategorie anhand ähnlicher Merkmale erstellt. Ein „C“ hat beispielsweise keine gerade Linie und besteht nur aus einer durchgängigen, gebogenen Linie. Dementsprechend ordnet das System die Zeichen, welche diese Merkmale bestätigen, der Kategorie „C“ zu. Ebenso könnte das System beispielsweise prüfen, ob ein bestimmtes Antragsformular vollständig ausgefüllt ist oder nicht.

Bei der Regression wird hingegen ein kontinuierlicher numerischer Wert ermittelt, etwa wie hoch das Einkommen ist – z. B. in Abhängigkeit vom Alter. Hierbei muss allerdings ein besonderes Phänomen verhindert werden, das sogenannte Overfitting (zu Deutsch in etwa Überanpassung). Overfitting bedeutet, das System lernt die Trainingsdaten auswendig bzw. es erkennt keine allgemeinen Strukturen, sondern richtet die Auswertung eng an den Trainingsdaten aus (vgl. Russel & Norvig, 2012, S. 821 f.). Das kann zum Beispiel passieren, wenn nur Personen mit hohem Alter in den Trainingsdaten sind, in der wirklichen Anwendung aber auch andere Altersbereiche auftauchen. Das führt dazu, dass das System unbekannte Daten nicht angemessen verarbeitet und somit fehlerhafte Ergebnisse erzeugt werden. Gleichzeitig ist es aber auch möglich, dass ein Zustand des Underfitting (etwa Unteranpassung) entsteht und das System den Zusammenhang zwischen den Daten nicht genug lernen kann. Dazwischen gibt es einen Zustand, der idealerweise erreicht werden sollte. In diesem ist die Auswertung der Daten ausgeglichen und das System hat weder die Trainingsdaten auswendig gelernt noch zu wenig Kenntnisse über allgemeine Strukturen in den Daten. Abb. 3.2 veranschaulicht diese unterschiedlichen Formen der Anpassung.

Beim überwachten Lernen wird also zunächst ein Datensatz benötigt, dessen Daten über ein Label verfügen. Schon diese erste Voraussetzung ist nicht immer einfach zu erfüllen. Darüber hinaus benötigt man eine gewisse Menge an Daten, um Underfitting zu vermeiden, und eine gewisse Qualität und Diversität der Daten, um Overfitting zu verhindern. Außerdem ist es von großer Bedeutung, vorab das Ziel des Systems zu definieren: Sollen Daten klassifiziert werden oder wird eine Regression benötigt? Mithilfe der Testdaten wird überprüft, wie präzise das System mit unbekannten Daten umgeht.

Ausgangslage für das unüberwachte Lernen sind große Datenmengen, die kein Label enthalten, beispielsweise verschiedene Antragsformulare im pdf-Format oder Videos über Parlamentsdebatten. Dadurch kann das unüberwachte Lernen auch dort eingesetzt werden, wo es noch keine definierten Zielwerte gibt (vgl. Kreutzer & Sirrenberg, 2019, S. 7), etwa wenn einem Sachbereich viele verschiedene Aufgaben neu zugeordnet werden und überlegt werden muss, an welchen Stellen man diese gruppieren kann. Wie findet man nun also eine zusammenhängende Muster in diesen Daten? Wie kann man diese Daten effektiv und sinnvoll gruppieren? Solche Aufgaben können mithilfe von unüberwachtem Lernen erfüllt werden (vgl. Buxmann & Schmidt, 2019, S. 10).

Das Gruppieren von Daten wird auch als Clustering bezeichnet. Innerhalb der Cluster befinden sich Daten mit ähnlichen Ausprägungen. Die oben aufgeführten Antragsformulare könnten etwa in verschiedene Cluster eingeteilt werden, in denen zum Beispiel Anträge für Baumaßnahmen, Anträge für Wohngeld oder Anträge für Elterngeld gruppiert sind. Es ist möglich, die Anzahl der gewünschten Cluster vorab festzulegen, wobei zu beachten ist, dass eine hohe Anzahl an Clustern kleinere Gruppen mit mehr Granularität erzeugt, eine geringe Anzahl an Clustern hingegen zu größeren Gruppen mit geringerer Granularität führt.

Im vorigen Abschnitt wurde das Auslesen handschriftliche Buchstaben mittels überwachten Lernen trainiert. Dies war möglich, weil der Datensatz für jeden Buchstaben ein Label enthielt. Wie verhält es sich nun, wenn wir einen Datensatz handschriftlicher Buchstaben vorliegen haben, diese aber nicht direkt annotiert sind und somit von einer Maschine nicht zugeordnet werden können (wie in Abb. 3.3)?

Unüberwachtes Lernen ist hier eine Möglichkeit, der Maschine ein Verständnis für die unterschiedlichen Buchstaben anzutrainieren. Die Anzahl der Cluster wird mit der Anzahl der Buchstaben gleichgesetzt, die Maschine gruppiert nun die Buchstaben anhand ähnlicher Ausprägungen in dieselben Cluster (Abb. 3.4).

Im Gegensatz zum überwachten Lernen ist es beim unüberwachten Lernen deutlich schwieriger, die Zuverlässigkeit des Algorithmus zu überprüfen, weil es keinen Test-Datensatz gibt, durch den die Ergebnisse des Systems eindeutig bewertet werden können. Daher ist es in solchen Fällen besonders wichtig, ein Verständnis für die Daten zu entwickeln und die Ergebnisse des Systems kritisch zu hinterfragen.

Verstärkendes oder bestärkendes Lernen (englisch: Reinforcement Learning) unterscheidet sich in seiner Form von den vorherigen Verfahren. Das KI-System erlernt die korrekte Zuordnung von Daten „spielerisch“, indem es für korrekte Antworten belohnt und für inkorrekte Antworten bestraft wird. Dieses Verfahren gibt es auch in der Psychologie und wird dort als operantes Konditionieren bezeichnet. In der Regel liegen bei diesen Anwendungsfällen keine großen Datenmengen vor. Vielmehr lernt das System durch Erfahrung, es sammelt die Rückmeldungen der jeweiligen Outputs und versucht langfristig die Belohnung zu maximieren.

Ein klassisches Anwendungsfeld für bestärkendes Lernen ist die Robotik. Die Aufgaben von Robotern sind in der Regel komplex, sie lassen sich nicht durch Programmieren endgültig festlegen. Außerdem liegen für die Anwendungsfälle von Robotern häufig keine Trainingsdaten vor. Daher muss der Roboter durch Versuchen erlernen, welche Situationen zum Erfolg führen und welche ein Irrtum sind (vgl. Ertel, 2016, S. 313).

Viele erfolgreiche Erfindungen imitieren Funktionsweisen aus der Natur. Für die Entwicklung eines intelligenten Systems hat man sich am menschlichen Gehirn – insbesondere am Aufbau der 10 bis 100 Mrd. Nervenzellen bzw. Neuronen – orientiert. Entstanden ist dabei das Konstrukt des künstlichen neuronalen Netzes (vgl. Russel & Norvig, 2012, S. 845–856).

Wie auch bei den Verfahren des maschinellen Lernens erhält das künstliche neuronale Netz (KNN) als Input Daten, welche es verarbeitet. Anschließend liefert das Netz als Output ein bestimmtes Ergebnis. Was beim Menschen durch organische Prozesse funktioniert, wird bei einem KNN durch mathematische Funktionen ausgeführt. Die Struktur eines neuronalen Netzes unterteilt sich dabei grundsätzlich in drei Schichten: der Input-Schicht, der „versteckten“ Schicht (häufig als Hidden Layer bezeichnet) und der Output-Schicht (siehe Abb. 3.5). In jeder Schicht befinden sich Neuronen, welche mit einer unterschiedlichen Anzahl an Neuronen aus anderen Schichten verbunden sind. Zwischen diesen Neuronen werden Werte hin und her übermittelt. Diese Verbindungen entwickeln unterschiedliche Gewichtungen, in Abhängigkeit der Bedeutung des Austauschs. Jedes Neuron enthält eine sogenannte Aktivierungsfunktion, diese besteht aus der Summe der gewichteten Ausgabewerte der vorigen Neuronen, die mit ihm verbunden sind. Wenn Informationen nicht nur weitergeleitet, sondern auch zurückgeleitet bzw. rückgekoppelt werden können, spricht man von rekurrenten Netzen. Dies ist beispielsweise notwendig, wenn das KNN während des Lernens auf Informationen zurückgreifen soll.

Dieses neuronale Netz kann man nun überwacht oder unüberwacht trainieren, ebenso kann man Reinforcement Learning nutzen. Es gibt verschiedene „Architekturen“ künstlicher neuronaler Netze, diese sich in der Funktionalität der einzelnen Neuronen sowie in der Gesamtfunktionalität unterscheiden. Im Bereich der Bilderkennung werden beispielsweise konvolutionale Netze eingesetzt (Convolutional Neural Networks, CNN), während man bei der Zeitreihenanalyse gern auf sogenannte LSTM (Long Short-Term Memory) zugreift. Welche Art von KNN passend ist, hängt also von dem jeweiligen Anwendungsfall und auch von den vorliegenden Daten ab. Wenn man wieder an das Beispiel des Auslesens handschriftlich erstellter Schrift denkt und hierfür genügend Daten vorliegen, kann man ein CNN mit diesen trainieren. Wenn eine Vielzahl an KNNs genutzt wird und die Anzahl der Hidden Layer steigt, spricht man auch von tiefen neuronalen Netzen oder von Deep Learning (vgl. Ertel, 2016, S. 300).

Künstliche neuronale Netze sind komplexe Gebilde – um ein vertieftes Verständnis über die Funktionsweise zu erhalten, ist es notwendig, sich mit der zugrunde liegenden Mathematik und Statistik auseinanderzusetzen. Dieses Buch kann hier nur einen groben Überblick bieten. Angesichts der vielfältigen Projekte und Publikationen derzeit lohnt sich eine Vertiefung über dieses Buch hinaus.

Eine Support Vector Machine (SVM) ist keine Maschine im physischen Sinne, vielmehr handelt es sich um einen Algorithmus, mit dessen Hilfe man Daten klassifizieren kann (vgl. Russel & Norvig, 2012, S. 863 f.). Eine SVM sucht hierfür eine „Hyperebene“, mittels derer die Daten optimal voneinander getrennt werden. Man kann diese Hyperebenen als Entscheidungsgrenzen verstehen, anhand derer entschieden wird, in welche Klasse ein Datenpunkt fällt.

Wie in den Kennzeichnungen von Abb. 3.6 zu erkennen ist, gibt es häufig mehrere Möglichkeiten, diese Hyperebene zu platzieren. Ziel ist es, dass zwischen Hyperebene und dem nächsten Punkt auf beiden Seiten der maximal mögliche Abstand erreicht wird. Die rechts abgebildete Hyperebene ist demnach präziser als die auf der linken Seite. Je größer der Abstand zwischen den Datenpunkten und der Hyperebene, desto geringer ist die Wahrscheinlichkeit, dass Daten fehlerhaft klassifiziert werden. In der Abbildung werden die Daten in zwei Gruppen eingeteilt, es gibt also zwei unterschiedliche Arten von Input-Daten (hier türkis und violett). Die SVM kann aber auch eingesetzt werden, wenn es mehr als zwei Datenklassen gibt, dann gestaltet sich allerdings die Visualisierung schwieriger.

Bei der linearen Regression wird ein kontinuierlicher numerischer Wert ermittelt, etwa wie hoch das Einkommen in Abhängigkeit vom Alter ist (vgl. Russel & Norvig, 2012, S. 835–843). Die Korrelation zwischen einer abhängigen Variable und einer oder mehreren unabhängigen Variablen soll ermittelt werden. Für eine lineare Regression wird das Verfahren des überwachten Lernens angewendet, es werden dementsprechend Daten mit Label benötigt. Anschließend versucht das System, ein Muster (Pattern) in den Daten zu erkennen, bei der linearen Regression in Form einer „je mehr X, desto mehr Y“ oder „je mehr X, desto weniger Y“ Beziehung. Y ist dabei die abhängige Variable, also die unbekannte Variable, die von Interesse ist und bestimmt werden soll. X ist eine oder es sind mehrere Variablen, welche Einfluss auf Y haben und die bekannt sind.

Bei der logistischen Regression geht es hingegen um Wahrscheinlichkeiten, konkret um die Wahrscheinlichkeit, ob ein Ereignis zutrifft oder nicht zutrifft (vgl. Russel & Norvig, 2012, S. 843–844). In der Regel wird hier eine Sigmoid-Funktion angewendet, die einen Wert zwischen 0 und 1 annehmen kann, s-förmig verläuft, einen Wendepunkt bei 0,5 hat und wie in Abb. 3.9 dargestellt aussieht.

Um einen geeigneten Anwendungsfall für logistische Regression zu generieren, wird also zunächst eine abhängige Variable, die dichotom ist, benötigt. Das bedeutet, es gibt zwei mögliche Kategorien (ja/nein, TRUE/FALSE usw.) – es sind also nominalskalierte Daten (zur Skalierung siehe Kap. 2). Es gibt zwar auch sogenannte multinomiale logistische Regressionen, bei denen die abhängige Variable mehr als zwei Ausprägungen haben kann, diese sollen an dieser Stelle jedoch vernachlässigt werden.

Im Gesundheitswesen könnte man eine logistische Regression beispielsweise einsetzen, um die Frage zu beantworten, ob eine Probe auf eine Krebserkrankung hinweist oder nicht. In einem E-Mail-Postfach könnte man mit der Wahrscheinlichkeit rechnen, ob eine E-Mail Spam ist oder nicht. Worin unterscheiden sich nun diese beiden Beispiele? In einem Punkt ganz sicher: in der Toleranz für sogenannte False Positives/False Negatives. Dahinter verbirgt sich die Wahrscheinlichkeit, mit der das System fälschlicherweise eine Krebserkrankung bzw. Spam als Output liefert, obwohl die Patientin oder Patient gesund ist bzw. es sich um eine legitime E-Mail handelt (False Positive) und die Wahrscheinlichkeit, mit der das System fälschlicherweise eine Probe als „gesund“ deklariert bzw. eine E-Mail als „nicht Spam“, obwohl eine Krebserkrankung vorliegt bzw. es sich bei der E-Mail um Spam handelt (False Negative). Im Gesundheitswesen wollen wir sicherstellen, dass die Einschätzung des Systems eine hohe Zuverlässigkeit hat, schließlich geht es um das Leben eines Menschen. Beim E-Mail-Filter wiederum ist es zwar nicht schön, wenn eine Spam im normalen Postfach landet, solange man aber nicht auf etwaige Phishing-Angriffe eingeht oder Links dieser E-Mail tätigt, stellt dies darüber hinaus keine Bedrohung dar. Weiterhin kann durch gelegentliches Sichten des Spam-Ordners sichergestellt werden, dass nicht versehentlich korrekte Emails dort gelandet sind. Eine inkorrekte Klassifizierung ist also insbesondere bei kritischen Einsätzen möglichst zu vermeiden. Ein tieferer Einblick dazu folgt in Kap. 4.

Sie haben im vorigen Abschnitt erarbeitet, welche Daten Sie für Ihr KI-System nutzen möchten. Nun lautet die Frage, in welcher Form das System die Daten prozessieren soll: