Skip to main content
Erschienen in:
Buchtitelbild

Open Access 2023 | OriginalPaper | Buchkapitel

4. Grundlagen: Output

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Neben den bereits vorgestellten Inputs und der Funktionsweise sind vor allem die Ergebnisse von KI-Systemen entscheidend. Sie bieten die Grundlage für alle weiteren Verarbeitungen und Handlungen, sei es durch Mensch oder Maschine. Dieses Kapitel macht Unterschiede zwischen den verschiedenen Kategorien von Outputs deutlich, bspw. inwiefern ein System nur Kategorien kennt oder einen kontinuierlichen Wert bereitstellt. Dazu werden verschiedene Arten von KI-Outputs, sowie das Konzept von Metadaten an zwei Fallbeispielen vorgestellt und durchexerziert.

4.1 Einleitung

An dieser Stelle ist schon einiges über KI-Système bekannt (siehe Kap. 2 und 3): Welche Daten werden für diese genutzt? Wie werden diese bearbeitet? Jetzt geht es um den letzten Teil der Einführung, nämlich die Frage: was für Ergebnisse erzeugt ein solches System?
In diesem Kapitel geht es demnach um die Resultate, die KI-Systeme erzeugen. In der Anwendung ist das eine wichtige Fragestellung: denn der Output eines KI-Systems ist die Information, die z. B. zur weiteren Bearbeitung oder Entscheidung an den Menschen übergeben wird. Plant man den falschen Output, können die Nutzenden vielleicht nichts damit anfangen – wenn zum Beispiel ein Bescheid angenommen oder abgelehnt werden muss und das System lediglich eine Prozentzahl darstellt. Oder wenn ein Tool zur Verarbeitung von Texten zurückmeldet, ob ein Text leicht verständlich geschrieben ist, obwohl eigentlich die Anzahl an Wörtern benötigt wird.
Es gibt viele Arten des Outputs, die zu dem Problem, das man lösen will, passen können. Dieses Kapitel soll eine kurze Einführung zu unterschiedlichen Typen geben und dabei helfen, diese anhand von konkreten Beispielen zu verstehen und zuzuordnen.
Als Grundlage werden zunächst zwei Fallbeispiele vorgestellt. Danach werden nach und nach verschiedene Arten von Ergebnissen erklärt – und auf die Beispiele bezogen. Nach jeder dieser kurzen Abschnitte gibt es zudem Aufgaben, die Sie dabei unterstützen sollen, sich tiefer mit den dargestellten Themen zu beschäftigen.

4.2 Fallbeispiele

Am Ende eines Arbeitsprozesses können verschiedene Formen von Ergebnissen stehen. Das kann zum Beispiel die Entscheidung darüber sein, ob ein Antrag bewilligt wird oder nicht. Genauso gut kann es aber auch eine Prognose sein, z. B. wieviele PKW eine bestimmte Kreuzung nutzen werden. Das Ergebnis könnte weiterhin z. B. eine E-Mail oder ein Brief mit der Bitte um eine Auskunft sein.
Diese verschiedenen Arten von Ergebnissen verbindet eines: es wurden Informationen genutzt, damit sie zustande kommen. Möchte man die Nutzungsfrequenz einer Kreuzung prognostizieren, können dazu historische Daten über die Nutzung eingesetzt werden. Es können Vergleichsdaten von anderen Kreuzungen genutzt werden, um ein besseres Ergebnis zu erzielen.
In diesem Modul soll es darum gehen, welche Ergebnisse ein intelligentes System eigentlich erzeugen kann – und wo es insbesondere anderen Systemen gegenüber überlegen sein kann. Dazu werden wir uns als Beispiel zwei Systeme anschauen, die als Fallbeispiele dienen sollen:
1.
Schreibfix – dieses System analysiert geschriebene Texte, z. B. hinsichtlich ihrer Verständlichkeit, der generellen Stimmung und der Ähnlichkeit mit anderen Texten.
 
2.
Memoriali – dieses System verarbeitet Anträge auf Änderungsgenehmigung für denkmalgeschützte Gebäude und gibt Empfehlungen für den Bescheid aus.
 
In den beiden folgenden Texten werden die beiden Systeme kurz beschrieben. Über Abschn. 4.3 finden Sie Fragen zu den Texten.

4.2.1 SchreibFix

Mithilfe von SchreibFix schreibt Thomas eine E-Mail an seine Vorgesetzte, Mika. Thomas kennt Mika erst seit Kurzem. Er möchte in seiner E-Mail freundlich klingen, aber – da Mika bereits einige E-Mails ignoriert hat – auch selbstbewusst auftreten. Oft drückt er sich zu kompliziert aus. War das vielleicht der Grund?
In dieser E-Mail möchte er sie darauf hinweisen, dass das Meeting mit dem gesamten Bereich noch nicht vorbereitet ist, er aber ein paar Ideen hat. Er bereitet die E-Mail vor und hofft, dass ihm so ein guter Einstieg mit der neuen Sachgebietsleiterin gelingt. Er benötigt dazu auch noch eine schnelle Antwort. Hat sich da in seine E-Mail ein „unverzüglich“ eingeschlichen?
Zum Glück ist er nicht allein. Das Tool „SchreibFix“ (Abb. 4.1) erkennt, dass ein Text kompliziert ist, an einigen Stellen länger als notwendig – und vor allem sehr fordernd. Thomas ändert seinen Text. Kein „prophylaktisch“ und das „unverzüglich“ fliegt raus. So klappt es mit dem E-Mail-Schreiben, dank SchreibFix!

4.2.2 Memoriali

Sie arbeiten im Herzen einer Altstadt – wunderbare, historische Gebäude, altehrwürdige Fassaden – Geschichte zum Anfassen. Das ist wirklich etwas Besonderes – und das soll so bleiben.
Deswegen gibt es Verordnungen zum Schutz solcher Gebäude. Dies ist sehr wichtig, die Verordnungen müssen jedoch manchmal außer Kraft gesetzt werden. Zum Beispiel, wenn Fenster dringend erneuert werden müssen, damit das Gebäude nicht von innen heraus schimmelt oder überaus ineffizient beheizt wird.
Auf Antrag kann der Denkmalschutz zur Erneuerung des Gebäudes außer Kraft gesetzt werden. Diese Anträge sind häufig kompliziert – sowohl für Sie als auch für die Antragstellenden. Zwischen mehreren Zielen muss abgewogen werden: einerseits soll der historische Wert des Gebäudes erhalten werden – andererseits gibt es gesundheitliche oder ökonomische Herausforderungen.
Um diese beiden Ziele miteinander überein zu bringen, gilt es in dem Antrag zu zeigen, weshalb eine Erneuerung unumgänglich ist – und auch, wie diese stattfinden kann, ohne zu große Veränderungen hervorzurufen. Dafür ist eine Reihe an Unterlagen, Planungen oder sogar Sachverständigenberichten einzureichen. Und anschließend zu prüfen.
Memoriali vereinfacht diesen Prozess – für Antragstellende und Sachbearbeitende. Wer bauliche Veränderungen vornehmen muss, wird durch den Prozess der Antragstellung Schritt für Schritt begleitet. Verschiedene Beantragungsziele werden erkannt und bei der Einreichung relevanter Unterlagen wird viel Unterstützung geboten. Nach erfolgter Beantragung berechnet das Programm durch intelligente Regeln und einen Vergleich zu ähnlichen Verfahren mögliche Bescheide sowie Änderungen, die im Konzept vor einer Bewilligung notwendig sind.
Memoriali unterstützt alle Parteien in diesem wichtigen, aber komplexen Prozess.
Übung
Zur Vorbereitung auf den kommenden Abschnitt, bearbeiten Sie die folgenden Fragen für beide Systeme. Achten Sie besonders auf die Unterschiede zwischen den Systemen.
1.
Welche Aufgaben hat das System in dem Fallbeispiel zu erledigen?
 
2.
Gibt es eindeutig richtige und falsche Ergebnisse bezüglich der Aufgaben, die das System übernimmt?
 
3.
Würden Sie das System als intelligent beschreiben? Was spricht dafür, was dagegen?
 
4.
Kann das System unabhängig von einem Menschen arbeiten? Falls nein, welche Kooperation mit Menschen ist erforderlich?
 

4.3 Kategorien

Ergebnisse von KI-Systemen können sehr unterschiedlich aussehen. Das hängt damit zusammen, dass unter KI auch sehr viele unterschiedliche, statistische Methoden zusammengefasst sind.
Ein sehr prominentes Beispiel ist die Sortierung von eingegangenen Informationen in verschiedene Kategorien. Diese Kategorien werden – im Regelfall – vor dem Training der KI festgelegt und können danach als Ergebnisse ausgegeben werden. Manchmal entwickeln KI-Systeme auch eigene Sortierungen für Daten, siehe Abschn. 4.4 zu Pattern Matching.
Mit Blick auf die beschriebenen Fallbeispielen zeigt sich folgendes Bild (siehe Abb. 4.2):
  • SchreibFix analysiert geschriebene Texte, z. B. hinsichtlich ihrer Verständlichkeit, der generellen Stimmung und der Ähnlichkeit mit anderen Texten.
  • Wir wollen uns in diesem Beispiel auf das Thema „Stimmung“ konzentrieren.
  • Stellen Sie sich vor, Sie formulieren eine E-Mail an eine Bürgerin. Der Sachverhalt ist dringlich und Sie benötigen eine rasche Antwort. Gleichzeitig wollen Sie aber auch herzlich klingen, da die Bürgerin sich in einer schweren Lebenslage befindet.
  • Nachdem Sie Ihre E-Mail entworfen haben, nutzen Sie SchreibFix, um die Stimmung Ihres Textes zu überprüfen. Das Ergebnis ist die Kategorie „Dringliches Schreiben“. Sie sind zufrieden.
  • Sie können auch noch überprüfen, welche anderen Kategorien für das System naheliegend waren: „Distanziertes Schreiben“ und „Mahnendes Schreiben“ stehen dort ganz oben. Das entspricht nicht Ihren Vorstellungen und Sie passen den Text noch einmal an.
Reflektieren Sie das Fallbeispiel mit der folgenden Frage
Durch wen oder was wird im Falle von SchreibFix definiert, was ein „Distanziertes Schreiben“ ist?
Die „Stimmung“ in dem Beispiel ist eine Kategorie. Sie zeichnet sich dadurch aus, dass es keine Reihenfolge zwischen Kategorien gibt. „Distanziertes Schreiben“ ist nicht besser oder schlechter als „Mahnendes Schreiben“. Ob es passt oder nicht, hängt von Ihrem Anwendungsfall ab.
Dass es unterschiedliche Kategorien gibt, sorgt dafür, dass manche von ihnen mehr oder weniger zutreffen können als andere. Bei kategorialen Einstufungen durch KI-Systeme kann es daher wichtig sein, nicht nur die wahrscheinlichste Kategorie zu betrachten, sondern auch Kategorien, die mit einer niedrigeren Priorität ausgewählt wurden. Einerseits können diese weitere Hinweise enthalten, andererseits kann durch die Eigenheiten Ihres Schreibstils vielleicht auch die zweitstärkste Kategorie aussagekräftig sein.
Es gibt viele Gründe, bei der Einführung automatisierter Systeme nicht nur das Endergebnis eines Prozesses zu zeigen, sondern auch Meta-Informationen oder wahrscheinliche Alternativergebnisse. Im Kap. 8 zu erklärbarer KI werden noch verschiedene Beispiele dazu diskutiert.
Kategorien können aber auch bei Bildern gebildet werden. Die Bilderkennung ist ein klassisches Beispiel für den Einsatz von Künstlicher Intelligenz. Dabei können Bilder zum Beispiel in zwei einfache Kategorien unterteilt werden („Hund“/„kein Hund“). Allerdings könnte es auch komplexere Kategorien geben, wie z. B. die Bestimmung von Pflanzen- oder Tierarten anhand von Bildaufnahmen. Diese können bei der Arbeit von Sachverständigen genutzt werden.
Den vielleicht stärksten Einfluss auf die Verwaltung dürfte KI aber in der automatisierten Vorsortierung schriftlicher Anfragen haben. Hier können durch KI-Systeme bestimmte Fachbereiche oder sogar Personen zugeordnet werden. Solange einem KI-System im Training unterschiedliche Kategorien zu Trainingsdaten geliefert werden, sind der Innovation keine Grenzen gesetzt. Auch Personen, Bearbeitungsfristen oder Zuständigkeitsbereiche sind Kategorien, in die Texte, Bilder, Videos oder andere Daten eingeordnet werden können.
Das Fallbeispiel zeigt aber auch, dass die Art und Weise, wie Kategorien zugewiesen werden, ein statistischer Prozess ist, der von den Daten, mit denen das System trainiert wurde, abhängt. Es kann also in so einem Fall sein, dass der spezifische Schreibstil nicht genau von SchreibFix erfasst werden kann. Woran könnte das liegen?
Vielleicht werden im Text ungewöhnliche Begriffe verwendet oder Worte, die nur in einem bestimmten Fachbereich genutzt werden. Das KI-System kennt diese Begriffe dann nicht aus dem Training und wäre damit nicht in der Lage, den Text so gut zu klassifizieren, wie andere Texte.
Übung
In diesem Abschnitt haben Sie etwas über Kategorien als möglicher Output von KI-Systemen gelernt. Versuchen Sie sich an den folgenden Aufgaben, bevor Sie fortfahren:
1.
Für die Stadtplanung muss beim Bau einer Brücke die Statik überprüft werden. Ein Kollege schlägt vor, die Informationen zum Bau einem KI-System mit den Kategorien „sicher“ und „nicht sicher“ zu geben. Wie beurteilen Sie dieses Vorhaben?
 
2.
Sie erstellen eine wiederholung Einladung zu einem Gespräch für einen Bürger. SchreibFix gibt Ihnen als Einstufung der „Stimmung“ in Ihrem Text „Freundliches Schreiben“ an. Sie möchten gerne erreichen, dass daraus ein „Mahnendes Schreiben“ wird. Was könnten Sie überprüfen?
 
3.
Ein neues KI-System zur automatischen Zuweisung von Schriftverkehr soll eingerichtet werden. Wie gehen Sie vor, um entsprechende Kategorien zu entwickeln? Welche Herausforderungen könnten dabei entstehen?
 
4.
Planen Sie nun die Kategorien, die in einem eigenen Prozess in Ihrem Beruf relevant sind. Beschreiben Sie, welche Kategorien Sie definieren würden, welche Vorteile daraus entstehen würden und welche Daten für das Training vorhanden sein müssten.
 

4.4 Pattern Matching

Die Zuordnung von Daten zu Kategorien haben wir bisher vor allem mit statischen Daten wie einem Bild oder einem Text beleuchtet. Allerdings kann es auch vorkommen, dass Daten über einen bestimmten Zeitraum beobachtet werden müssen. Nehmen wir zum Beispiel die Anzahl an Krankheitsfällen in einer Organisation. Wenn bemerkt wird, dass vermehrt Personen krank werden – und das über einen längeren Zeitraum – und eventuell auch noch der Herbst beginnt, kann daraus eine Schlussfolgerung gezogen werden: die Erkältungswelle rollt.
Um das zu tun, wurden wiederkehrende Informationen genutzt – die Anzahl an Kranken an verschiedenen Tagen. Da in der Vergangenheit bereits beobachtet werden konnte, dass unter diesen Umständen eine Erkältungswelle besteht, kann nun ein entsprechender Rückschluss gezogen werden. Am Ende dieses Kapitels geht es auch um Möglichkeiten, sogar zukünftige Entwicklungen abschätzen zu können. Allerdings sind nicht nur numerische Daten die Grundlage dieser Form der Mustererkennung, auch Pattern Matching genannt (vgl. Russel & Norvig, 2012, S. 400). Generell ist das Pattern Matching eng verwandt mit der Sortierung in Kategorien. Wieso unterscheidet sich dies von Kategorien? Für ein Pattern Matching werden stets mehrere, z. B. zeitlich getrennte Datenpunkte, benötigt. Bei Kategorien wie einer Bildanalyse ist dies nicht notwendig. Möchten Sie zum Beispiel die Strategie eines Spielers beim Schach erkennen, ist es mitunter notwendig, mehrere Züge zu beobachten, um eine zuverlässige Aussage zu treffen. Eine Momentaufnahme würde dafür nicht ausreichen – könnte aber helfen um z. B. zu bewerten, welcher Spieler oder welche Spielerin gerade größere Chancen auf den Sieg hat.
Das Pattern Matching hat außerdem noch eine andere, wichtige Komponente. Durch die wiederholte Beobachtung von Ereignissen und Daten können Zusammenhänge, also Muster – die Patterns – identifiziert werden. Es muss also vorher nicht in einem Datensatz für das Training bereits ein „Label“ entwickelt werden. Die Muster können dadurch erkannt werden, dass bestimmte Abfolgen von Informationen mit einer hohen, statistischen Wahrscheinlichkeit nacheinander auftreten.
Immer wenn also Verläufe von Daten zur Verfügung stehen, die abstrakteren Mustern zugeordnet werden können, ist es sinnvoll Pattern Matching als Verfahren einzusetzen. Dies könnten zum Beispiel Kontostände sein, die sich über die Zeit verändern – und ggf. Rückschlüsse darauf zulassen, ob ein Unternehmen von der Kleinunternehmerregelung betroffen sein kann oder nicht. Ein anderes Beispiel sind Daten zum Aufkommen von Wildtieren, die eine Aussage darüber ermöglichen, ob die Tiere bereits in der Brunftphase sind – und so eine präzise Steuerung von Schutzphasen zulassen.
Fallbeispiel Memoriali
Schauen wir uns das Beispiel von Memoriali einmal an:
Alberta Fischer lebt in einem älteren Haus, welches unter Denkmalschutz steht. Die Fenster sind aus Holz und trotz einer guten Pflege ist dieses inzwischen verrottet. Sie entschließt sich, die Fenster erneuern zu lassen – der Fensterbauer macht sie darauf aufmerksam, dass es notwendig sei, einen Antrag bei der Stadtverwaltung zu stellen. Sie nutzt dafür das Angebot der Stadt, dies online via Memoriali zu erledigen.
Zunächst wird sie im Programm gebeten, einige Daten einzutragen: das Alter und den Standort des Hauses, das geplante Vorhaben etc. Kurz darauf erscheint eine Pop-Up-Benachrichtigung: „Wir haben 17 ähnliche Vorgänge für Häuser in Ihrer Umgebung gefunden. Möchten Sie angezeigt bekommen, welche Unterlagen Sie für dieses Vorhaben benötigen?“. Erfreut klickt Angelika auf „Ja“ und wird vom Programm danach zielstrebig unterstützt.
In diesem Beispiel fand eine Form des Pattern Matchings statt – die Art und Weise, auf die Angelika Fischer mit dem System interagiert hat, war die Grundlage dafür, dass das System erkennen konnte, was sie plant. Dadurch konnte ein spezifischer Vorgang vorgeschlagen werden. Diese Vorgehensweise kann manche Nutzende aber auch erschrecken, weil sie sich beobachtet fühlen. Deshalb sollte vor der Nutzung auf die Funktionsweise des Programms hingewiesen werden.
Self-Organizing Maps
Ein weiterer Anwendungsfall für Pattern Matching sind die sogenannten Selbstorganisierenden Karten (vgl. Carrasco & Brunner, 2014). Diese Technik des maschinellen Lernens kann genutzt werden, um zweidimensionale, topologische Karten höherer und komplexerer Datensätze zu erzeugen – so beispielsweise zum semantischen Clustering unterschiedlicher Eigenschaften von Altbauten, wie Grad der Wärmedämmung, Ästhetik des Gebäudes, Verfallsgrad oder Ähnliches. Angelehnt an die Art und Weise, wie unser Nervensystem Informationen verarbeitet, wird hier Nähe genutzt, um Ähnlichkeit zwischen verschiedenen Daten anzuzeigen. Dabei landen semantisch ähnliche Datenpunkte auf der Karte näher beieinander und bilden so nach und nach klar abgrenzbare Bereiche für ihre jeweiligen Cluster, bspw. in Form kleiner Insel- oder Landmassen.
Übung
In diesem Abschnitt haben Sie etwas über das Pattern Matching als möglicher Anwendung für intelligente Systeme erfahren.
1.
Sie erheben regelmäßig Daten zur aktuellen Belastung eines Sees mit Algen. Dieser muss regelmäßig und rechtzeitig gesperrt werden, dies hängt aber auch stark vom Wetter ab. Wie könnten Sie Pattern-Matching-Verfahren verwenden, um dies zu ermöglichen?
 
2.
Sie erhalten einen anonymen Hinweis mit dem Auszug der heutigen Kontodaten einer Person; Sie wollen prüfen, ob hier Geldwäsche betrieben worden sein könnte. Inwiefern können Sie diese Aufgabe mit Pattern Matching lösen?
 
3.
Im Rahmen einer Erweiterung von Memoriali werden in regelmäßigen Abständen die Dichtigkeiten der Fenster in Ihrem Verwaltungsgebäude überprüft. Wie könnte Pattern Matching Ihnen helfen, mit diesen Daten effizient zu verfahren?
 
4.
Beziehen Sie sich nun auf einen Sachverhalt aus Ihrem aktuellen Beruf oder Projekt: Welche Daten liegen im Rahmen einer Zeitreihe vor? Welche Einsichten könnte die Beobachtung von Mustern in diesen Zeitreihen bereitstellen?
 

4.5 Numerische Prädiktion

Machine Learning kann genutzt werden, um verschiedenste Arten von Outputs zu generieren. Eine der vielleicht Wichtigsten ist dabei die Erzeugung von sogenannten numerischen Prädiktionen (siehe Abb. 4.3), also der Ausgabe von Zahlenwerten, um Vorhersagen über einen Sachverhalt zu ermöglichen.
Im weitesten Sinne können als numerische Prädiktionen alle Outputs verstanden werden, die Zahlen als Ergebnis haben. Dies ist im Sinne von kontinuierlichen Zahlen zu verstehen, die in mathematischen Bezügen zueinanderstehen. Es geht also, anders als bei den zuvor vorgestellten Kategorien, nicht um gleichwertige Unterteilungen mit verschiedenen Charakteristiken, sondern darum, eine mathematische Funktion zu finden, die zu einem gegebenen Datensatz passt.
Eingangswerte können allerdings durchaus auch als Kategorien vorliegen.
Anschauliche Beispiele für verschiedene Outputs dieser Art sind etwa folgende:
  • Die durch ein System errechneten Rentenbeiträge, die einer Person im Alter zur Verfügung stehen. Als Grundlage des Datensets dienen hier die von der jeweiligen Person eingezahlten Beiträge. Diese werden über den Einzahlungszeitraum hinweg gesammelt und über eine mathematische Formel in sogenannte Rentenpunkte umgerechnet. Ein mit dieser Art Input trainierter Algorithmus könnte jetzt auf Grundlage verschiedener Variablen eine numerische Prädiktion treffen, bspw. wie hoch oder niedrig die auszuzahlende Rente aktuell aussieht. Diese Prädiktion kann dann als Grundlage genutzt werden, um zu beraten oder Anpassungen an der Finanzplanung der Person vorzunehmen. Es handelt sich hierbei klar um eine numerische Prädiktion, da das Ergebnis in einer mathematischen Methode besteht, die nicht nur unterscheidbar von anderen Kategorien ist, sondern eben auch bewertende Aussagen möglich macht (Rente ist höher oder niedriger).
  • Ein weiteres Beispiel wäre die Berechnung der Steuerlasten einzelner Bürgerinnen und Bürger: Stellen Sie sich vor, dass Sie zur Berechnung der Steuerlast, die eine Person Zeit ihres Lebens zu tragen hat, ihre Informationen und Finanzdaten in ein System eintragen. Das Ergebnis dieser komplexen, durch den Algorithmus Ihres Hilfstools erfolgten Berechnungen wird eine Kennzahl sein, die eine Aussage darüber ermöglicht, wie die individuelle Steuerlast dieser Person in den nächsten Jahren genau aussehen wird. Auf Grundlage dieses Ergebnisses können Sie zum einen beurteilen, ob diese Last relativ gesehen hoch oder niedrig sein wird. Sie können sie aber auch direkt mit den Werten anderer Personen vergleichen und so ein Urteil tätigen.
In Bezug auf das präsentierte Fallbeispiel der Altbauten könnte eine mögliche numerische Prädiktion in der Erechnung von durch verschiedene Faktoren beeinflusste Immobilienwerte oder die Kalkulation der Dauer von Umbaumaßnahmen bestehen.
Ein weiterer Aspekt, den es in Bezug auf numerische Prädiktion zu beachten gilt, ist ihr Wert für Machine-Learning-Prozesse wie bspw. Reinforcement Learning (vgl. Abschn. 3.​4). Wichtigstes Element des Reinforcement Learnings ist die Idee, dass der lernende Algorithmus nicht nach jedem Datenpunkt Feedback bekommt, sondern erst nach dem eine bestimmte Anzahl an Schritten erfolgt ist. Dies ist besonders bei spielerischen Kontexten der Fall, bei denen nach einer wie auch immer abgegrenzten Runde eine gewisse Punktzahl erreicht werden muss. Bleibt der Algorithmus unter dieser Zahl, erhält er auch keine Belohnung. Um seine Strategie und somit sich selbst zu verbessern, sind mehrere Durchläufe nötig. Numerische Prädiktion erlaubt ein Feedback, das nicht nur eine klar beobachtbare Richtung hat (höher vs. niedriger), sondern zusätzlich auch das Ausmaß der Abweichung beobachtbar macht (5 Punkte von 10 benötigen, um Verstärkung zu erhalten).
Auch im Sinne dieser Lernmethode ist es wichtig darauf zu achten, dass Algorithmen, die für Numerische Prädiktion eingesetzt werden sollen, sehr „saubere“ Datensätze für ihr Training benötigen, da starke Ausreißer die Qualität der Beurteilung verringern und die Modelle des Algorithmus verwirren können. Man stelle sich exemplarisch vor, dass für die Berechnung der Rentenpunkte Zahlenwerte eingespeist worden wären, die um ein vielfaches höher oder niedriger waren als „realistische Werte“.
Übung
In diesem Abschnitt haben Sie etwas über Numerische Prädiktion als Aufgabe für intelligente Systeme erfahren. Bitte bearbeiten Sie die folgenden Aufgaben, um fortzufahren:
1.
Ein neues System zur Berechnung von Bußgeldern bei Verstößen gegen die Straßenverkehrsordnung soll genutzt werden. Würden Sie ein solches System mittels neuronalen Lernen trainieren? Welche Argumente könnten dafür oder dagegen sprechen?
 
2.
Eine benachbarte Kommune hat ein System eingeführt, welches automatisiert Anträge auf Einstufung des Schwerbehinderungsgrads bearbeitet. Dafür wurde ein System zur Kategorienbildung benutzt. Ihr Kollege schlägt vor, eher auf numerische Prädiktion zu setzen. Welche Argumente für die jeweilige Position gibt es?
 
3.
In Memoriali wurde auch eine Schätzung des Preises für die Umbaumaßnahmen integriert. Allerdings gibt diese keinen genauen Wert (2057,53 €), sondern einen groben Wert an (zwischen 2000 und 2300 €). Handelt es sich hierbei um eine numerische Prädiktion?
 

4.6 Synthetische Ergebnisse

Verschiedene Outputs von Systemen, die Machine Learning nutzen, wurde in den vorigen Abschnitten bereits vorgestellt. Eine in unserem Alltag häufig vorkommende, aber oft übersehene Variante sind dabei Systeme, die „synthetisierte“ oder „simulierte“ Ergebnisse erzeugen. Synthetische Ergebnisse sind in Form elektronischer Musik oder in Videospielen wie Minecraft erlebbar und zwar durch automatisch generierte Musikelemente oder prozedural erstellte Spielwelten.
Prozedural generiert bedeutet dabei, dass Inhalte nach bestimmten Regeln generiert werden. In simulierten Welten wird so z. B. geregelt, in welchem Verhältnis Land und Wasser zueinanderstehen oder dass Bäume nur auf festem Untergrund wachsen können und nicht z. B. im Wasser. Der Anwendungsraum dieser Technologien ist allerdings deutlich größer: auch natürliche Prozesse können z. B. in simulierten Umwelten getestet werden – die Prüfung des Luftwiderstandes von Fahrzeugen ist dabei genauso relevant wie z. B. die Erosion von Böden nach der Rodung bestimmter Landabschnitte. Sie können so z. B. überprüfen, wie bestimmte Regeln sich auf unterschiedliche – prozedural generierte – Gegebenheiten auswirken würden.
Ein weiteres, sich immer weit verbreitendes, Beispiel sind DeepFake-Videos. Also Videos, die so digital manipuliert worden sind, dass es aussieht, als ob Personen, z. B. prominente Politiker- oder Künstler/innen, in ihnen auftauchen, die nie im ursprünglichen Video mitgespielt haben. Ein mit DeepFake erzeugtes Video von Tom Cruise, welches auf der Videoplattform TikTok kursierte sowie die Einbindung der eigentlich verstorbenen Schauspielerin Carry Fischer in ihrer Rolle als Prinzessin Leia in den jüngsten Star Wars Filmen, sind populäre Beispiele.
Alle präsentierten Beispiele teilen sich dabei eine technische Grundlage bzw. einen der Technologie zugrunde liegenden Prozess: Bei der Erstellung von synthetischen Ergebnissen wird zunächst auf Grundlage struktureller Zusammenhänge im Beispielmaterial Regelwissen aufgebaut, auf dessen Grundlage die spätere Synthetisierung erfolgen kann. Wie in Kap. 2 bereits ausgeführt, kann dies durch die Nutzung von Trainingsdaten erfolgen – die Regeln können aber auch explizit gegeben werden.
Im Falle von DeepFakes könnten dies Regeln darüber sein, wie sich die Mimik einer prominenten Person verändert, wenn diese eine bestimmte Handlung wie Lächeln o. ä. vollzieht. In diesem Beispiel wären Trainingsdaten notwendig. In einem nächsten Schritt kann dann die Synthetisierung erfolgen, bei der neue Inhalte erzeugt werden, die den zuvor festgelegten Regeln und Strukturen folgen, sodass am Ende eine synthetische, aber trotzdem authentische Entität erschaffen worden ist.
Welche genaue Form diese annimmt, kann, wie die Beispiele gezeigt haben, vielseitig sein. Wichtig ist die Abfolge von Abstraktion von Regeln, z. B. aus Beispielmaterial, und dann Synthetisierung auf Grundlage dieser Regelstrukturen.
Diese Regeln werden dann auf einen Ausgangswert angewendet. Im Falle prozedural generierter Daten spricht man von einem „Seed“, also dem Samen, der die Grundlage für z. B. prozedural generierte Welten oder auch Musik ist.
Bild- oder Videomaterialen, die via DeepFake oder ähnlichen Systemen verändert wurden, können eine große Herausforderung im Bereich des Datenschutzes oder Urheberrechts darstellen. Auch das Persönlichkeitsrecht könnte davon betroffen sein – mehr dazu im Rechtsteil (Kap. 11).
Beziehen wir diese Idee auf die bereits vorgestellten Fallbeispiele, wird die Variabilität dieses Outputs noch einmal deutlicher:
Ein synthetisches Ergebnis im Falle der Nutzung von SchreibFix wäre beispielsweise eine vollständig synthetisch erzeugte E-Mail. Sie als bearbeitende Person geben dabei klassische Faktoren, wie den Titel der E-Mail, den Adressaten etc., aber auch weitreichendere Informationen, wie das Ziel der E-Mail, z. B. eine Mahnung, und Ihre E-Mail-Historie in das Tool ein. Auf Grundlage dieser Faktoren erstellt die KI dann einen für diesen Vorgang spezifischen Vorschlag. Anders als bei klassischen, lediglich auf vorgefertigten Regeln basierenden Systemen werden hier nicht einfach bereits bestehende Textbausteine konzipiert, sondern erlernte Regeln auf Grundlage Ihrer Eingaben abgeleitet und zur Vorlagen-Erstellung verwendet. So ist es auch möglich, dass sich ein synthetisiertes Produkt auf Ihren eigenen Schreibstil hin anpasst, da das System gelernt hat, wie Sie verschiedene Satzelemente, bspw. Nebensätze, bilden.
Übung
In diesem Kapitel wurden Systeme behandelt, die synthetische Ergebnisse erzeugen. Folgende Aufgaben greifen dies auf:
1.
Ein guter Seed für z. B. die Erzeugung einer Mail in SchreibFix sollte möglichst eindeutig sein. Wenn der Seed z. B. nur „Erinnerung“ lautet, könnten Informationen fehlen und sehr generische Regeln angewendet werden. Welche Anleitung würden Sie Sachbearbeitenden geben, wenn Sie Seeds für Mails erstellen?
 
2.
Die Generierung von synthetischen Daten steht im Bereich der Validierung von Beweismaterial ein großes Risiko dar. Wie könnten synthetische Daten Sie in Ihrer persönlichen Arbeit vor Herausforderungen stellen? Wie können Sie sich darauf vorbereiten?
 
3.
Bei der Planung des Busverkehrs in der Stadt Schlauheim wird über verschiedene Modelle diskutiert: verschiedene Taktungen, Sammeltaxen in der Nacht oder auch On-Demand-Verkehr. Wie könnte die Erstellung synthetischer Situationen bzw. Simulationen helfen, die Wirksamkeit unterschiedlicher Regelungen festzustellen?
 

4.7 Forecasting

Ein weiterer wichtiger Output bei der Verwendung von Machine Learning sind Forecastings, also Ergebnisse, die als Vorhersage für bestimmte Ereignisse genutzt werden können. Dabei ist es wichtig zu verstehen, dass es sich bei Forecastings nicht einfach um einen Sammelbegriff für jede Form von Prädiktionen wie bspw. die Numerische Prädiktionen handelt. Der Begriff Forecasting beschreibt vielmehr einen konkreten Prozess, bei dem Daten aus der Vergangenheit und Gegenwart genutzt werden, um durchgängige Verläufe oder Trends für die Zukunft zu antizipieren. Vereinfacht gesagt werden Vorhersagen über mögliche Verläufe getroffen. Standardmäßig wird es für Zeitreihen benutzt.
Exemplarische Beispiele aus dem Alltag sind Trendvorhersagen, wie sie in Wetterberichten genutzt werden, bei denen Wetterdaten aus der Vergangenheit beobachtet werden, um Aussagen über ähnliche Verhältnisse in der Zukunft zu entwickeln. Auch die Prädiktion von Verkehrsaufkommen, wie es viele Apps für die Planung von Routen nutzen, kann als Forecasting bezeichnet werden. Auch die Entwicklung von Absatzzahlen spielt z. B. in der Logistik eine wichtige Rolle.
Für die bereits bekannten Fallbeispiele würde ein exemplarischer Forecasting-Output wie folgt aussehen:
  • Fall I SchreibFix: Hier könnten Sie auf Grundlage von historischen Daten versuchen herauszufinden, ob es Zeiten im Jahr gibt, an denen die Arbeitslast durch die ankommende E-Mail-Last besonders hoch ist und wie sich das E-Mail-Aufkommen pro Stunde an einzelnen Tagen darstellt. Was Ihnen nicht nur Einblick in Strukturen bietet, die Sie sonst eventuell nur subjektiv wahrgenommen hätten („Im Januar scheint es immer mehr Arbeit zu geben.“), sondern es Ihnen auch erlaubt, zusätzlich eine gezieltere Ressourcenplanung für Ihre einzelnen Arbeitstage vorzunehmen.
  • Fall II Memoriali: Im Sinne der Instandhaltung von Altbauten könnte hier die Verwitterung von Häusern als Ziel des Forecastings begriffen werden. Aus Daten über den Verfall anderer Immobilien in der Vergangenheit, beeinflusst durch Faktoren wie Wettereinflüsse oder Bausubstanzen, kann der Algorithmus Vorhersagen über den zukünftigen Verlauf der Verwitterung einzelner Bauteile treffen.
Forecasting ist dabei mehr, als nur die bloße Voraussage eines einzelnen möglichen Trends. Vielmehr geht es darum, Interaktionen zwischen verschiedenen Prädiktionen sichtbar zu machen. Dies ermöglicht eine präzise Steuerung von z. B. logistischen Ressourcen, da ein Forecasting es absehbar macht, wie diese optimal verteilt werden können.
Rückblickend auf das Fallbeispiel I SchreibFix kann die Voraussage einer Auslastung durch zu hohes E-Mail-Aufkommen als Interaktion bezeichnet werden. Der aufgezeigte Trend zeigt zunächst eine hohe Wahrscheinlichkeit für ein erhöhtes E-Mail-Aufkommen an, um dann die Ressourcenprädiktion „Sind ausreichend Arbeitskräfte verfügbar. Ja oder nein?“ zu ermöglichen. Das Forecasting ermöglicht also Einblicke in verschiedene zukünftige Interaktionen.
Übung
In diesem Kapitel wurden das Thema Forecasting behandelt. Die folgenden Aufgaben sollten bearbeitet werden, bevor man fortfährt:
1.
Sie haben Messdaten über das Verkehrsaufkommen an einer Kreuzung an Werktagen. Für eine kommende Demo möchten Sie auch die Verkehrslage für einen Samstag beurteilen und darauf auf Forecasting zurückgreifen – Ihnen liegen schließlich mehre Monate an Daten vor. Welche Nachteile erwarten Sie? Welche Aussagen lassen sich ggf. trotzdem treffen?
 
2.
Sie arbeiten im Bereich Arbeitsmedizin und Impfschutz und wollen SchreibFix nutzen und abschätzen, wieviel Anfragen Sie im kommenden Monat erhalten – oft steigt die Anzahl an Anfragen in Ihrer Behörde, wenn die Menschen in den Urlaub gehen. Ein Kollege entgegnet, dass „Mails nicht wie das Wetter sind.“ Wie schätzen Sie diese Aussage ein?
 
3.
Pattern Matching und Forecasting haben sehr große Überlappungen. Welche Beispiele gibt es für Pattern-Matching-Aufgaben, die sich nicht auf Forecasting übertragen lassen und umgekehrt?
 

4.8 Metadaten von Ergebnissen

Nachdem nun verschiedene Output-Typen für Machine-Learning-Algorithmen vorgestellt wurden, folgt nun ein Blick auf Informationen, die diese Outputs begleiten bzw. aus ihnen generiert werden können, sogenannte Metadaten.
Mit Metadaten kann beschrieben werden, wie gut ein durch Machine Learning entwickeltes Modell für ein Problem angepasst ist (vgl. Sokolova et al., 2006). Diese Daten helfen also zu verstehen, ob es sinnvoll ist, ein Modell einzusetzen oder ob es z. B. mit anderen Daten erneut trainiert werden muss.
Eine wichtige Metrik für die Beurteilung der Qualität von Algorithmen ist dabei die Accuracy (siehe Abb. 4.4).
Damit gemeint ist die Qualität, mit der ein Algorithmus richtige Entscheidungen bei der Zuordnung trifft. Versteht man den Algorithmus als System, das in Abhängigkeit von den ihm gegebenen Inputs eine Entscheidung darüber fällt, ob der Input positiv oder negativ ist, dann ist die Accuracy ein Maß dafür, wie oft der Algorithmus richtige positive und richtige negative Inputs identifizieren konnte.
Ein mögliches Anwendungsbeispiel wäre ein Algorithmus, der trainiert werden soll, um unerwünschte Bilder oder Videos (bspw. pornographische oder gewalttätige Abbildungen) aus einer großen Datenmenge herauszufiltern bzw. als solche kenntlich zu machen.
Um zu verstehen, auf welche Art und Weise Accuracy eine Einschätzung der Fähigkeiten des Algorithmus erlaubt, ist es zunächst notwendig zu betrachten, welche Ergebnisse überhaupt ausgegeben werden könnten. Eine Möglichkeit besteht darin, dass der Algorithmus den ihm zur Verfügung gestellten Input, hier also verschiedene Bildmaterialien, korrekt als einer der beiden Kategorien (pornographisch vs. nicht pornographisch) identifiziert. Diese Ergebnisse werden als true positive bezeichnet, wenn ein Bild richtigerweise als pornographischer Inhalt identifiziert wird und true negative, wenn ein Bild korrekt als nicht-pornographischer Inhalt klassifiziert wird.
Umgekehrt ist es ebenfalls möglich, dass der Algorithmus den ihm gegebenen Input falsch bewertet: Also etwas als pornographischen Inhalt klassifiziert, das keiner ist, was als false positive bezeichnet wird oder einen pornographischen Inhalt übersieht und als „nicht pornographisch“ klassifiziert, obwohl es sich um einen handelt, was false negative genannt wird.
Betrachten wir nun einen imaginären Algorithmus, dem zehn Inputs gegeben werden: Bilder, die als pornographisch oder nicht-pornographisch klassifiziert werden sollen. Neun der zehn bereitgestellten Inputs sind dabei harmlose Alltagsbilder, nur der zehnte Input zeigt ein Bild mit pornographischem Inhalt. Würde der Algorithmus jetzt alle zehn Bilder als nicht-pornographisch klassifizieren, sähe das Ergebnis wie folgt aus: Neun true positive + ein false positive, die Accuracy des Algorithmus läge somit bei 90 % (9/10 sind richtig identifiziert worden).
Während 90 % auf den ersten Blick wie ein sehr gutes Ergebnis wirkt, muss der Kontext der Entscheidung und deren Konsequenzen mit in die Beurteilung einbezogen werden, um ein wirkliches Urteil fällen zu können. Was, wenn es sich bei dem als false positive gekennzeichneten Input nicht nur um einen störenden pornographischen Inhalt handelt, sondern um eine Person, die im Zuge der Strafverfolgung nun einem Verbrechen zugeordnet wird, das sie nicht begangen hat oder aber um einen infektiösen Patienten, der als unbedenklich eingestuft wird, obwohl er eine ansteckende Erkrankung hat?
Diese Beispiele verdeutlichen eindringlich, dass Accuracy als Maßeinheit allein nicht ausreichend ist, um wirklich ein Urteil über die Qualität eines Algorithmus zu treffen. Wir benötigen sowohl weitere Metriken als auch ein Verständnis für den Kontext, in dem unsere Ergebnisse für weitere Entscheidungen genutzt werden.
Es sind zusätzliche Metriken notwendig, mit denen die Outputs eines Machine-Learning-Algorithmus interpretiert und bewertet werden können. Zwei, die an dieser Stelle kurz vorgestellt werden sollen sind Precision und Recall (siehe Abb. 4.5), die beide in direkter Verbindung mit der zuvor präsentierten Accuracy stehen.
Precision beschreibt dabei, wie gut der Algorithmus darin ist, richtige Positive unter allen Positiven zu erkennen. Die Formel lautet:
True Positive/(True Positive + False Positive). Vereinfacht: True Positive/All Positive.
Für das vorherige Beispiel würde dies ebenfalls bedeuten, 9 Inputs sind als true positives erkannt worden, also Bilder, die korrekt als harmlose Alltagsbilder klassifiziert worden sind, während 1 Input als false positive, also als harmloses Bild klassifiziert worden ist, obwohl es pornographische Inhalte abbildet.
Der Formel folgend bedeutet dies eine Precision von 90 %. Precision liefert also einen Wert, der es ermöglicht, eine realistischere Einschätzung darüber vorzunehmen, wie hoch die Wahrscheinlichkeit eines false positive ist. Dies muss dann abhängig des jeweiligen Kontextes beurteilt werden. Wie zuvor bereits beschrieben, kann ein false positive bei der Sortierung von Tierbildern als zu vernachlässigen akzeptiert werden, während es bei der Überprüfung von potenziellen Straftätern von großer Bedeutung ist.
Recall folgt dabei derselben Logik wie Precision. Hier lautet die Formel allerdings:
True Positive/(True Positive + False Negative) also, wie hoch die wirkliche Anzahl positiver Ereignisse war, die durch den Algorithmus bewertet worden sind.
Recall beschreibt also, wie viele tatsächliche true positive vom Algorithmus auch als solche erkannt worden sind. Es ist somit die Metrik, die genutzt werden sollte, wenn ein false negative Ergebnis mit hohen Kosten oder Schäden verbunden ist. Dies ist bspw. bei der Erkennung von Krankheiten oder der Einschätzung von Betrugsversuchen gegeben. Hier sind die Konsequenzen einer fehlerhaften Zuordnung so hoch, dass es wichtig ist, eine Einschätzung der Fähigkeiten des Algorithmus zu bekommen, bevor dieser praktisch eingesetzt werden kann.
Die letzte Metrik, der sich im Rahmen dieses Kapitels zugewandt werden soll, ist der sogenannte F1-Score (F1-Wert). Dieser wird genutzt, wenn eine Balance zwischen Precision und Recall hergestellt werden soll. Also, wenn sowohl false positives, aber auch false negatives im Kontext der Beurteilung relevant sind. Dies kann bspw. der Fall sein, wenn eine besonders ungleiche Verteilung der Outputs vorliegt. Während Accuracy unabhängig davon genutzt werden kann, ob ein Modell in den Bereichen Recall und Precision schlecht performed, leidet der F1-Wert darunter, wenn ein Ungleichgewicht vorliegt. Somit ist Accuracy immer dann nicht isoliert zu betrachten, wenn die assoziierten Risiken von false negative und false positive unterschiedliche Effekte haben.
Übung
In diesem Abschnitt wurden das Thema Metadaten behandelt. Die folgenden Aufgaben sollten bearbeitet werden bevor man fortfährt:
1.
Vergleichen Sie, welche Rolle Accuracy bei den folgenden Systemen spielt und überlegen Sie, auf welchen der entsprechenden Werte würden Sie besonders achten?
a)
Ein System zur Einteilung von Mails in Spam oder Nicht-Spam
 
b)
Ein System zur Dunkelverarbeitung von Widersprüchen bei Tempolimitverstößen
 
c)
Ein System zur Berechnung der Statik bei Neubauten
 
d)
Memoriali zur Genehmigung von Baumaßnahmen am Altbau
 
 
2.
Sie unterhalten sich mit einer Kollegin über ein System, dass bei sehr komplexen Finanzkonstruktionen hilft, den Überblick zu bewahren und Vorschläge dazu macht, welche Prüfungen als nächstes vorgenommen werden sollten. Sie merkt an, dass das System Schlagzeilen gemacht hat, weil es nur eine 75 % Accuracy besitzt und sie es daher nicht einsetzt. Wie kommentieren Sie das?
 
3.
Welche der folgenden Aussagen ist falsch
a)
Die Accuracy im Bereich Unsupervised Learning sollte immer größer sein als 70 %.
 
b)
Die Accuracy liegt immer bei mindestens 50 %, da es die Ratewahrscheinlichkeit ist.
 
c)
Auch Systeme mit Accuracy von besser als 90 % können ungeeignet für bestimmte Aufgaben sein.
 
d)
Die Accuracy ist ein genauerer Wert als der F1-Score.
 
 

4.9 Abschluss

In diesem Kapitel wurde gezeigt, dass die Ergebnisse von Machine Learning und KI-Anwendungen sehr viele verschiedene Formen annehmen können. Die Art und Weise des Ergebnisses beeinflusst zentral, wie ein intelligentes System eingesetzt werden kann. Bevor ein solches System eingesetzt wird, ist es wichtig zu verstehen, welches Ergebnis von dem System erwartet wird und wie damit weitergearbeitet wird. Das erlaubt auch, zu überlegen, wie sich Arbeitsprozesse verändern.
Als erstes wurden dabei Kategorien vorgestellt – das sind gleichwertige Gruppen, zu denen ein Ergebnis einsortiert werden kann, z. B. „Angenommen“ oder „Abgelehnt“.
Danach wurde das Pattern Matching vorgestellt. Dabei wird der Verlauf von Daten betrachtet und Mustern zugeordnet, z. B. wie sich Nutzende in einer Anwendung orientieren.
Im Rahmen von Numerischer Prädiktion wurden Ergebnisse vorgestellt, die sich anders als Kategorien in einem Zahlenraum bewegen und so z. B. andere Lerntechniken zulassen. Ein Beispiel dafür ist die Berechnung der Steuerschuld.
Ein großer Bereich ist auch das Erzeugen synthetischer Ergebnisse. Dabei werden Regeln aus bestehenden Produkten, z. B. Bescheiden, extrahiert, um auf Basis weniger Eingangsinformationen neue Ergebnisse erzeugen zu können.
Das Forecasting von z. B. der Entwicklung von Finanzdaten oder E-Mail-Aufkommen anhand einer Zeitserie wurde ebenfalls behandelt.
Abschließend wurden Accuracy, Precision und Recall als Werte zur Beurteilung der Genauigkeit von Ergebnissen besprochen.
Nutzen Sie die Inhalte des Kapitels, um in den weiteren Kapiteln zu überlegen, welche Auswirkung bestimmte Ergebnisse z. B. auf die Nachvollziehbarkeit, die Automatisierbarkeit oder gar die rechtliche Grundlage eines Systems haben (z. B. wenn es um Urheberrechte geht).
Open Access Dieses Kapitel wird unter der Creative Commons Namensnennung 4.0 International Lizenz (http://​creativecommons.​org/​licenses/​by/​4.​0/​deed.​de) veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Kapitel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Literatur
Zurück zum Zitat Carrasco Kind, M., & Brunner, R. J. (2014). SOM z: Photometric redshift PDFs with self-organizing maps and random atlas. Monthly Notices of the Royal Astronomical Society, 438(4), 3409–3421.CrossRef Carrasco Kind, M., & Brunner, R. J. (2014). SOM z: Photometric redshift PDFs with self-organizing maps and random atlas. Monthly Notices of the Royal Astronomical Society, 438(4), 3409–3421.CrossRef
Zurück zum Zitat Russell, S., & Norvig, P. (2012). Künstliche Intelligenz (Bd. 2). Pearson Studium. Russell, S., & Norvig, P. (2012). Künstliche Intelligenz (Bd. 2). Pearson Studium.
Zurück zum Zitat Sokolova, M., Japkowicz, N., & Szpakowicz, S. (2006). Beyond accuracy, F-Score and ROC: A family of discriminant measures for performance evaluation. In A. Sattar & B. Kang (Hrsg.), AI 2006: Advances in artificial intelligence. AI 2006. Lecture notes in computer science (Bd. 4304). Springer. https://doi.org/10.1007/11941439_114. Sokolova, M., Japkowicz, N., & Szpakowicz, S. (2006). Beyond accuracy, F-Score and ROC: A family of discriminant measures for performance evaluation. In A. Sattar & B. Kang (Hrsg.), AI 2006: Advances in artificial intelligence. AI 2006. Lecture notes in computer science (Bd. 4304). Springer. https://​doi.​org/​10.​1007/​11941439_​114.
Metadaten
Titel
Grundlagen: Output
verfasst von
Tim Schrills
Copyright-Jahr
2023
DOI
https://doi.org/10.1007/978-3-658-40101-6_4

Premium Partner