Der Einsatz von KI-Algorithmen wirft in der Versicherungswirtschaft eine große Anzahl interessanter aufsichtsrechtlicher Fragen auf, für die es heute noch keinen umfassenden aufsichtsrechtlichen Rahmen gibt. Wer trägt die Verantwortung für eine Entscheidung, wenn diese auf einen Algorithmus zurückgeht? Wie kann die Aufsicht einen Entscheidungsprozess überwachen, wenn dessen Grundlage ein neuronales Netz ist, das als eine Art Blackbox funktioniert? Versicherungsunternehmen setzten bereits heute erste KI-Algorithmen ein und die Aufsichtsbehörden haben erkannt, dass sie schnell Antworten auf die Frage finden müssen, unter welchen Voraussetzungen sie einen solchen Einsatz zulassen sollen. Dieser Beitrag stellt die Entwicklung von KI-Algorithmen für den Einsatz in der Versicherungswirtschaft dar, beleuchtet die Rechtlichen Herausforderungen ihres Einsatzes, setzt sich mit der Positionierung der Aufsichtsbehörden zu diesen rechtlichen Herausforderungen auseinander und gibt einen Ausblick auf potenzielle weitere Entwicklungen.
1 Einführung – Künstliche Intelligenz als neue Form der Datenverarbeitung
Der Duden definiert Intelligenz als „Fähigkeit [des Menschen], abstrakt und vernünftig zu denken und daraus zweckvolles Handeln abzuleiten“.1 Durch diese Fähigkeit hebt sich der Mensch von allen anderen Lebewesen ab. Die Vorstellung, dass sich Intelligenz auch künstlich erschaffen lässt, hat den Menschen bereits lange vor der Erfindung des modernen Computers beschäftigt. Für großes Aufsehen sorgte bereits im Jahr 1770 der vom Hofbeamten Wolfgang von Kempelen auf Schloss Schönbrunn in Wien präsentierte Automat, der Schach spielen konnte, der sog. „Schachtürke“. Leider stellte sich heraus, dass im Inneren des Apparats ein Mensch saß und das Ganze kein Meisterstück, sondern eine – wenn auch gut gemachte – Täuschung der Zuschauer war.2 Funktionsfähige Schachcomputer wurden erst gut 200 Jahre später entwickelt und auch diese erfüllten über lange Zeit nicht die Anforderungen, die wir heute an eine Künstliche Intelligenz stellen würden.
Die Grundlagen für unser heutiges Verständnis von Künstlicher Intelligenz legte der englische Mathematiker Alan Turing in seinem Aufsatz „Computing Machinery and Intelligence“ von 1950. Er stellt die Frage „Can Machines Think?“, beschreibt eine Versuchsanordnung, um dies im Einzelfall zu beurteilen (dem „Turing-Test“), und setzt sich mit einer Reihe möglicher Einwände gegen die Vorstellung auseinander, dass das Denken nicht mehr dem Menschen allein vorbehalten sein könnte.3 Für Turing war klar, dass es künstliche (Computer‑)Intelligenz geben kann und wird, erlebt hat er es nicht mehr – Turing starb bereits im Jahr 1954, lange bevor der von ihm konzipierte Test erstmals bestanden wurde.
Anzeige
Die Entwicklung der Künstlichen Intelligenz verlief in den Jahrzehnten seit der Veröffentlichung von Turings bahnbrechendem Aufsatz keineswegs linear. Auf jeden Fortschritt folgten zunächst Rückschläge und Stagnation. Zwar wurde das Konzept der Neuronalen Netze, das die Grundlage für den endgültigen Durchbruch der Künstlichen Intelligenz bildet, bereits parallel zu Turings Überlegungen entwickelt,4 erst im vergangenen Jahrzehnt wurden Computer aber so leistungsfähig, dass KI-Algorithmen auf der Grundlage neuronaler Netze praxisrelevante Probleme lösen konnten.
Der wesentliche Unterschied zwischen KI-Algorithmen und herkömmlichen Computer-Programmen besteht darin, dass KI-Algorithmen lernen, sich also eigenständig verbessern können. Ihr Einsatz ist jeweils fokussiert auf ein begrenztes Einsatzfeld, man spricht auch von „schwacher“ Künstlicher Intelligenz. Die Vorstellung der Maschine, die den Menschen mit einer alles überragenden Künstlichen „Superintelligenz“ verdrängt, dürfte hingegen auf absehbare Zeit Science Fiction bleiben.
Aber bereits der Einsatz „schwacher“ KI-Algorithmen wirft in der Versicherungswirtschaft eine große Anzahl interessanter aufsichtsrechtlicher Fragen auf, für die es heute noch keinen umfassenden aufsichtsrechtlichen Rahmen gibt.5 Wer trägt die Verantwortung für eine Entscheidung, wenn diese auf einen Algorithmus zurückgeht? Wie kann die Aufsicht einen Entscheidungsprozess überwachen, wenn dessen Grundlage ein neuronales Netz ist, das als eine Art Blackbox funktioniert? Versicherungsunternehmen setzten bereits heute erste KI-Algorithmen ein und die Aufsichtsbehörden haben erkannt, dass sie schnell Antworten auf die Frage finden müssen, unter welchen Voraussetzungen sie einen solchen Einsatz zulassen sollen. Die Herausforderung für beide Seiten, Versicherer wie Versicherungsaufsicht, besteht darin, eine geeignete Balance zwischen Fortschritt zum Wohle der Versicherungsnehmer:innen (z. B. in Form schnellerer Entscheidungsprozesse, günstigerer Verwaltungskosten und objektiverer Entscheidungen) und der Nachvollziehbarkeit und Überprüfbarkeit der Entscheidungsprozesse zu finden. Dieser Aufsatz soll einen Beitrag zu dieser Diskussion leisten. In Abschn. 2 stellen wir die Entwicklung von KI-Algorithmen für den Einsatz in der Versicherungswirtschaft dar. Abschn. 3 beleuchtet die Rechtlichen Herausforderungen des Einsatzes von KI-Algorithmen in der Versicherungswirtschaft. In Abschn. 4 setzen wir uns mit der Positionierung der Aufsichtsbehörden zu diesen rechtlichen Herausforderungen auseinander. Der Aufsatz endet in Abschn. 5 mit einer kurzen Zusammenfassung und einem Ausblick.
2 Der Einsatz von KI-Algorithmen in der Versicherungswirtschaft
Versicherungsunternehmen produzieren keine physischen Güter, sie transferieren Risiken auf der Grundlage einer Vielzahl von Daten, die sie analysieren und verarbeiten. Es liegt nahe, dass eine Branche, bei der die Datenverarbeitung derart im Mittelpunkt des Geschäftsmodells steht, zu den frühen Anwendern Künstlicher Intelligenz gehört.
Anzeige
Ein Vorläufer der heutigen KI-Anwendungen waren in den 80er- und 90er-Jahren des 20. Jahrhunderts die sogenannten Expertensysteme. Hierbei handelte es sich um Programmsysteme, in denen die Fachkompetenz von Expert:innen, die sich in einem eng begrenzten Bereich hervorragend auskennen, in einer Wissensdatenbank gebündelt und den Nutzer:innen informationstechnisch zur Lösung von Problemen bereitgestellt wird.6 Diese wurden in den verschiedensten Bereich von Versicherungsunternehmen eingesetzt, um das Fachwissen einiger weniger Expert:innen einer breiteren Gruppe von Mitarbeiter:innen zur Lösung von Problemen in ihrem Aufgabenbereich zur Verfügung zu stellen. Anwendungsfelder fanden sich vor allem im Kontext von Underwriting-Entscheidungen sowie komplexeren Fragen der Schadenregulierung, von der medizinischen Risikoprüfung in der Lebensversicherung bis zur Einschätzung von Feuerrisiken im Industriebereich.7
Bei Expertensystemen handelt es sich um klassische, regelbasierte Systeme. Da die resultierenden Entscheidungsempfehlungen dem in der Programmierung vorgegebenen Regelwerk folgen, sind diese in der Regel gut nachvollziehbar. Besondere aufsichtsrechtliche Herausforderungen, die sich von denen anderer IT-Systeme unterscheiden, ergeben sich nicht, da es sich bei Expertensystemen um statische Systeme handelt.
Anders sieht dies bei modernen, auf dem Konzept der neuronalen Netzte basierenden KI-Systemen aus. Das Wesensmerkmal dieser Systeme ist, dass sie mit der Zahl der verarbeiteten Fälle dazulernen und sich so sukzessive verbessern. Das maschinelle Lernen führt dazu, dass Entscheidungen nicht mehr statisch auf der Grundlage eines einmal vorgegebenen Regelwerks zustande kommen. Entscheidungen können sich über Zeit mit der Zahl der verarbeiteten Datensätze verändern, denn das System lernt ja dazu. Im Umkehrschluss lässt sich damit nicht mehr automatisch nachvollziehen, nach welchem Regelwerk eine Entscheidung zustande gekommen ist und ob das Zustandekommen der Entscheidung aus der Perspektive der Versicherungsaufsicht möglicherweise zu beanstanden wäre.
Aktuell befinden wir uns noch in einer sehr frühen Phase des Einsatzes von KI-Algorithmen in der Versicherungswirtschaft. Zwar finden sich in vielen Unternehmensveröffentlichungen Hinweise auf den Einsatz von KI-Algorithmen, doch ist davon auszugehen, dass es sich nicht in jedem Fall tatsächlich um selbstlernende Systeme handelt, die wir als künstliche Intelligenz im engeren Sinne bezeichnen würden. Angesichts der rasanten Entwicklungsgeschwindigkeit ist es dennoch erforderlich und sinnvoll, sich bereits heute mit den aufsichtsrechtlichen Fragen eines KI-Einsatzes in der Breite auseinanderzusetzen.
Wir beginnen die Betrachtung mit einem Überblick über die aktuellen Einsatzgebiete von KI-Algorithmen in Versicherungsunternehmen. Hierzu haben wir die Veröffentlichungen sowohl von etablierten Versicherungsunternehmen als auch von InsurTech-Start-ups und Technologieanbietern gesichtet. Die folgende kurze Übersicht von KI-Anwendungen in der Versicherungswirtschaft kann nicht vollständig und fallabschließend sein, sie ist nach unserer Einschätzung aber breit genug, um alle wesentlichen aufsichtsrechtlichen Fragen, die aus dem Einsatz von KI-Algorithmen resultieren, zu adressieren.
KI-gestützte Beratung im Abschlussprozess via Chatbot
Bereits im Jahr 2017 hat die Inter Versicherungsgruppe mit EVA, der „Empathischen Versicherungs-Assistentin“, einen Chatbot auf der Basis von KI-Algorithmen zur Beratung beim Abschluss von Zahnzusatzversicherungen eingeführt.8 Die Künstliche Intelligenz übernimmt hier also Beratungsaufgaben, die bislang ausschließlich von Vermittler:innen oder Mitarbeiter:innen im Kundenservice übernommen wurden. Das Einsatzgebiet war zunächst sehr eng abgegrenzt und die Leistungsfähigkeit des Chatbots – wenigstens in der Anfangsphase – eher überschaubar. Mit der weiteren Entwicklung und zunehmenden Leistungsfähigkeit neuronaler Netze wird der Einsatz der KI-Technologie in Vertrieb und Beratung voraussichtlich zunehmen.
KI in Underwriting und Tarifierung, z.B. Telematik
Auch wenn der deutsche Kfz-Versicherungsmarkt bei der Entwicklung von Telematik-Tarifen eher ein Nachzügler ist und weit hinter Märkten wie Italien zurückliegt,9 gewinnen diese Tarife auch in Deutschland langsam an Boden. Voran gehen dabei die Marktführer HUK Coburg und Allianz.10 Die Verarbeitung der für die Telematik erforderlichen großen Datenmengen und ihre Auswertung im Hinblick auf den für einen Kunden bzw. eine Kundengruppe erforderlichen Schadenbedarf wird durch Künstliche Intelligenz erst möglich. Für die Versicherungsaufsicht stellt sich die Frage, wie sie die mit Hilfe der Telematik vorgenommene preisliche Differenzierung innerhalb von Versicherungstarifen auf die Einhaltung der relevanten Regeln überprüfen kann.
KI im Schadenregulierungsprozess – Produktivitätssteigerung durch automatische Bilderkennung
Viele Versicherungsunternehmen und Technologieanbieter haben ihren Fokus im Hinblick auf den KI-Einsatz aktuell auf den Schadenregulierungsprozess gelegt. Dies ist insofern naheliegend, als es sich um einen Prozess handelt, der in hoher Stückzahl auftritt, nennenswert Ressourcen bindet und ein wesentlicher ökonomischer Treiber für die Ergebnisse der Versicherungsunternehmen ist. Das Potenzial des KI-Einsatzes liegt sowohl in der Reduzierung der Schadenregulierungskosten als auch im Management der Schadenkosten selbst durch eine präzisere Beurteilung von Schäden. So werden in der Kfz-Versicherung erwartete Schadenhöhen und Regulierungsvorschläge mit Hilfe von KI-gestützten Bilderkennungsverfahren ermittelt. Neben den Versicherern selbst sind es sowohl klassische Schadendienstleister wie das inzwischen von der Allianz übernommene Unternehmen ControlExpert als auch neu gegründete InsurTechs wie Tractable aus Großbritannien, omni:us aus Berlin oder claimbuddy aus Hannover, die ihre Lösungen den Versicherungsunternehmen im deutschen Markt anbieten.11 In wie weit sich hieraus aufsichtsrechtliche Fragen ergeben, hängt u. a. davon ab, ob die Technologie lediglich zur Unterstützung in der Sachbearbeitung eingesetzt wird, oder ob Regulierungsentscheidungen vollautomatisch getroffen und kommuniziert werden.
KI im Schadenregulierungsprozess – Betrugserkennung
Ein weiterer Einsatzbereich von Künstlicher Intelligenz im Schadenprozess ist die Erkennung von Versicherungsbetrug.12 Auch hier gibt es verschiedene Angebote von Technologie-Dienstleistern für Versicherungsunternehmen. Dass derartige Angebote häufig nicht durch einzelne Versicherungsunternehmen entwickelt werden, sondern durch Dienstleister, die für mehrere Anbieter arbeiten, dürfte auch daran liegen, dass nur wenige Versicherungsunternehmen über eine ausreichend große Datenbasis für das Training der KI-Algorithmen verfügen. Sobald Schadenzahlungen aufgrund einer KI-gestützten Betrugserkennung abgelehnt werden, ergeben sich wiederum aufsichtsrechtlich interessante Fragen.
KI in sonstigen Unternehmensbereichen, z.B. Personal/Bewerbermanagement
Künstliche Intelligenz kann in der Versicherungswirtschaft nicht nur in den versicherungstechnischen Kernprozessen zum Einsatz kommen, sondern auch in den übergreifenden Funktionen, wie Finanzen, Rechnungslegung oder Personalwirtschaft. So gibt es inzwischen zahlreiche Ansätze zum Bewerbermanagement mit Hilfe von Künstlicher Intelligenz.13 Da sich aus diesen Ansätzen in der Regel aber keine versicherungsspezifischen Fragestellungen mit aufsichtsrechtlicher Relevanz ergeben, wird dieses Feld im Weiteren in diesem Beitrag nicht betrachtet.
Die zuvor genannten Anwendungsfelder lassen sich wie folgt klassifizieren (siehe Abb. 1).
Abb. 1
Klassifikation von KI-Anwendungsfeldern im Versicherungsunternehmen
×
Die rechtlichen Herausforderungen des Einsatzes von Künstlicher Intelligenz werden tendenziell größer, je stärker wir uns in Abb. 1 in den rechten oberen Bereich bewegen. Wenn Entscheidungen durch den Algorithmus vollautomatisch und ohne menschliche Überwachung im Einzelfall getroffen werden, sind höhere Anforderungen an den Algorithmus zu stellen, als wenn dieser lediglich eine durch Menschen zu treffende Entscheidung unterstützt und vorbereitet. Der KI-Einsatz ist in Bereichen mit dem Ziel der Effizienzsteigerung aufsichtsrechtlich tendenziell weniger sensibel, als dort wo konkrete inhaltliche Entscheidungen zu Versicherungsfragen durch die KI getroffen bzw. verbessert werden sollen.
Auch wenn es bereits eine Reihe konkreterer Anwendungsfälle für den Einsatz Künstlicher Intelligenz in der Versicherungswirtschaft gibt, steht die Entwicklung derzeit offensichtlich noch an ihrem Anfang. KI-Algorithmen müssen mit großen Datenmengen trainiert werden. Entsprechend hoch ist der Aufwand bei der Einführung neuer, KI-gestützter Prozesse und in manchen Anwendungen ist der Einsatz dieser Verfahren derzeit noch unwirtschaftlich. In dem Maße, in dem Unternehmen aber mehr Erfahrung mit dem Einsatz von KI-Algorithmen sammeln und die Leistungsfähigkeit der Rechner weiter steigt, wird der Einsatz von KI-Algorithmen zukünftig auch in Bereichen, in denen sie sich heute noch nicht durchgesetzt haben, zunehmend realistisch.
Bereits im Jahr 2018 stellte Google seine KI-Anwendung „Google Duplex“ vor, die als eine Art digitales Sekretariat einfache Aufgaben wie die telefonische Terminvereinbarung im Restaurant eigenständig vornehmen konnte.14 In wenigen Jahren könnte diese Technologie so weit ausgereift sein, dass sie auch für anspruchsvollere Dialoge im telefonischen Kundenservice eingesetzt werden könnte. So könnten Versicherungsunternehmen im ersten Schritt z. B. Lastspitzen nach Großschadenereignissen wie der Jahrhundertflut im Rheinland und in Rheinland-Pfalz durch eine vollständig fallabschließende telefonische Bearbeitung der weniger komplexen Fälle bewältigen. Da sich die Bearbeitungskapazität eines solchen Algorithmus relativ problemlos skalieren lässt, könnte er zu einer deutlichen Service-Verbesserung in allen Situationen mit saisonalen Lastspitzen führen.
Potenziale für einen wertsteigernden Einsatz vom KI gibt es entlang der gesamten Wertschöpfungskette15 und weitere neue Einsatzgebiete sind im Versicherungsvertrieb vorstellbar. Bereits heute verlieren die personengebundenen Vertriebe in einzelnen Sparten wie der Kfz-Versicherung Marktanteile gegen den digitalen Vertrieb. Heute ist der digitale Vertrieb vor allem in den Sparten erfolgreich, in denen der Kunde von sich aus aktiv wird. Dort wo Versicherung nach wie vor „verkauft, nicht gekauft“ wird, tun sich die bisherigen digitalen Vertriebsmodelle immer noch schwer. Es gelingt nicht in gleicher Weise wie im personengestützten Vertrieb, die Kund:innen für die Notwendigkeit der Versicherung zu sensibilisieren. Weiterentwickelte KI-Algorithmen könnten dieses Problem lösen, zumal die Versicherungswirtschaft aufgrund des Nachwuchsmangels in den personengebundenen Vertriebswegen nach neuen Strategien für den Vertrieb suchen muss.
Je stärker mit Hilfe Künstlicher Intelligenz auch inhaltlich anspruchsvolle Probleme in Kernbereichen der Versicherung gelöst werden, desto stärker wird KI in den Fokus der Versicherungsaufsicht rücken. Die Herausforderungen für die Aufsicht dabei werden im nächsten Absatz beleuchtet.
3 Rechtliche Herausforderungen des Einsatzes von KI-Algorithmen in der Versicherungswirtschaft
Der Einsatz von Algorithmen der Künstlichen Intelligenz birgt neben offensichtlichen Vorteilen auch einige, insbesondere rechtliche, Herausforderungen. Es ist abzuwägen zwischen dem berechtigten Interesse einerseits, Innovationen und neue Technologien einzusetzen, um Effizienz und Kundennutzen zu verbessern und der Geschwindigkeit der Digitalisierung folgen zu können, und dem angemessenen Schutz der Rechte der Versicherungsnehmer und der Vermeidung von Nachteilen durch den Technologieeinsatz für diese andererseits. Es resultieren rechtliche Herausforderungen in mehreren Dimensionen, die sich in diverse juristische Teilgebiete aufgliedern lassen.
3.1 Datenschutzrechtliche Herausforderungen
Da KI-Systeme Daten nicht nur im Sinne des EVA-Prinzips (Eingabe, Verarbeitung, Ausgabe) verarbeiten, sondern auch Datensätze zur Selbstoptimierung bzw. dem sogenannten „Machine Learning“ nutzen, ist der Schutz dieser Daten besonders bedeutend. Mit der Verabschiedung der Datenschutz-Grundverordnung (DSGVO) haben natürliche Personen umfangreiche Rechte zum Schutz ihrer personenbezogenen Daten erhalten.
Grundsätzlich räumt Artikel 22 DSGVO den Bürgern das Recht ein, keiner ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden. Vollautomatische, KI-gestützte Prozesse sind in bestimmten Anwendungsbereichen also nicht zulässig. Zwar lässt das Bundesdatenschutzgesetz (BDSG) in § 37 ausdrücklich eine Ausnahme für Entscheidungen im Rahmen der Leistungserbringung nach einem Versicherungsvertrag zu. Diese Ausnahme gilt aber nur, solange „dem Begehren der betroffenen Person stattgegeben wurde“. Die Ablehnung von Versicherungsleistungen darf also nicht KI-basiert, vollautomatisch erfolgen. So gesehen entsteht ein regulatorischer Flickenteppich für die KI-Nutzung.16
Personenbezogene Daten sind jegliche Informationen, welche sich auf eine natürliche Person beziehen lassen. Neben den offensichtlichen Daten wie Name, Adresse oder Geschlecht gehören auch biometrische Daten oder beispielsweise die IP-Adresse zu dieser Kategorie.17 Ein besonderes Augenmerk muss darüber hinaus auf die Verarbeitung besonderer Kategorien personenbezogener Daten gemäß Artikel 9 DSGVO gelegt werden. Insbesondere Gesundheitsdaten können für Versicherer von großer Relevanz sein und müssen in Bezug auf die Erhebung und Verarbeitung auf das Maß beschränkt werden, welches für die Vertragserfüllung notwendig ist.
Im Datenschutzrecht besteht ein sogenanntes Verbot mit Erlaubnisvorbehalt, was die Verarbeitung von personenbezogenen Daten grundsätzlich verbietet und diese erst durch eine Einwilligung des Betroffenen rechtmäßig ist.
Herausforderungen für Versicherer entstehen, sobald eine solche Einwilligung widerrufen wird oder andere in der DSGVO definierten Rechte, wie das Recht auf Löschung der Daten oder das Auskunftsrecht wahrgenommen werden. In diesen Fällen muss der Versicherer den Überblick über die erfassten personenbezogenen Daten des Betroffenen haben und nachvollziehen können, an welchen Stellen diese verarbeitet und gespeichert wurden, um eine ganzheitliche Löschung oder Übermittlung auszuführen. Dies könnte in der Praxis bei KI-Systemen zu neuen Herausforderungen führen, wenn die Verarbeitung der Daten in der Künstlichen Intelligenz in einer Art Blackbox erfolgt.
Zwar ermöglicht der Zugang zu umfangreichen persönlichen Informationen über bestehende und potenzielle Kund:innen den Versicherern die Möglichkeit einer genaueren Risikobewertung und Produktentwicklung, gleichzeitig verschärft die KI-Technologie jedoch die grundsätzlichen Datenschutz- und Überwachungsbedenken, da KI von Natur aus einen unstillbaren „Appetit“ auf mehr und mehr Daten hat.18
3.2 Zivilrechtliche Fragestellungen
Weiterhin können beim Einsatz von KI-Systemen auch zivilrechtliche Fragestellungen auftreten. Die Diskussion einer möglichen Haftung von KI verursachten Schäden ist wohl am prominentesten im Bereich des autonomen Fahrens zu beobachten. Die Fragestellung, ob die Haftung vom Halter eines Kfz auf den Entwickler des KI-Systems übergeht, ist im Speziellen für Versicherungen von hoher Relevanz, da die Schadenregulierung entweder über die Kfz-Haftpflichtversicherung des Halters oder über die Produkthaftpflichtversicherung des Herstellers abgewickelt wird. Stand jetzt ist davon auszugehen, dass die Haftung beim Halter des Kfz verbleibt, da dieser den Nutzen aus dem Halten des Fahrzeugs zieht und demnach auch die verbundenen Risiken zu tragen hat.19
Der derzeit oft diskutierte Gedanke, dass eine KI selbst eine juristische Person darstellt und eigenständig haftet, erscheint nicht zielführend, da die KI nicht mit einer Haftungsmasse ausgestattet ist bzw. eine solche erst gebildet werden müsste.20 Mit der Tatsache, dass Künstliche Intelligenzen mittlerweile losgelöst von menschlichem Einfluss Entscheidungen treffen, geht ebenso die Frage einher, wie mit Willenserklärungen, welche autonom von einem KI-System erstellt wurden, umzugehen ist. Die zentrale Fragestellung ist hierbei, ob die KI im rechtlichen Sinne einen Stellvertreter oder einen Boten darstellt. Als Stellvertreter wird die KI einem minderjährigen Vertreter gleichgestellt, sodass das Stellvertretungsrecht gem. §§ 164 ff. BGB anzuwenden ist und das System eine Teilrechtsfähigkeit besitzt. Als Bote fungiert die KI lediglich als Vermittler im Sinne einer Automatisierten Willenserklärung und die Verantwortung liegt komplett beim Versicherer.21
Der bisher am weitesten verbreitete Ansatz ist, dass die KI als Bote angesehen wird und somit der Betreiber eines KI-Systems für die von der Software getroffene Entscheidung verantwortlich ist, da durch dessen Entwicklung die Rahmenbedingungen für die getroffene Entscheidung festgelegt wurden. Demnach ist eine von einer KI abgegebene Willenserklärung nach deutschem Recht durchaus möglich, die Verantwortung verbleibt jedoch beim Betreiber des Systems, in unserem Fall dem Versicherungsunternehmen.22
3.3 Diskriminierungsrisiken
Ein zusätzlicher Aspekt im Zivilrecht sind Diskriminierungsrisiken bzw. Verstöße gegen das Allgemeine Gleichbehandlungsgesetz (AGG), welche durch die Daten, die einem KI-System zu Grunde liegen, entstehen können. Weiterhin können durch die Daten, die einem KI-System zu Grunde liegen, rechtliche Herausforderungen in Bezug auf Diskriminierung entstehen. Im Kontext der Versicherungswirtschaft verlangt der Grundsatz der Nichtdiskriminierung beispielsweise, dass eine durch KI automatisch durchgeführte Prämienberechnung lediglich auf relevanten Risikofaktoren beruhen darf. Merkmale wie Geschlecht oder ethnische Herkunft dürfen als Berechnungsgrundlage i. d. R. auch dann nicht herangezogen werden, wenn sich diese als versicherungsmathematisch relevant erweisen. Ein prominentes Beispiel ist der auf KI basierende Kreditkartenalgorithmus von Apple, welchem vorgeworfen wird Frauen zu diskriminieren und sogar eine Untersuchung der New Yorker Aufsichtsbehörde nach sich zog.23 Da die Kalibrierung eines KI-Algorithmus unter anderem durch den für seine Entwicklung verwendeten Datensatz bestimmt wird, besteht die Gefahr, dass die Entwickler:innen, oftmals unbewusst durch die Auswahl der Trainingsdaten, ihre eigenen Vorurteile in die KI-Verfahren einfließen lassen. Diskriminierung kann auf mehreren Ebenen in die algorithmische Entscheidungsfindung Einzug finden, beispielsweise indem Datensätze verwendet werden, die auf Menschen eines bestimmten Geschlechts, oder einer bestimmten Hautfarbe zugeschnitten sind.24 Doch nicht nur durch den Menschen, sondern auch durch das KI-System an sich kann Diskriminierung in die Algorithmen einfließen. Wenn zum Beispiel eine Versicherung typischerweise wenige Verträge mit Menschen aus sozial schwächeren Gegenden abschließt, könnte die KI lernen, dies negativ bei der Tarifierung für Neukund:innen mit entsprechenden Postleitzahlen zu bewerten und demnach komplett eigenständig eine Voreingenommenheit in das KI-Verfahren zu integrieren. Durch die kontinuierliche Selbstanpassung von KI-Modellen ist eine laufende Überwachung hinsichtlich Verzerrungen und möglicher Diskriminierung unerlässlich.
3.4 Transparenz und Erklärbarkeit
Zum verantwortungsvollen Einsatz und Umgang mit KI-Systemen sollten Prinzipien wie Transparenz und Erklärbarkeit berücksichtigt gewürdigt werden. Aus der Sicht der Versicherungsaufsicht haben diese Prinzipien einen besonderen Stellenwert – insbesondere, wenn die durch die KI getroffenen Entscheidungen direkte Auswirkungen auf eine natürliche Person haben. So sollte beispielsweise das Ergebnis eines auf KI gestützten Preismodells, welches auf vielen verschiedenen Variablen basiert und eine hohe Komplexität aufweist, stets erklärbar und nachvollziehbar sein. Es sollte dabei für Dritte mindestens transparent sein, welche Daten für die Entscheidung herangezogen wurden, wie diese Daten die Entscheidung beeinflusst haben und welche Konsequenzen die Entscheidung hat.25
Doch es gibt auch Grenzen bei der Transparenz und Erklärbarkeit von KI-Verfahren, insbesondere bei sogenannten Blackbox-Algorithmen liegt es in der Natur einer künstlichen Intelligenz, nicht den gesamthaften Entscheidungsprozess transparent nachvollziehen zu können (siehe Abb. 2). Eine perfekte Erklärbarkeit ist oft schwer zu erreichen, und die Verbesserung der Erklärbarkeit komplexer Modelle kann auf Kosten ihrer Genauigkeit gehen.
Abb. 2
Vorgang Maschinelles Lernen. (Vgl. Holland et al. 2021, S. 12)
×
In den letzten Jahren wurden in der Informatik beträchtliche Anstrengungen unternommen, um das Problem der Interpretation und Erklärung von Blackbox-Algorithmen zu lösen. Beispielsweise durch Reverse-Engineering-Ansätze, wodurch interpretierbare algorithmische Substitute erstellt wurden, was jedoch abschließend noch nicht zum Erfolg führte.26
Ein möglicher (Teil‑)Lösungsansatz in Bezug auf die Transparenz ist, die Änderungen der KI-Verfahren über Releases einzuspielen und somit den stetigen Prozess in diskrete Schritte zu unterteilen. Auch hier lernt die KI mit mehr und mehr Daten dazu, doch die daraus resultierende Anpassung des Algorithmus erfolgt in klar abgegrenzten Schritten. Auf diese Weise ist zwar immer noch nicht automatisch nachvollziehbar, wie gewisse Zustände zu Stande kommen, es ist jedoch transparent welche Parameter zu einem bestimmten Zeitpunkt zu einem konkreten Ergebnis geführt haben. Die Nachvollziehbarkeit ist also nicht für den vollständigen Prozess, jedoch für das Ergebnis hergestellt. So besteht die Möglichkeit, durch menschlichen Eingriff bestimmte Ergebnisse, deren Zustandekommen den Anforderungen der Aufsicht an den Prozess bzw. Algorithmus nicht genügt, nicht zu übernehmen.
Es ist demzufolge möglich, dass die Transparenz zwar nicht vollständig, aber zumindest teilweise herzustellen ist, wodurch zumindest eine generelle Erklärbarkeit der Entscheidungen gegeben ist.
3.5 Auswirkungen auf die Produktentwicklung
Wenn Produkte auf Basis von KI-Verfahren entwickelt werden, bedarf es einem erhöhten Schutz dieser Systeme, da oftmals sensible personenbezogene Daten verarbeitet werden oder mögliche Fehler direkte Auswirkungen auf den Versicherungsnehmer:innen haben können. So muss beispielsweise bei der Gestaltung eines Telematik Tarifs darauf geachtet werden, dass die Zugriffe nach dem Need-to-Know Prinzip ausgestaltet sind und Manipulationen sowie Fehlverarbeitungen präventiv verhindert werden. Auch dürfen mögliche Fehlaufzeichnungen der Fahrten (bspw. kein GPS-Signal bei Fahrt durch Tunnel) nicht zu Lasten der Versicherungsnehmer fallen.27
3.6 Umgang mit Dienstleistern
Da es sich bei der KI um eine relativ neue Technologie handelt und viele Versicherungsunternehmen heute nicht über ausreichendes internes Know-how für die Konzeption und das Anlernen von KI-Algorithmen verfügen dürften, sind die Versicherer häufig auf die Zusammenarbeit mit externen Technologiedienstleistern und Spezialisten angewiesen. Hinzu kommt, dass das Anlernen von KI-Algorithmen eine große Menge an Trainings‑, Validierungs- und Testfällen erfordert, über die ein einzelnes Versicherungsunternehmen je nach Marktanteil möglicherweise nicht verfügt. Werden diese Prozesse einem externen Dienstleister übertragen, so ist eine strukturiertes Ausgliederungsmanagement unabdingbar. Das bedeutet unter anderem, dass sämtliche Regelungen und Vorgaben, die sich eine Versicherung selbst auferlegt hat, um einen verantwortungsvollen Umgang mit künstlicher Intelligenz zu gewährleisten, im Sinne des VAG und der VAIT auch für deren (IT-)Dienstleister gelten müssen. Die Umsetzung dieser Vorgaben gilt es regelmäßig zu überwachen und mögliche Risiken angemessen zu behandeln.
4 Positionierung der Aufsichtsbehörden EIOPA und BAFin zu diesen Herausforderungen
Aufgrund der hohen Geschwindigkeit der technologischen Entwicklung in Bezug auf KI, ist es nicht verwunderlich, dass die Aufsichtsbehörden bereits erste einschlägige Prinzipienpapiere publiziert haben. Auf europäischer Ebene hat die European Insurance and Occupational Pensions Authority (EIOPA) am 17. Juni 2021 „Governance Prinzipien für den ethischen und vertrauenswürdigen Einsatz von Künstlicher Intelligenz im Versicherungssektor“ veröffentlicht. Kurz zuvor, am 15. Juni 2021, hatte die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) auf nationaler Ebene das Prinzipienpapier „Big Data und künstliche Intelligenz“ publiziert.
Die aufsichtlichen Prinzipien sollen zu einem verantwortungsvollen Einsatz von Big Data und künstlicher Intelligenz führen und die Kontrolle des damit einhergehenden Risikos ermöglichen.28 Insbesondere durch den Bericht der EIOPA sollen Versicherungen bei der Implementierung von risikobasierten Maßnahmen und der Umsetzung wichtiger Grundsätze vor dem Hintergrund der Einführung von KI-Anwendungen unterstützt werden.29
4.1 Position der Aufsicht
In der Ausgabe des BaFin Journals vom April 2022 stellt Dr. Frank Grund, Exekutivdirektor Versicherungs- und Pensionsaufsicht der BaFin, fest:
„All diese Chancen […] ändern nichts an der Kernaufgabe der Aufsicht. Sie muss auch in der neuen digitalen (Daten‑)Welt vor allem dafür sorgen, dass die Interessen der Versicherten und des Versicherungskollektivs gewahrt bleiben. Um dieses Ziel weiterhin zu erreichen, verfolgt die BaFin ihren bewährten risikosensitiven Aufsichtsansatz: Auch AI/ML-Methoden sollten technologieneutral und risikoadäquat beaufsichtigt werden. Nicht zielführend ist es dagegen […] den Einsatz dieser Methoden besonders intensiv zu beaufsichtigen. […] Stattdessen ist es sinnvoll, das bestehende regulatorische Instrumentarium auch auf AI/ML anzuwenden […].“
4.2 Inhalte der Publikationen
Inhaltlich existieren zwischen EIOPA- und BaFin-Prinzipien weitgehende Gemeinsamkeiten. Auf europäischer Ebene wurden folgende sechs Governance-Prinzipien beschrieben, welche auch vergleichbar in die Publikation der BaFin Einzug erhalten haben:30
Überwachung durch Menschen
Überwachung von KI-Systemen durch Menschen während des Gesamten Lebenszyklus, anhand definierter und dokumentierter Rollen und Verantwortlichkeiten. Bereitstellung angemessener Schulungen in Bezug auf die Auswirkungen von KI auf die Arbeit der Mitarbeiter:innen.
Robustheit und Leistungsfähigkeit
Nutzung „robuster“ KI-Systeme und laufende Bewertung und Überwachung der Leistungsfähigkeit. Einsatz der IT-Systeme in einer resilienten und vor Cyber-Attacken gesicherten IT-Infrastruktur. KI-Systeme sollen kalibriert, validiert und reproduzierbar sein.
Umgang und Aufbewahrung von Daten
Berücksichtigung von datenschutzrechtlichen Bestimmungen im Kontext von KI-Systemen. Sicherstellung der Daten in Bezug auf Richtigkeit, Vollständigkeit und Angemessenheit, sowie adäquate Aufzeichnung der Datenmanagement-Prozesse.
Transparenz und Erklärbarkeit
Einsatz von „erklärbaren“ KI-Modellen und transparenter Kommunikation der verwendeten Daten, insbesondere bei hohen Auswirkungen für die Versicherungsnehmer:innen. Information der Kunden, über Interaktion mit KI-System.
Fairness und Diskriminierung
Entwicklung von Maßnahmen zur Abschwächung der Auswirkungen von Ratingfaktoren und Vermeidung von Praktiken zur Maximierung der Zahlungsbereitschaft. Mögliche Verzerrungen durch Daten und KI-Systeme sollen überwacht werden.
Verhältnismäßigkeit
Durchführung von Folgenabschätzungen für KI-Anwendungsfälle zur Bestimmung erforderlicher Governance Maßnahmen und Bewertung der getroffenen Maßnahmen.
Wie deutlich zu erkennen ist, existieren einige Überschneidungen zwischen den von der EIOPA beschriebenen Governance-Prinzipien und den in Abschn. 3 dargestellten rechtlichen Herausforderungen beim Einsatz von KI-Verfahren in der Versicherungsbranche (siehe Tab. 1).
Tab. 1
Überschneidungen EIOPA-Grundsätze und rechtliche Herausforderungen
EIOPA-Grundsatz
Grad der Überschneidung mit rechtlichen Herausforderungen (Abschn. 3)
Überwachung durch Menschen
Hoch
Insbesondere im Hinblick auf mögliche Diskriminierungsrisiken ist eine Überwachung möglicher Verzerrungen durch Menschen unerlässlich
Robustheit und Leistungsfähigkeit
Mittel
Teilweise könnte eine Reproduzierbarkeit von Ergebnissen zur Verbesserung der Transparenz und Erklärbarkeit beitragen, jedoch sind technische Grenzen zu berücksichtigen
Umgang und Aufbewahrung von Daten
Hoch
Durch die Vielzahl und teilweise der Intransparenz der durch eine KI verarbeiteten Daten sind entsprechende Prinzipien zum adäquaten Umgang mit diesen unverzichtbar
Transparenz und Erklärbarkeit
Hoch
Um die Grundlage für einen vertrauensvollen Einsatz von KI-Verfahren zu legen, müssen die Algorithmen zumindest in Teilen erklärbar sein, doch auch hier sind technische Grenzen zu berücksichtigen
Fairness und Nicht-Diskriminierung
Hoch
Insbesondere da Menschen oft unbewusst Verzerrungen im Rahmen der Entwicklung oder des Trainings von Algorithmen in die KI-Verfahren integrieren, oder KI gar eigenständig Voreingenommenheit durch Selbstanpassung „lernt“, muss dies regelmäßig überwacht werden
Verhältnismäßigkeit
Niedrig
Betrifft keine konkrete rechtliche Herausforderung, jedoch ist die Bestimmung erforderlicher Governance-Maßnahmen als Querschnitt über alle Herausforderungen zu betrachten
Die Gegenüberstellung zeigt, dass die Prinzipien der Aufsicht systematisch aufgebaut und thematisch angemessen ausgerichtet sind. Weiterentwicklungs- und Diskussionsbedarf dürfte es insbesondere im Bereich der Transparenz und Erklärbarkeit der Algorithmen geben. Hier gilt es sensibel mit dem Spannungsfeld zwischen nachvollziehbarem Anspruch der Aufsicht und den dargestellten Grenzen der Technologie umzugehen. Das „Blackbox-Problem“ wird sich vermutlich nicht vollständig lösen lassen und die Aufsicht muss sich entscheiden, wo uns in welchem Umfang sie dies akzeptiert, um den Einsatz der KI-Technologie mit ihren Vorteilen für Versicherungsunternehmen und Versicherungsnehmer:innen nicht unmöglich zu machen.
Während die BaFin im Jahr 2018 noch ausdrücklich darauf hingewiesen hat, dass Blackbox-Verweise unzulässig seien31, wurde dies in einer aktuellen Konsultationsfassung bereits entschärft und ausgeführt, dass eine Blackbox, abhängig von der Behandlung des betreffenden Modells im Risikomanagement, aufsichtlich akzeptiert werden kann.32
Anders dagegen verhält sich die Position der BaFin in Bezug auf die Reproduzierbarkeit der Ergebnisse. Im Vergleich zu den Prinzipen der EIOPA konkretisiert die nationale Aufsicht an dieser Stelle die Prinzipien:
„Der Anwender sollte also zum Beispiel bei einer späteren Überprüfung durch einen unabhängigen Dritten in der Lage sein, die Ergebnisse zu reproduzieren.“33
Dies spricht wie zuvor bereits angedeutet dafür, den Machine-Learning-Prozess der betroffenen KI-Algorithmen in diskreten Schritten statt als stetigen Prozess zu organisieren.
Hinsichtlich der Kalibrierung fordert die BaFin darüber hinaus, dass diese angemessen zu dokumentieren ist, um eine Nachvollziehbarkeit gegenüber Dritten gewährleisten zu können. Auch hier gilt, ähnlich der Erklärbarkeit oder der Reproduzierbarkeit, dass gewisse technische Grenzen beim Einsatz von KI-Verfahren existieren und eine Dokumentation der Kalibrierung lediglich in jener Phase erfolgen kann, in welcher die Entwickler:innen den Algorithmus selbst kalibrieren und dies nicht durch den Algorithmus an sich geschieht.
4.3 Regulierung, Aufsichtsprinzipien und Aufsichtspraxis
Die Entwicklung im Bereich der KI wirft die Frage auf, auf welcher Ebene von Regulierung und Aufsicht diese adressiert werden soll. „Regulierung ist Entwicklung und Setzen neuer Rechtsnormen, also eigentlich Aufgabe des Gesetzgebers. Aufsicht ist Anwendung und Durchsetzung geltenden Rechts.“34 Während die Regulierung den Rahmen setzt, wird dieser durch die Aufsicht interpretiert, konkretisiert und angewendet. Ein Beispiel hierfür ist die VAIT, ein Rundschreiben der BaFin, mit welchem die Anforderungen aus der Regulierung von der Aufsicht interpretiert und konkretisiert werden.
Die KI-Technologie hat das Potenzial, Geschäftsprozesse derart grundlegend zu beeinflussen, dass dies einen eigenen Rahmen auf der Ebene der Regulierung rechtfertigen könnte. Ein solcher Rahmen kann branchenübergreifend oder branchenspezifisch für Banken und Versicherer geschaffen werden. Allerdings benötigt Regulierung meist einen längeren Vorlauf. Die Entwicklungen im Bereich der KI nehmen darauf jedoch keine Rücksicht; sie schreiten in hohem Tempo voran und werden in den kommenden Jahren in der Versicherungswirtschaft deutlich an Bedeutung gewinnen. Also bleibt der Versicherungsaufsicht nichts anderes übrig, als den vorhandenen Regulierungsrahmen auf diese Entwicklung zu übertragen, in Aufsichtsprinzipien zu übersetzen und in der Aufsichtspraxis anzuwenden. Dieser Prozess lässt sich in den zuvor zitierten Veröffentlichungen von EIOPA und BaFin gut nachvollziehen.
Für die Versicherungsunternehmen sind Investitionen in KI-Verfahren entsprechend mit einem gewissen Maß an Unsicherheit verbunden. Mangels konkreter Vorgaben der Regulierung müssen die Unternehmen antizipieren, wie die Aufsichtsbehörden sich zu den neuen Verfahren stellen werden. Die bisherigen Stellungnahmen von EIOPA und BaFin sind in dieser Hinsicht ein erster Schritt, weitere Klarheit werden die Versicherer im laufenden Aufsichtsprozess erhalten.
5 Zusammenfassung und Ausblick
Die neuen technologischen Möglichkeiten durch KI-Algorithmen auf der Grundlage neuronaler Netze stellen Versicherungsunternehmen wie Versicherungsaufseher gleichermaßen vor Herausforderungen. Einerseits befindet sich der Einsatz von KI-Algorithmen in der Versicherungswirtschaft aktuell noch in einem sehr frühen Stadium. Andererseits ist das Potenzial dieser neuartigen Algorithmen in einer Branche, bei der die Analyse von Daten mittels statistischer Verfahren im Mittelpunkt des Geschäftsmodells steht, offensichtlich. Entsprechend arbeiten Versicherungsunternehmen und Technologiedienstleister intensiv an der Entwicklung und Verbesserung von KI-Algorithmen für die verschiedenen Geschäftsprozesse der Versicherungswirtschaft.
Hieraus ergibt sich fachlicher und methodischer Handlungsbedarf für die Versicherungsregulierung und -aufsicht. Eine EU-Richtlinie als übergeordneter Rechtsrahmen für die Behandlung der Künstlichen Intelligenz im Kontext von Regulierung und Aufsicht befindet sich bereits in Vorbereitung.35 In bisher bekannten Entwürfen unterscheidet die EU die mit der KI verbunden Risiken in die vier Kategorien „Unzulässig“, „Hohes Risiko“, „Begrenztes Risiko“ und „Minimales Risiko“ ein (siehe Abb. 3).
EIOPA-Chefin Petra Hielkema hat bereits deutlich gemacht, dass sie vor der Verabschiedung der Richtlinie noch Überarbeitungsbedarf zur Berücksichtigung der Spezifika der Versicherungswirtschaft sieht.36 Bleibt es bei der aktuell vorgesehenen Bildung von vier Risikoklassen, so wird die zukünftige Nutzung der KI in der Versicherungswirtschaft entscheidend davon abhängen, in welche der Kategorien die jeweiligen Anwendungsfälle eingeordnet werden. Nicht ganz überraschend geht Hielkema davon aus, dass „der Einsatz von KI bei der Preisgestaltung und beim Underwriting wohl einen größeren Einfluss auf Verbraucher und Versicherungsunternehmen haben (wird) als der Einsatz von KI im Backoffice“.37 Besonders beim KI-Einsatz im Pricing und Underwriting wird die Versicherungsaufsicht also in Zukunft besonders genau hinsehen. Ähnliches ist für den Einsatz von KI im Kontext von Schadenregulierungsentscheidungen zu erwarten.
Konzeptionell liegt sowohl vor den Versicherungsunternehmen als Anwender von KI-Algorithmen als auch vor der Versicherungsaufsicht noch einiges an Arbeit. Wenn die KI als neue Technologie flächendeckend zum Nutzen der Versicherungsnehmer:innen zum Einsatz kommen soll, werden sich beide Seiten aufeinander zubewegen müssen. Die Versicherungsunternehmen werden in die Erklärbarkeit, Reproduzierbarkeit und Dokumentation der von Ihnen entwickelten und genutzten Algorithmen investieren müssen. Dies wird in der praktischen Anwendung jedoch an Grenzen stoßen, da ein selbstlernender Algorithmus nicht in gleicher Weise erklär- und dokumentierbar ist, wie ein regelbasiertes System. Regulierung und Aufsicht werden dem Rechnung tragen und bestimmte Grenzen der Erklärbarkeit akzeptieren müssen, wenn Sie nicht das Kind mit dem Bade ausschütten und die Nutzung von Künstlicher Intelligenz in der Versicherungswirtschaft gänzlich unmöglich machen wollen.
Mit der absehbaren Weiterentwicklung der KI-Technologie und dem Fortschreiten der Diskussion zwischen dem Gesetzgeber, der Aufsicht und der Versicherungswirtschaft wird sich weiterer Forschungsbedarf ergeben, in technischer, ökonomischer und rechtlicher Hinsicht.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
