Seiteninhalt
Autor:innen: Tobias Krafft, Marc Hauer, Hanna Völkl
Personalmangel und ein immer weiter wachsendes Aufgabenprofil fordern die Kapazitäten öffentlicher Verwaltungen zunehmend heraus. Viele Kommunen erhalten aktuell immer häufiger Angebote über mögliche Anwendungsfelder von Künstlicher Intelligenz (KI). Um derartige Konzepte umzusetzen, brauchen sie Strategien und Instrumente, die ihnen helfen, die immer größer werdende Datenflut zu bündeln, sinn- voll auszuwerten und die aus den Daten gewonnenen Informationen zur Optimierung der Verwaltungsprozesse zu nutzen.
Für einen erfolgreichen Einsatz von automatisierten Anwendungen in Kommunen sind allerdings nicht nur technische Aspekte entscheidend. Wer ist beteiligt, wenn eine KI-basierte Anwendung für die Kommune konzipiert, programmiert, eingekauft und eingesetzt wird? Wer definiert die Anforderungen, die die Anwendung erfüllen soll oder: Wer schreibt das Lastenheft? Sind das externe IT-Dienstleister und die Kolleg:innen aus der Beschaffung? Das, was für eine Kommune wichtig ist, sollte nicht allein einem externen IT-Dienstleister oder der Beschaffung überlassen werden. Die geballte fachliche Expertise aller Akteure sollten möglichst von Beginn an die technische Weiterentwicklung begleiten. Dazu muss eine offene Debatten- und Diskurskultur geschaffen werden. Neben vielfältigen Teilhabemöglichkeiten kann dies auch bedeuten, einen ergebnisoffenen und transparenten Diskurs darüber zu führen, welche Entscheidungen und Prozesse innerhalb einer Kommune an digitale Techniken übergeben werden können, um den menschlichen (Arbeits-) Alltag zu erleichtern, und welche nicht.
Automatisierte Prozesse haben auch das Potenzial, bestehende Diskriminierungen in Bezug auf Geschlecht, Alter, Herkunft etc. zu verringern. Gleichzeitig ist jedoch sowohl bei der Qualität als auch bei Design und Einsatz von KI-basierten Systemen darauf zu achten, dass bestehende Ungleichheiten (Teilhabe, Chancengerechtigkeit, Vielfalt etc.) nicht sogar verfestigt oder verschlimmert werden. Aus dem Diskurs mit Beteiligten können gemeinsame Grundsätze und Leitlinien entstehen, welche die Transparenz und damit mündiges Vertrauen und individuelle Akzeptanz von KI-Systemen in Kommunen fördern. Ansonsten werden mit Blick auf den Zugang zu Informationen und Debatten, gegebenenfalls Macht- und Ungleichverhältnisse reproduziert, statt den Menschen in den Mittelpunkt der technischen Entwicklung und Zukunftsgestaltung von Kommunen zu stellen.
Die Vermutung liegt zunächst nahe, dass automatisierte Prozesse vermeintlich weniger Fehler begehen als Menschen und keine unbewussten oder ungewollten Verzerrungen beinhalten. Die aktuelle Forschung zeigt aber, dass auch Anwendungen der KI Probleme mit sich bringen. Hier muss chancenorientiert gedacht werden, um Aufgabenfelder im Arbeits- und Verwaltungsalltag zu identifizieren, bei welchen ethische Probleme vermieden werden oder zumindest bei einer Umsetzung bedacht werden können. Ein Beispiel hierfür wäre die automatisierte Übersetzung von ver- waltungsrelevanten Dokumenten, welche Personen mit Migrationshintergrund eine bessere Teilhabe ermöglicht. Die hierbei auftretenden Fragestellungen im Bereich Vertrauen, Transparenz und Verantwortung werden in den nächsten Abschnitten betrachtet.
Vertrauen in KI-Systeme schaffen
Wenn eine KI im kommunalen Kontext eingesetzt wird, um Entscheidungen über Bürger:innen zu treffen oder zu unterstützen, haben diese selten die Möglichkeit sich dem zu entziehen oder bei Verdacht auf eine Fehleinschätzung neu beurteilt zu werden. Es ergibt sich also ein sehr starkes Abhängigkeitsverhältnis. Diesem muss mit vertrauensbildenden Maßnahmen wie Transparenz und Beteiligung begegnet werden, um Bedenken zu adressieren und die Akzeptanz zu steigern.
Gerade bei KI-Anwendung im kommunalen Kontext ist es wichtig, über die rechtlichen For- derungen hinaus die Datenhoheit bei den Kommunen, beziehungsweise den Bürger:innen zu belassen. Zudem ist eine Einwilligung der Bürger:innen in die Verwendung der Daten wichtig. Auch innerhalb der Verwaltung macht besonders die Sorge vor Arbeitsplatzverlust den Einsatz von KI zu einer Herausforderung. Nicht nur die Bürger:innen sondern auch die Mitarbeitenden in den Verwaltungen müssen beim Einsatz von KI berücksichtigt werden.
Hier über den kommunalen Tellerrand zu blicken und den Austausch mit benachbarten Kommunen zu suchen, erlaubt es bereits bekannte Herausforderungen ebenso wie gelungene Praxisbeispiele zu diskutieren und greifbarer zu machen. Hat die Nachbarkommune vielleicht schon eine wassersparende KI-basierte Anwendung für die landwirtschaftliche Bewässerung in Planung oder die Schulbustaktung erfolgreich mit den Betreuungszeiten des Horts synchronisiert? Was hat gut geklappt? Wo liegen Herausforderungen und wo könnte sich eine (weitere) regionale Vernetzung lohnen?
Viele potentielle Sorgen und Probleme sind nicht von Anfang an erkennbar. Um auch diese nach Möglichkeit präventiv zu adressieren, liegt es Nahe sicherzustellen, dass Kommunen durch den Einsatz von KI-Systemen nicht gegen allgemeine ethische Werte handeln.
Es gibt bereits diverse Ansätze um eine Sammlung an ethischen Werten zu definieren, denen bei der Entwicklung von KI-Systemen besondere Beachtung geschenkt werden soll, jedoch können diese Ansätze nicht unreflektiert übernommen werden.
Operationalisierung ethischer Werte
An KI wird vielfach die Erwartung gestellt, gerechtere oder fairere Entscheidungen zu treffen, als es der Mensch bisher konnte, jedoch müssen diese Erwartungen gedämpft werden. Was fair oder gerecht ist, ist in einer weltanschaulichen Perspektive begründet und kann von einer KI niemals zu voller Zufriedenheit aller entschieden werden. Im Endeffekt müssen Fragen nach Fairness und Gerechtigkeit immer von Menschen beantwortet werden, die die konkrete Situation und Umstände beurteilen können. Dafür sind die Mitarbeitenden in den Kommunen am besten geeignet, da sie den Bürger:innen und ihren Lebensumständen am nähesten sind. Natürlich kann aber auch nicht jedem Verwaltungsmitarbeitenden die Durchführung einer individuellen ethischen Abwägung zugemutet werden. Kommunen benötigen daher ethische Leitlinien für ihre Arbeit mit KI.
Um KI-Systeme zu entwickeln, die unseren ethischen und moralischen Wertvorstellungen einer demokratischen Gesellschaft entsprechen, muss man sich darüber Gedanken machen, was das im jeweiligen Anwendungskontext der KI bedeutet. Wie bereits im Kapitel KI und Recht ausgeführt wurde, sind viele Anforderungen eigentlich rechtlicher Natur. Zum Beispiel haben wir uns als Gesellschaft dazu entschieden, Menschen nicht nach bestimmten Eigenschaften schlechter zu stellen, also zu diskriminieren. Gleichzeitig steht die Rechtsprechung vor der Herausforderung mit der rapide fortschreiten- den technologischen Entwicklung mithalten zu müssen. Da dies nur mit Verzögerung gelingen kann, ist es wichtig Technikfolgenabschätzungen für einen regelmäßigen Abgleich mit Wertvorstellungen durchzuführen und entsprechende Vorgaben zu machen.
Leider sieht man einer KI zunächst nicht an, ob sie sich an eine solche Vorgabe hält. Um vor allem ethische Werte in KI-Systemen zu adressieren, müssen diese messbar gemacht werden. Man spricht an dieser Stelle von einer Operationalisierung. Möchte man zum Beispiel besonderen Wert auf die Fairness eines Systems legen, stellt sich die Frage, wie genau Fairness eigentlich definiert wird. Die Informatik kennt über 20 verschiedene Maße um Fairness zu quantifizieren, welche zu großen Teilen einander widersprechen (Kleinberg 2018; Zweig & Krafft 2018), da sie verschiedene Konzepte von Fairness repräsentieren. Dies lässt sich besonders schön am Konflikt zwischen Chancengleichheit (equality) und Ergebnisgleichheit (equity) veranschaulichen. Chancengleichheit bedeutet, dass ein begrenztes Gut gleichmäßig (fair) auf alle Rezipienten aufgeteilt wird, wie wir es bei der Vergabe von Kindergeld aktuell in Deutschland handhaben. Ergebnisgleichheit hingegen zielt darauf ab, denjenigen mehr von einem Gut zu geben, die mehr davon benötigen und weniger denjenigen, die schon viel davon haben. Dieses Konzept von Fairness findet zum Beispiel bei der Vergabe von Sozialhilfen Anwendung. Selbst wenn man sich auf einen “ethischen Anforderungskatalog” verständigen konnte, liegt die nächste Herausforderung darin sicherzustellen, dass dieser im fertigen System tatsächlich verankert ist.
Transparenz von KI-Systemen
Eine Operationalisierung ethischer Werte allein ist dafür nicht ausreichend, da es sich bei vielen aktuell häufig angebotenen KI-Systemen um opaque Systeme handelt. Das bedeutet, dass man zwar beobachten kann, welche Informationen dem System gegeben werden und welches Ergebnis es daraus produziert. Wie genau das Ergebnis zustande kommt, bleibt jedoch verborgen. Das liegt nicht notwendigerweise daran, dass ein fertiges System von einem Unternehmen gekauft worden ist. Viele KI-Systeme, wie beispielsweise Neuronale Netze, sind aufgrund ihrer Komplexität selbst dann für Menschen nicht nachvollziehbar, wenn sämtliche Informationen darüber (Code und Daten) offengelegt werden. Dadurch ist es äußerst schwierig zu beurteilen, ob Werte in gewünschtem Maße berücksichtigt werden.[1] Eine wichtige Empfehlung für den kommunalen Bereich ist es daher, auf die Effizienzgewinne durch undurchsichtige, opaque Systeme zu verzichten und stattdessen Methoden zu verwenden die eine vollständige Transparenz liefern.
Verantwortung
Eine der am häufigsten genannten Herausforderungen in der aktuellen Ethik-Debatte im Kontext von KI stellt die Frage nach der Verantwortung bei einem Fehler durch ein KI-System dar. Diese Fehler können zum Beispiel bei der intelligenten Zuteilung von Einschulungsbereichen gesamtgesellschaftlicher Natur sein, wenn beispielsweise gewünschte Durchmischungen nicht adequat umgesetzt werden oder einzelne Familien ihre Kinder in unterschiedliche Schulen schicken müssen.
Bei der Entwicklung entsprechender KI-Systeme ist eine Vielzahl an Entscheidungen zu treffen, für die es nicht zwangsläufig ein objektives “Richtig” gibt. Es hat sich gezeigt, dass die Verantwortungsfrage bei Fehlern oft nur schwer zu beantworten ist. Einen ersten Überblick über die Bereiche in denen solche Entscheidungen jeweils getroffen werden, gibt die „Lange Kette der Verantwortlichkeiten beim Entstehungsprozess von KI“ (vgl. Abbildung). [2]
Lange Kette der Verantwortlichkeiten [2]
Für die KI gesteuerte Zuordnung der Einzugsgebiete für Schulen werden zunächst historische Daten über die jeweiligen Zuteilungen als Lerngrundlage benötigt, sogenannte “Trainingsdaten”. Neben den rechtlichen Anforderungen an die Nutzung personenbezogener Daten besteht beim Sammeln und Aufbereiten die Gefahr, dass durch ein fehlerhaftes Sammelverfahren oder eine falsche Aufbereitung die Daten verfälscht werden.
So können zum Beispiel die Zuordnungen von Häusern zu Straßen oder Bezirken nicht in allen Datenbanken einheitlich sein oder Informationen über bereits eingeschulte Geschwister unvollständig an das System gemeldet worden sein. Der nächste Schritt ist die Auswahl einer Methode, die zu der zu beantwortenden Fragestellung am besten passt. Obgleich sich innerhalb der bestehenden, etablierten Softwarepakete selten ein Fehler einschleicht, sind alle Methoden mit unterschiedlichsten Annahmen behaftet. Wenn diese Annahmen nicht erfüllt sind, geben die jeweiligen Methoden zwar ein Ergebnis aus, die- ses erfüllt aber nicht unbedingt die zugesicherte Qualität, kann also fehlerhaft sein.
Für das Beispiel müsste also zunächst entschieden werden, welche Art von Ergebnis die jeweilige Behörde erhalten möchte (beispielsweise eine absolute Zuordnung aller einzuschulenden Kinder zu konkreten Schulklassen oder eine Prioritätenliste für in Frage kommende Kinder pro Schule) und mit welcher Methode dieses Ergebnis erreicht werden soll. Zudem gibt es bei der Auswahl der Methode auch sogenannte nicht-funktionale Eigenschaften zu bedenken, also Eigenschaften, die sich nicht an die primäre Funktion des Systems richten. Darunter fällt zum Beispiel die Frage ob ausschließlich erklärbare und damit nachvollziehbare Methoden in Frage kommen, wodurch manche KI-Konzepte, wie künstliche Neuronale Netze, ausgeschlossen werden würden. Gerade bei einem behördlichen Einsatz von KI ist eine solche Transparenz und Nachvollziehbarkeit von höchster Bedeutung und sollte bei Entwicklungs- oder Vergabeprozessen gefordert werden.
Für das zu entwickelnde Entscheidungssystem werden nun die Trainingsdaten durch die Methode des maschinellen Lernens verarbeitet, man spricht vom “Trainieren” des Systems. Dabei werden, je nach verwendeter Methode des maschinellen Lernens, kleine Veränderungen am System vorgenommen, wodurch versucht wird die Vorhersage zu verbessern. Das System erkennt diese Verbesserung über einen Abgleich mit den in den Trainingsdaten vorhandenen his-torischen Entscheidungen und bewertet diese anhand des gewählten Qualitätskriteriums.
Ein solches Qualitätskriterium repräsentiert dabei das eigentliche Ziel des Systems, in unserem Beispiel also eine Durchmischung von Anwohner:innen mehrerer Stadtgebiete mit unterschiedlichen sozioökonomischen Voraussetzungen über mehrere Schulen hinweg. Damit die Methoden des maschinellen Lernens jedoch mit diesem Qualitätskriterium arbeiten können, müssen alle Anforderungen an das gewünschte Ergebnis zunächst anhand von Zahlen festgelegt werden (Operationalisierung), so dass eine zu berechnende Zielgröße, das Qualitätsmaß, entsteht. Die Lernmethode ist nun darauf ausgelegt die Zielgröße zu maximieren. Der Trainingsprozess wird so lange fortgeführt, bis das System die Mindestanforderungen an das Qualitätskriterium auf Grundlage der Trainingsdaten erfüllt. Im Optimalfall folgt daraufhin eine Testphase mit neuen Daten, um das System vor Einsatz noch einmal auf die Probe zu stellen. Je nach Ergebnis können dann noch einmal Änderungen, wie beispielsweise ein weiteres Training, durchgeführt werden (vgl. Pfeile in Abbildung).
Im Anschluss an diesen Prozess muss nun feststehen, ob ethische Anforderungen erfüllt werden, wie der Zustand verbessert werden kann und wer dafür verantwortlich ist. Prinzipiell können Probleme in den Daten, die Wahl des Lernverfahrens oder die Definition des Qualitätskriteriums ausschlaggebend sein, sowie viele weitere Punkte oder Kombinationen davon. Da verteilt über die lange Kette der Verantwortlichkeiten potentiell viele Personen am Prozess beteiligt sind, denen die Details der Anwendung während der Entwicklung nicht notwendigerweise alle bekannt sind, ist die Frage nach der Verantwortung im Nachhinein, wenn Fehler oder Probleme aufgetreten sind, oft schwer zu beantworten, weshalb dies vor Einsatz des System dokumentiert werden sollte.
[1] Das vom BMAS geförderte Projekt “ExamAI” (https://testing-ai.gi.de/) beschäftigt sich deshalb mit Testing, Auditing und Zertifizierung von KI-basierten Systemen, um eine Sammlung des Status quo zu erstellen, sämtliche aktuellen Herausforderungen diesbezüglich zu sammeln und aufzubereiten, sowie aktuelle und möglicherweise neue Lösungen und weiterhin bestehen Probleme zu identifizieren.
[2] Abb: Lange Kette der Verantwortlichkeiten beim Entstehungsprozess eines Systems mit Künstlicher Intelligenz (Abbildung CC-BY: http://aalab.informatik.uni-kl.de/resources/)
Referenzen
Kleinberg, J. (2018). Inherent trade-offs in algorithmic fairness. In Abstracts of the 2018 ACM International Conference on Measurement and Modeling of Com- puter Systems (pp. 40-40).
Krafft, Tobias D.; Pascal König and Katharina A. Zweig: „How to regulate algorithmic decision-making: A framework of regulatory requirements for different applications”, Regulation & Governance, online preview, 2020, https://doi.org/10.1111/rego.12369
Zweig, Katharina, K. Lischka, and S. Fischer. „Wo Maschinen irren können. Verantwortlichkeiten und Fehlerquellen in Prozessen algorithmischer Entscheidungsfindung.“ (2018).
Zweig, K. A. & Krafft, T. D.: „Fairness und Qualität al- gorithmischer Entscheidungen“ in Mohabbat Kar, R.; Thapa, B. E. P.; Parycek, P. (Eds.) (Un)berechenbar? Algorithmen und Automatisierung in Staat und Ge- sellschaft, p. 204-227, Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS, Kompetenzzent- rum Öffentliche IT (ÖFIT), 2018
Zweig, K. A., Wenzelburger, G., & Krafft, T. D. (2018). On chances and risks of security related algorithmic decision making systems. European Journal for Secu- rity Research, 3(2), 181-203.
