Ein internationales Forschungsteam des Max-Planck-Instituts für Bildungsforschung und der Toulouse School of Economics warnt vor den Risiken des KI-Einsatzes bei der Bewilligung von Sozialleistungen. Die in Nature Communications veröffentlichte Studie zeigt, dass Betroffene wie Arbeitslose oder Bedürftige automatisierten Entscheidungen misstrauen, da sie Vorurteile verstärken und Fehler zu harten Konsequenzen führen können. Um Akzeptanz zu schaffen, müssen Perspektiven vulnerabler Gruppen in der Entwicklung solcher Systeme berücksichtigt werden.
Der Fall des KI-Programms Smart Check in Amsterdam illustriert die Probleme: Das System prüfte Sozialhilfe-Anträge auf Betrug, indem es Daten zu Adressen, Einkommen und Familien analysierte, um Risikowerte zu berechnen. Hohe Werte leiteten Anträge an Sachbearbeiter weiter, trafen jedoch unverhältnismäßig oft Migranten, Frauen oder Eltern. Kritik von Verbänden und Juristen führte zur Aussetzung des Programms; eine Evaluation bestätigte Mängel wie fehlende Nachvollziehbarkeit und Widerspruchsmöglichkeiten.
In drei Umfragen mit über 3.200 Teilnehmern aus den USA und dem Vereinigten Königreich untersuchten die Forscher Einstellungen zu KI bei Sozialleistungen. Teilnehmer wählten zwischen langsamen menschlichen Entscheidungen und schnelleren KI-Optionen mit höherem Fehleranteil bei Ablehnungen. Während viele Bürger kleinere Ungenauigkeiten für Geschwindigkeit akzeptieren, lehnen Leistungsempfänger KI stärker ab – selbst bei 5- bis 30-prozentigem Risiko für Fehlentscheidungen.
Nicht-Empfänger überschätzen systematisch das Vertrauen von Betroffenen in KI, auch bei finanziellen Anreizen für realistische Einschätzungen. Vulnerable Gruppen verstehen die Mehrheitsmeinung besser als umgekehrt. Demografische Faktoren wie Alter, Geschlecht und Einkommen wurden berücksichtigt; die US-Stichprobe war repräsentativ, die britische ausbalanciert zwischen Universal-Credit-Beziehern und anderen.
Ein hypothetisches Widerspruchsrecht steigert das Vertrauen nur leicht und ändert nichts an der Ablehnung durch Empfänger. Die Akzeptanz hängt vom Vertrauen in Institutionen ab: Je stärker der KI-Widerstand, desto geringer das Regierungsvertrauen. Im Vereinigten Königreich bevorzugen viele menschliche Bearbeitung, auch bei gleicher Effizienz.
Die Studie appelliert an partizipative KI-Entwicklung, die Betroffene einbezieht, statt Effizienz allein zu priorisieren. Andernfalls drohen Fehlentscheidungen und sinkendes Vertrauen in Verwaltung und Technologie. Eine laufende Kooperation mit Statistics Denmark erfasst nun dänische Vulnerable Gruppen.
Auf einen Blick:
- Umfragen: Mehr als 3.200 Teilnehmer zu KI bei Sozialleistungen in USA und UK.
- Unterschiede: Empfänger skeptischer als Nicht-Empfänger; Letztere überschätzen Vertrauen trotz Anreizen.
- Maßnahmen: Widerspruchsrecht wirkt begrenzt.
- Empfehlung: Partizipative Prozesse für KI-Systeme, um Vertrauensverlust zu vermeiden.
Original Paper:
Heterogeneous preferences and asymmetric insights for AI use among welfare claimants and non-claimants | Nature Communications
Entdecke mehr von LabNews
Melde dich für ein Abonnement an, um die neuesten Beiträge per E-Mail zu erhalten.
Pingback: Umweltverschmutzung führt zu Millionen Toten
Die Kommentare sind geschlossen.