Automation Bias

Beschreibt den psychologischen Effekt, dass die Informationen, die ein KI-System auswirft, aufgrund der dem Menschen weit überlegenen Leistungen des Systems in der Daten- und Informationsverarbeitung für zuverlässig und vertrauenswürdig gehalten werden. Das ist gefährlich, weil Algorithmen und die auf ihnen basierenden KI-Technologien in vielerlei Hinsicht fehlerhaft sein können, z. B. selbst vorurteilsbehaftet (bias) oder diskriminierend. Ein weiteres Problem benennt der Deutsche Ethikrat: „Damit wird Verantwortung – zumindest unbewusst – an diese ‚Quasi-Akteure‘ delegiert. Selbst wenn ein KI-System normativ strikt auf die Rolle der Entscheidungsunterstützung begrenzt wird, kann Automation Bias dazu führen, dass ein KI-System allmählich in die Rolle des eigentlichen ‚Entscheiders‘ gerät und menschliche Autorschaft und Verantwortung ausgehöhlt werden.“ (Deutscher Ethikrat 2023, S. 22)