Wieviel Predictive Technology verträgt die Freiheit?

Stellen wir uns eine Szene im Sommer 1665 in der Nähe von Cambridge vor. Ein junger Student liegt - pandemiebedingt - unter einem Baum im Garten seiner Eltern. Da fällt ihm ein Apfel auf den Kopf. Nach kurzem Überlegen zückt der junge Mann sein Handy und fragt: „Siri, warum fallen Äpfel eigentlich immer senkrecht vom Baum?“

Siri: „Diese Frage kann ich leider nicht beantworten. Aber ich kann eine Folge „Friends“ abspielen.“

Und Isaac Newton blieb beim Bingewatchen hängen, wurde ein recht passabler Optiker und verstarb kinderlos und vereinsamt im Alter von 54 Jahren, als er sich an einer Fischgräte verschluckte.

Innovationen sind Innovationen, weil sie mit Traditionen brechen.

Wenn es zu Darwins Zeiten Amazon Buchrezensionen gegeben hätte, wäre sein großes Werk durchgefallen. Den Kontinentaldrift hat nicht die etablierte Wissenschaft entdeckt. Und die Relativitätstheorie wäre nicht als Empfehlung auf Ihrer Notification List aufgetaucht.

Tatsächlich brechen Innovationen immer mit tradierten Konzepten. Revolutionäre, neuen Ideen entstanden in der Vergangenheit häufig dort, wo man sie nicht erwartet hätte. Ja, die heutigen Digitalgiganten haben vor allem gemein, dass sie eben nicht in Konzernzentralen konzipiert, nicht in etablierten Industrien pilotiert und nicht mit bekannten Managementmethoden und -prozessen groß wurden.

Elon Musk hätte bei VW höchstens Konzepte im Design Lab entwickelt, vielleicht ein Modell für die IAA. In Serie gegangen wäre sein Roadster nie („nicht marktfähig“). Larry Page und Sergey Brin hätten mit ihren Fähigkeiten Karriere bei Oracle oder IBM gemacht, eine Suchmaschine wäre aber niemals gelauncht worden („nicht unser Kerngeschäft“). Und wäre Jeff Bezos bei Bankers Trust geblieben, würde heute wohl kaum jemand seinen Namen kennen (und er wäre – Ironie der Geschichte – eher Donald Trumps Finanzberater geworden als sein Widersacher).

Echte Innovationen entstehen außerdem dort, wo jemand ein Problem identifiziert und eine Lösung sucht. Wo jemand unzufrieden mit dem Status Quo ist und eine Vorstellung davon entwickelt, was nicht rund läuft oder fehlt. Wo jemand Lücken entdeckt: in Systemen, in Angeboten, in Märkten. Wo Reibungspunkte entstehen.

Was aber, wenn man so umschmeichelt wird und Wünsche so schnell erfüllt werden, dass gar keine Reibung mehr auftritt?

Die Kehrseite der Empfehlungssysteme.

In der Digitalisierung läuft vieles auf eine Fremdsteuerung durch Assistenz- und Empfehlungssysteme hinaus. Und diese Predictive Technologies können großartig sein. Wenn sie neue Musik auf Spotify empfiehlt. Wenn Netflix eine wahre Perle der Filmgeschichte ausspuckt. Wenn auf Amazon direkt der richtige Schlauch zum Trockner angeboten wird. Oder wenn die Wettervorhersage tatsächlich korrekt ist.

Aber Predictive Technologies stellen auch ein Risiko dar, denn jedes Empfehlungssystem, jeder Automatismus und jeder Nudge nimmt uns ein wenig mehr Autonomie.

Die Systeme arbeiten außerdem auf aggregierten Datensätzen, sie leben davon, digitale Lookalikes zu generieren. Und diese Daten und Profile haben eines gemeinsam: sie sind biased, sie sind an der Vergangenheit ausgerichtet und, arbeitet man mit AI, entziehen sie sich schnell einer moralischen und ethischen Kontrolle.

So passiert es dann, dass Google Photos Afroamerikaner als Gorillas identifizierte. Dass Justizsoftware Risiken für ein kriminelles Verhalten überproportional ethnischen Minderheiten zuschreibt. Oder dass auf den ersten Blick legitime Daten und Systeme zur Förderung von Studierenden missbräuchlich genutzt werden.

Learning Analytics breaking bad.

Der Einsatz von Learning Analytics an der University of Phoenix war ein solches Beispiel. Die Hochschule hatte ein System entwickelt, mit dem sie sicher voraussagen konnte, welche Studierende ein hohes Abbruchrisiko hatten… und konnten dann intervenierten. Allerdings nicht, um die Studierenden zum Abschluss zu bringen, denn das System hatte schon sehr klar identifiziert, dass dieser nie erreicht werden würde. Ziel war einzig, die Studierenden so lange in der Hochschule zu halten, bis die hohen Akquisekosten wieder eingespielt waren. Die Folgen? Hohe Schulden bei Studienabbrechern und eine Abschlussquote von nur 15% (und eines der kostspieligsten Strafverfahren in der US-amerikanischen Hochschulgeschichte).

Wir wissen, wann Ihre Mitarbeiter sterben.

Ein anderes Beispiel stellte Eric Siegel, Professor an der Columbia University, in einem spannenden Artikel vor. Ein Beratungsunternehmen war beauftragt worden, ein System zu entwickeln, mit dem die Personalabteilung auf mögliche Personalausfälle frühzeitig reagieren könne. Das Unternehmen analysierte also alle Datensätze und stellte ein Tool zur Verfügung, dann nicht nur die Wahrscheinlichkeit einer Kündigung, sondern auch gleich das Risiko eines frühzeitigen Todes pro Mitarbeiter:in anzeigte.

Woraufhin die Personalabteilung übrigens durch die Decke ging, denn wer will schon – vor den Angestellten selbst – wissen, wer von diesen in 2-3 Jahren mit hoher Wahrscheinlichkeit nicht mehr leben wird?

Wie viel Bequemlichkeit verträgt die Freiheit?

Eine zentrale Frage ist also: Was wird aus der individuellen Freiheit, wenn immer mehr Systeme uns sagen wollen, was wir gut finden. Wenn Lernsysteme definieren, was es zu lernen lohnt. Wenn Maschinen gleichzeitig die Rolle von Mentoren, Dienern und Kontrolleuren übernehmen.

In China, dem „Motherland of Surveillance”, kann man diese Entwicklungen schon heute in der Praxis beobachten. Mit seinem Social Scoring System, einer AI zur Identifikation von Andersdenkenden und religiösen Minderheiten und der massiven Technisierung aller Lebensbereiche – die Hand in Hand mit den weltweit höchsten Investitionen in AI Technologien geht – sehen wir die dunkle Seite des Technologieeinsatzes.

“I don’t think it’s overblown to treat this as an existential threat to democracy."
Jonathan Frankle (Massachusetts Institute of Technology)

Wir können eine Welt erahnen, in der individuelle Freiheit irrelevant wird. In der nur ein solches Verhalten akzeptabel ist, das in geregelten und vorhersehbaren Pfaden verläuft. In der Innovationen, revolutionäre Ideen oder neue Impulse – seien es technologische, kulturelle oder soziale – eine rote Lampe aufleuchten lassen und Gegenmaßnahmen einleiten. Eine Welt, in der echte Innovationen fast keine Chance mehr haben.

Hoffen wir, dass wir nicht zu bequem werden.