Im Kurs Data Justice beschäftigten wir uns mit der Schnittstelle zwischen Diskriminierung und Künstlicher Intelligenz.

Wir behandelten die Grundlagen von Datensätzen, Algorithmen und Künstlicher Intelligenz (KI), aber auch Privilegien und Machtverhältnissen in Form von struktureller, individueller und institutioneller Diskriminierung in unserer Gesellschaft.

Diese Bereiche wurden in Vorlesungen, Workshops, Exkursionen und Gruppenarbeiten thematisch so miteinander verknüpft, dass wir über das Semester hinweg nicht nur Wissen über KI und Diskriminierung an sich ansammelten, sondern insbesondere über deren konkrete Überschneidungen, woraus wir dann letztendlich unsere Endprojekte für den Kurs konzipierten.

Error 404: Gender Not Found

Ideenfindung und Konzeption

Während des Kurses kristallisierten sich für alle Kursteilnehmenden immer deutlichere Themen auf der Schneide von KI und Diskriminierungsthemen heraus, aus denen dann die Endprojekte entstanden. Bei uns bestand schon vor Beginn des Kurses ein großes eigenes Interesse an LGBTQIA+ Themen und Involvement in queerem Aktivismus. Da wir der Meinung sind, dass die fortwährende Diskriminierung gegen queere Menschen auf struktureller, institutioneller, staatlicher aber speziell auf individueller Ebene besonders durch Aufklärung und Sensibilisierung zu diesen Themen eingedämmt werden kann, haben wir uns entschlossen, in unserem Abschlussprojekt Aufklärungsarbeit zu leisten.

Da wir uns beide in unserem persönlichen Leben insbesondere mit Trans*identität und Gender beschäftigen, war schnell klar, dass diese Themen zentral für das Projekt sein würden. Unsere erste grobe Idee war dabei, (cis-) Personen, die in ihrem Alltag vielleicht weniger Berührungspunkte mit dem Thema Trans* haben, durch eine Reihe von Interviews mit trans* Personen über deren Identität und Diskriminierungserfahrungen aufzuklären. Da wir damit aber die Schnittstelle nicht trafen, entschieden wir bei einem weiteren Gespräch dann, dass wir uns speziell mit der strukturellen und institutionellen Diskriminierung von trans* Personen durch KI und entsprechenden utopischen Lösungsansätzen beschäftigen wollten. An diesem Punkt entschieden wir uns auch dafür, unser Projekt in Form eines Riso-zines umzusetzen.

Bei der ersten Recherche entdeckten wir dann schnell das Thema Automatic Gender Recognition (AGR) als zentrale KI-Problematik für trans* Personen. Uns fiel schnell auf, dass dieses Thema sowohl im Fachfeld wenig Aufmerksamkeit bekommt, als auch dass es innerhalb der queeren Community keine Aufklärung zu den Gefahren von KI insbesondere für trans* und nicht-binäre Personen gibt. Mit dieser Erkenntnis wurde uns klar, dass es uns wichtiger ist, unsere eigene Community aufzuklären und Zugang zu diesen Informationen zu verschaffen und entschieden uns, dies in unserem Projekt zu zentrieren.

Wir beschlossen, dass unser Zine aus zwei Teilen bestehen sollte: einem Einleitungstext, der die Themen KI und Transfeindlichkeit mit AGR kontextualisiert sowie zwei dystopische Zukunftsszenarien, die illustrieren sollten, wie die momentane Ausgangslage ohne Intervention in Zukunft eskalieren könnte. Bevor wir mit der eigentlichen Umsetzung beginnen konnten, stürzten wir uns in eine sehr intensive Recherche - jede_r von uns arbeitete sich durch zahllose Artikel und wissenschaftliche Papers, die wichtigsten davon sind auch im Zine noch einmal als Quellen aufgelistet.

Aus den Erkenntnissen unserer Recherche leiteten sich die Zukunftsszenarien sowie der Einleitungstext ab. Wir haben unser Zine auf Englisch und möglichst wenig akademischer Sprache verfasst, um einen möglichst großen Teil der Community anzusprechen. Durch unsere sehr ausgiebige Recherche hatten wir viele Ideen für mögliche Szenarien, mussten uns dann aber aus Zeitmangel auf zwei festlegen. Für unser erstes Szenario entschieden wir uns für das populäre Thema der öffentlichen Toiletten und wie die Anwendung von AGR die Einhaltung des binär gegenderten Toilettensystems gewährleisten könnte. Für unser zweites Szenario thematisierten wir die allgegenwärtige Präsenz von personalisierter, (binär) gegendeter Werbung auf Social Media und in öffentlichen Räumen und wie AGR hierbei eine sich in den Alltag einschleichende Verstärkung von binären Geschlechterrollen und Cisnormativität bewirken könnte bzw es bereits bewirkt. Beide Szenarien basieren auf Alltagssituation, die ohnehin schon problematisch für viele Trans*personen sind, alle in den Szenarien vorkommenden Technologien existieren bereits in der Form und werden bereits in verschiedenen Situationen eingesetzt. Die Kombination der jeweiligen Alltagssituationen und der bereits bestehenden Technologien ist also durchaus realistisch vorstellbar und deshalb sehr effektiv darin, aufzuzeigen, wie gefährlich die Situation ohne Intervention noch werden kann.

Umsetzung und Herstellungsprozess

Wir hatten uns früh dafür entschieden, dass wir ein Zine am Risographen drucken wollten, da uns der Kontrast des analogen, inhärent politisierten Zines und unserem digitalisierten, aber ebenso politischem Thema gefiel. Farblich orientierten wir uns in der Umsetzung mit Blau und Pink auf weißem Hintergrund an der Trans* Pride Flagge.

Cosmo übernahm die schwierige Aufgabe, die teilweise sehr theoretischen Themen zu illustrieren. Dafür wurden zuerst analog mit Stift und Papier am Leuchttisch jeweils zwei Schichten gezeichnet, die dann von Alex digital übereinander gelegt und zusammen mit dem Text in ein Layout übertragen wurden.

Um den Druckaufwand gering zu halten, entschieden wir uns für Hohlseiten, also gefaltete, einseitig bedruckte Seiten, da wir so nicht auf das Trocknen der Farbe warten mussten bevor wir die Rückseite drucken konnten. Bei dem Versuch, dieses im Layout zu beachten, hatte sich bei der Positionierung des Layouts ein Denkfehler eingeschlichen.

Die Bindung war zunächst als Japanische Heftung geplant, wir entschieden uns letzten Endes aber doch für eine Klebebindung mit farblich passendem pinken Leim.

Neben kleineren mechanischen Problemen war unsere größte Hürde eine Grippewelle, die uns ausgerechnet in der finalen Phase erwischte, eine effiziente Arbeitsaufteilung erschwerte, sowie uns auch zeitlich ziemlich bremste. Außerdem sammelten wir bei unserer ausgiebigen Recherche so viel Wissensmaterial an, dass es schwer fiel, dieses in kompakte Texte zu destillieren. Wir hatten uns so sehr in das Thema vertieft, dass uns manchmal der nötige Abstand und Überblick fehlte.

Bei einer Neuauflage des Zines würden wir nochmal den Text überarbeiten sowie die Fehler im Layout korrigieren, das Zine von vornherein mit Klebebindung planen und die Laufrichtung daran anpassen.

Finales Produkt – Das Zine

Einleitung

(for English version view below)

Künstliche Intelligenz (KI) ist in unserem Alltag angekommen - von personalisierten Suchvorschlägen und Werbung, bis zur Berechnung, wie wahrscheinlich es ist, dass eine Person ein Verbrechen begeht.

Die meisten KI Systeme verwenden hierfür Algorithmen, die mit Datensätzen trainiert werden und so immer genauere Entscheidungen und Vorhersagen treffen können. Idealerweise sollen Algorithmen Leben verbessern, jedoch übernehmen sie bei der Entwicklung nicht nur die relevanten Daten, mit denen Algorithmen trainiert werden, sondern auch die bewussten und unbewussten Vorurteile (implicit and explicit bias) ihrer Entwickler.

Da im technischen und wissenschaftlichen Bereich vor allem weiße Cis-Männer arbeiten, sind die Vorurteile, die in Codes repliziert werden, oft ignorant gegenüber den Bedürfnissen und Problemen von marginalisierten Gruppen, wie Frauen, People of Color, Menschen mit Behinderung und Trans* Personen. Viele Zukunftsszenarien werden aus fehlerhaften Konzepten abgeleitet und sind höchst gefährlich für Minderheiten. Oft wird nicht bedacht, ob die Ergebnisse überhaupt wünschenswert sind, da es wenige Stimmen am Arbeitsplatz gibt, die Diversität und die Inklusion aller ansprechen und durchsetzen können.

Aber das Ausschließen von diversen Stimmen führt nicht nur zum Verlust ihrer wertvollen und wichtigen Beiträge in der Entwicklung von KI. Es ermöglicht auch, dass die unterdrückenden, diskriminierenden Systeme die wir aus dem echten Leben kennen in Form von KI fortbestehen und verstärkt werden. Algorithmen funktionieren als gecodete Aussagen, wie die Welt aussehen soll –  allerdings ist dabei immer die Frage, wer das entscheiden darf und welche Menschenleben dabei nicht erleichtert, sondern erschwert werden.

In diesem Zine betrachten wir, wie der Einsatz von mit Vorurteilen belasteten Algorithmen die Leben von Trans* und Nicht Binären Personen gefährdet und wie dies verhindert werden könnte. Um aufzuzeigen, was passieren wird, wenn sich nichts an den bestehenden Missständen in der Entwicklung von KI-Systemen ändert und welche Gefahren das für die Trans*community bedeutet, beschreiben wir in zwei dystopische Zukunftsszenarien.

Wir hoffen, dass dieses Zine die Menschen unserer Community aufklärt, die noch nicht viel über Diskriminierung durch Algorithmen gehört haben, sowie eine Erkenntnis dieser Problematik in den assoziierten akademischen Bereichen erzielt.

Introduction

Artificial Intelligence (AI) has become increasingly intertwined with our everyday lives in many different ways. The means of implementation ranges from personalised recommendations and ads on social media to predicting an individual’s likelihood to commit a crime.

Most AI systems operate through algorithms, which are often used to find patterns in data, and then make automated predictions and decisions based on those patterns.

To create an algorithm, it is fed data that enables it to make increasingly accurate predictions. Ideally, algorithms are supposed to improve lives.

However, along with the relevant information that the algorithm is getting trained with, it will inevitably pick up its creator’s implicit or explicit bias. Due to the fields of science and tech being largely dominated by white and cis male people, the biases that are replicated in code are often ignorant of the concerns and needs of more marginalised social groups like women, people of colour, disabled folks and trans* people.

Lots of AI related future scenarios are derived from flawed concepts and are highly dangerous for minorities, however there is no reflection regarding the desirability of their outcomes since there are few probing voices in the workfield that have diversity and inclusion of all in mind.

But an exclusion of diverse voices does not only lead to the loss of their valuable and important contributions in creating A I. It allows for the perpetuation and amplification of oppressive, discriminatory systems that we know all too well from real life.

Algorithms work as coded assertions about how the world should work –  yet we should always question who gets a say in this and whose lives are not made easier, but much more difficult.

In this zine, we take a look at the ways in which the applicaton of biased algorithms poses an imminent threat specifically for trans* and non-binary people and how this could be avoided.

In order to illustrate what will most likely happen if nothing is improved and the increased active violence this means for the trans* community, we will list two dystopian future scenarios.

We hope this zine can educate members within our community that might not have heard much about algorithmic discrimination against trans* people as well as raise awareness for this issue within the associated academic fields.

When Targeted Apps Cause Dysphoria

Like every morning, Charlie wakes up, rolls over and checks their phone for new messages. They then give Facebook a quick scroll, just to see if anything exciting has happened overnight. But same old, same old – including that annoying advertisement that keeps popping up. Charlie has been identifying as transmasculine for over six years now.

Even though they have their gender marker set to non-binary on Facebook, the website hardly mirrors this with the ads for dresses they’re being shown. Charlie remembers their friend telling them that the various gender identities Facebook offers are just pretend – even if you do pick a diverse gender marker, algorithmically you are still sorted into binary catagories. Facebook uses the analysis of your pictures, messages and likes to determine what gender is assigned to you.

They decide to switch to Instagram, hoping to escape the inappropriate ads –  as far as they remember, they never had to pick a gender marker on here at all. But nevertheless, they’re now being shown makeup ads in between posts of their queer icons, something that doesn’t align with Charlie’s masc gender expression at all. It’s like Instagram never seems to forget the content they took an interest in as a teen. Bothered by the ads constantly reminding them of the past, Charlie starts their day triggered and dysphoric.

On the way to work, they arrive at the train station, walking past an electronic ad sign for a tech company to wait besides of. But just as Charlie arrives in front of the sign, the sign automatically changes to a lingerie ad. A logo next to the ad sign indicates that the display uses gender based facial recognition to provide you with content supposedly most fitting to you.

A person waiting besides Charlie has watched this happening and is confused – they would’ve never read Charlie as a woman based on their appearance otherwise. The stranger eyes them up and down and gives a knowing, derogatory smile. When the train arrives, Charlie gets in, close to tears and feeling confused and unsafe.

Error 404 – Gender Not Found

Mia and Sam recently started spending their break together by trying out the different food places in the brand-new modern mall nearby. After lunch, they hurry to the malls bathrooms together and are amazed by the modern building.

They arrive at the bathrooms, but the entrance to the bathroom facilities looks different than expected: Firstly, there’s only two doors, one male, one female. Mia looks over at Sam and can see a look of exhaustion and despair on their face. Even more shocking are the signs next to either of the doors. They step closer, reading the information: “To ensure increased security for all, we apply modern Automatic Gender Recognition in our public bathroom facilities”.

Mia feels her heart sink and looks over at Sam, who seems to be worried as well. “Let’s just go back to class”, she says. “We'll just go to the normal, neutral bathrooms at uni.” Sam looks back at her, and shrugs saying “I think we both pass well enough, granted this system even works at all.” Mia wants to interject, tell them the scary stories she’s heard about bathrooms like these from friends, that they inform authorities if your gender can not be verified as assigned to the bathroom you’re entering, but Sam has already stepped through one of the doors. Mia hesitates for a second, takes a deep breath and enters the women’s bathroom.

There’s a couple of people in there already, and nobody is bothered by her entrance, one lady standing by the sink even smiles at Mia sweetly, and she feels very relieved. But Mia can only take a couple of steps before a loud alarm goes off. All the other people in the bathroom suddenly stare at her with fear and quickly exit the bathroom. The alarm is deafening and Mia stands there paralysed with shock, unable to move. She can’t tell how much time goes by, petrified by what is happening, when she feels a hand on her back.

Mia spins around to see Sam who is all flustered and pulls her out of the bathroom. She realises that another alarm is coming from the bathroom next door –  so Sam must have triggered it as well. They stumble outside to be met by two security guards who ask them for their I Ds. Neither Mia nor Sam understand why it’s necessary to show I D in order to use a bathroom, but are too afraid to ask. Luckily, they both have changed their official gender markers years ago so that the guards have nothing to hold against them.

It’s not hard to imagine all the terrible things that could happen if their gender markers hadn't been changed already. Mia’s head starts spinning as she remembers the old picture that’s still on her I D. One of the guards hands them back their I Ds with a nod, while the other reluctantly types in a code on both of the screens that shuts off the alarm. Still, no feeling of relief sets in for either Mia or Sam. As the guards are about to leave, the taller one turns around and says directly to Mia: “Have a good day, Sir.”

Mia and Sam never return to the mall. The encounter leaves them feeling terrified and unsafe for months, avoiding public spaces whenever they can.

Quellen & Links

Da es uns wichtig ist, dass der Zugang zu Informationen erleichtert wird und da wir die Arbeit der Wissenschaftler*innen schätzen und unterstützen wollen, ist hier eine unvollständige Liste zu den Artikeln die unser Zine geprägt haben.

I’m a trans woman – here’s why algorithms scare me
by Janus Rose for Dazed, 2019

Patching Gender: Non-binary Utopias in HCI
by Katta Spiel, Pinar Barlas and Os Keyes, 2019

How Computers See Gender: An Evaluation of Gender Classification in Commercial Facial Analysis and Image Labeling Services
by Morgan Klaus Scheuerman, Jacob M.Paul and Jed R. Brubaker, University of Colorado Boulder, 2019

Gender Recognition or Gender Reductionism? The Social Implications of Automatic Gender Recognition Systems
by Stacy M. Branham, Morgan Klaus Scheuerman and Foad Hamidi, 2018

Can an Online Service Predict Gender? On the State-of-the-Art in Gender Identification from Texts
by Stefan Krüger and Ben Hermann

The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition
by Os Keyes, University of Washington, USA, 2018

Workshops

In den folgenden Workshops sowie anknüpfend auch im Kurs allgemein beschäftigten wir uns mit unterschiedlichen Diskriminierungsthemen (z.B. Rassismus, Intersektionalitaet, Privilegien, Implicit und Explicit Bias und Dekolonialisierungsarbeit) im Zusammenhang mit KI und lernten dabei auch neue Arbeitsweisen kennen.

Fortress Europe - Deconstrucing AI with Design Justice

Im Rahmen dieser Gruppenarbeit beschäftigten wir uns mit einer Software zur Sprachanalyse, die seit 2017 vom Bundesamt für Migration und Flüchtlinge (BAMF) bei Asylverfahren verwendet wird. Anhand mehrerer Artikel und eines Worksheets erarbeiteten wir uns, wie und warum das Tool eingesetzt wird, von wem es entwickelt wurde und welche Formen von Diskriminierung von dem Tool ausgehen.

Dabei lernten wir, dass die vielen technischen Unzulänglichkeiten des Tools, wie beispielsweise unvollständige Datenbanken und ein missverständliches Interface, sowie auch die unausreichende Schulung von Mitarbeiter*innen zu sehr häufigen Fehlentscheidungen führen. Da die Motivation hinter der Entwicklung der Software größtenteils eine möglichst stark beschleunigte Durchsetzung der Flüchtlingspolitik zu sein scheint, hinterfragten wir letztendlich die Entwicklung des Tools und ob es überhaupt eingesetzt werden sollte. Dabei kamen wir auf den Schluss, dass das BAMF durch Einsatz dieses Tools ein schnelles und kostenreduziertes Aussortierungsverfahren (das zusätzlich faktisch nicht einmal richtig funktioniert) über Menschenleben stellt, und dass dies Produkt einer fremdenfeindlichen Weltanschauung ist. Das Tool wurde aus dem Verdacht geschaffen, dass geflüchtete Menschen aus Angst über ihre Herkunft lügen und zielt auf möglichst viele Abschiebungen ab. Die Software steckt also von vornherein voller Vorurteile gegenüber Geflüchteten, da sie auf Misstrauen basiert. Die effektivste Verbesserung des Tools wäre daher dessen Abschaffung und ein Ansetzen an der Verbesserung der politischen Ursprünge dieser Vorurteile, also eine Öffnung der Grenzen und das Abschaffen von Asylverfahren. Ein konkreter Verbesserungsansatz des Tools wäre eine bessere Aufklärung und stärkere Einbindung von Sprachwissenschaftler*innen sowie auch Asylantragenden und Mitarbeiter*innen in den Entwicklungsprozess.

Dr. Tiara Roxanne - Is Decolonizing AI Possible?

In Vorbereitung auf diesen Workshop sollten wir Thanksgiving definieren. Im Kurs verglichen wir dann unsere Ansichten und wurden über Kolonialismus und Dekolonialisierungsarbeit, und inwieweit diese überhaupt möglich ist, aufgeklärt.

Wir kamen zu dem Schluss, dass Dekolonialisierung, also die Rückerstattung des Landes an die indigenen Völker, denen es genommen wurde, nicht möglich ist, aber durch Gesten in Form von Anerkennung, Aufklärung und kritisches Hinterfragen beim Betrachten von insbesondere akademischen Arbeiten über Kolonialismus in die richtige Richtung gearbeitet werden kann.

Speculative Futures: Urban Dorf

In diesem Workshop mit Fabian Gampp erarbeiteten wir uns Methoden des Speculative Designs. In Gruppen erarbeiteten wir uns durch Worksheets ein Zukunftsszenario, um dann dieses anhand eines bereitgestellten Materialfundus zu visualisieren.

Für die Themenfindung wurden zuvor vom Kurs Trends aus sozialen-politischen, technologischen und ökonomischen Feldern gesammelt. Daraus wählten wir Urbanisierung, Smart Homes und Genossenschaften. Diese Felder sollten wir nun wiederum kombinieren und ein Szenario formulieren.

Unser Idee bestand in der Übertragung einer Dorfcommunity in einen urbanen Kontext in Form von modernen, umweltfreundlichen Hochhauskomplexen. Die einzelnen Hochhäuser stellten so autonome, räumlich abgegrenzte Communities dar, die sich über eine zentrale, gemeinschaftliche Verwaltung und Selbstversorgung organisiert.

Durch smarte Modulwohnungen wird garantiert, dass sowohl Privatsphäre als auch eine organisch wachsende Gemeinschaft möglich sind. Diese Communities sind so in sich selbst größtenteils unabhängig, sind aber wiederum in ständigem Austausch mit den umliegenden Wohnkomplexen und darin lebenden Communities.

Diese Idee visualisierten wir mit den bereitgestellten Materialien in Form eines einfachen Prototyps.

Obwohl wir mit unserem Szenario zunächst eine utopische Welt bauen wollten, in der wir Probleme wie Wohnungsmangel und wachsende Anonymität lösen wollten, wurde uns bei weiteren Überlegungen klar, dass diese voneinander abgeschnittenen Communities oder auch die Datensteuerung der Wohnkomplexe schnell auch ins Dystopische kippen könnte.

Kursreflektion

Data Justice war für uns beide ein Lieblingskurs. Die Kursinhalte waren sehr breit angelegt und wurden durch Projekte, Workshops, Exkursionen, Recherchearbeiten sowie Buch- und Artikelempfehlungen über Incom angereichert. Die Teilnahme am Kurs war für uns eine Chance, uns mit Diskriminierungsthemen auf einer akademischen Ebene auseinanderzusetzen und im Zusammenhang damit auch das Themenfeld KI kennenzulernen.

Wir sind sehr froh, die Chance gehabt zu haben, den Kurs am Anfang unseres Studiums belegen zu können, da er für uns beide sehr richtungsweisend war. Für uns war der Kurs, sowohl als an Aktivismusarbeit interessierte Personen, als auch als Designer_innen sehr lehrreich, da die Verantwortung, die Designer_innen sozial-politisch tragen, klar vermittelt wurde.

Beim Blick auf das restliche Curriculum fällt uns auf, dass ähnliche Kurse, die Design ins echte Leben kontextualisieren, deutlich fehlen. Besonders die Behandlung von Themen wie Diskriminierung, Intersektionalität und Inklusion erachten wir für die Schulung von jungen Designer_innen als sehr wichtig. Denn ohne Pflichtkurse zu diesen Themen fällt die Aufklärungsarbeit innerhalb unserer Kurse als auch später im Arbeitsleben immer auf persönlich betroffene Einzelpersonen zurück.