Interaction Patterns in XR

Das dominante UI-Paradaigma WIMP (Windows, Icons, Menus, Pointers) hat sich in den letzten Jahrzenten nur inkrementell verändert. Die Popularität von Extended reality (XR) Interfaces steigt langsam aber stetig, aus Kontunitätsgründen gibt es starke Tendenzen, die vorherrschende Desktop-Metapher lediglich zu verräumlichen. In der vorliegenden Masterarbeit biete ich einen radikal unterschiedlichen Ansatz, den virtuellen digitalen Raum zu organisieren. Mein Konzept ist inspiriert durch klassische Mnemotechnik und das Zettelkasten-System Niklas Luhmanns. Basierend auf Daten aus dem Semantic Web verwende ich Verfahren aus dem Bereich des generativen Designs um erforschbare, Datenvisualisierungen als architektonische Räume herzustellen.

Abstract English

The dominant user interface paradigm, WIMP (Windows, Icons, Menus, Pointers) has only been slightly shifting for the last couple of decades. Extended reality (XR) interfaces are slowly gaining popularity, yet, for the sake of continuity there is a tendency to merely spatialize the existing desktop metaphor. In this thesis I am offering a radically different approach to organizing the digital virtual space. My approach takes inspiration from classical mnemotechnics and Niklas Luhmann’s Zettelkasten Card Index System. Using data from the Semantic Web and by means of generative design techniques I propose methods to create explorable data visualisations as VR architectures.

Ergebnisse

Daten

Aus Zeitgründen musste ich daran verzichten, das Zettelkastensystem als Software nachzubauen. Stattdessen habe ich einen Datensatz im Rahmen des Semantic Webs, ein weit verbreitetes aber oft latentes Datenmodell und Datenbank-Netzwerk innerhalb des Internets, zusammengestellt.

Der Datensatz wurde spezifisch aus der Kunstdatenbank Getty Vocabularies und z.T. wikidata zusammengestellt. Andy Warhol und Salvador Dalí bilden die zwei Polen, welche die Hauptachse der Daten bestimmten.

Unten sind die Daten im Datensammlungswerkzeug als Force-directed Graph basierend auf dem Visualisierungs-Framework (d3.js)[https://github.com/d3/d3-force] dargestellt.

Verfahren

Aus den Daten wird in mehreren Schritten eine, in Virtual Reality erkundbare Architektur generiert.

Baupläne / 2.5D

Im ersten Schritt werden »Baupläne« in zwei Dimensionen generiert. Das Grundprinzip enstpricht die Graphendarstellung Adjacency List, bei welchem sowohl Knotepunkte als auch Verknüpfungen als (waagerechte bzw. senkrechte) Linien dargestellt werden. Eine Z-Koordinate wird durch weitere Dateneigenschaften (Link-Art / Anzahl, Knotentyp etc.) zugewiesen.

Baupläne / 3D

Im nächsten Schritt werden durch Verzerrung weitere Variationen die bisherigen »Baupläne« generiert.

Festkörpergeometrie

Im letzten Schritt wird das dreidimensionale Drahtgittermodel in architektonische Körper »aufgebläht«. Zur Zeit gibt es drei Prinzipien, nach denen aus Linien / Kurven räumliche Gebilde entstehen können.