Between Reality and Virtuality: An Investigation into XR Interactions and Spatial XR Interfaces in Relation to Collaborative Work and Their Potentials

Abstract

__ ‎ ‎ ‎ ‎

X V G A R (sugar) - ist ein XR-Interface Prototyp, der für die HoloLens 2 entwickelt wurde, um die Zusammenarbeit zur Verbesserung des Verständnisses von Zucker auf molekularer Ebene zu fördern. Im Rahmen dieses Projekts wurden „alternative“ Interaktionsmethoden entwickelt, um zu untersuchen, wie effizient und schnell wir (in der Zukunft) damit umgehen können. Mit einer Kombination von Gaze- und Pinch-Interaktionen können XR-Interface-Elemente mit dem Auge ausgewählt und mit unseren Fingern berührt werden. Elemente in dieser Ebene sind in einem Netzwerk synchronisiert. Diese Synchronisation ermöglicht es, XR-Ebenen gemeinsam zu erleben.

ㅤDiese Masterarbeit hat folgende Fragen untersucht: „Welche kognitiven Aspekte sind bei der Konzeption von XR-Umgebungen zu berücksichtigen?“, „Welche Design-Prinzipien könnten hilfreich sein, um solche Umgebungen effektiv zu gestalten?“, und „Wie könnte ein didaktisches Szenario in unserer Zukunft aussehen, in diesem Fall ein Beispiel aus dem Bereich der Chemie?“

__ ‎ ‎ ‎ ‎

X V G A R (sugar) - is an XR interface prototype developed for the HoloLens 2, designed to promote collaboration to enhance understanding of sugar at a molecular level. As part of this project, „alternative“ interaction methods were developed to investigate how efficiently and quickly we can handle them in the future. With a combination of gaze and pinch interactions, XR interface elements can be selected with the eye and touched with our fingers. Elements in this level are synchronized in a network. This synchronization allows us to experience XR scenes collaboratively.

ㅤThis master's thesis investigated questions such as: „What cognitive aspects should be considered when designing XR environments?“, „Can specific design principles aid in effectively creating these environments?“, and „In our Future – How can a didactic scenario, especially in the field of chemistry, be conceptualized with XR-technology?” ‎ ‎ 

ㅤ

Impressionen

__ ‎ ‎ ‎ ‎

ㅤ

Яeflexion

__ ‎ ‎ ‎ ‎

Während der gesamten Entwicklung dieses Projekts konnte ich nicht nur mein technisches Wissen und meine Fachkenntnisse vertiefen, sondern auch wertvolle Einblicke in die Herausforderungen und Potenziale der Extended Reality (XR) gewinnen. Ein wichtiger Aspekt, den ich berücksichtigen musste, waren die kognitiven Aspekte beim Gestalten des Prototypen. Ich habe gelernt, wie wichtig es ist, die menschlichen Wahrnehmungsfähigkeiten bei der Gestaltung von XR-Szenarien zu berücksichtigen. Das beinhaltet nicht nur schöne visuelle Grafiken zu gestalten, sondern dass auch auditive und haptische Wahrnehmung genau so wichtig sind, um ein intuitives und ansprechendes Nutzer_innenerlebnis zu schaffen. Es ist meiner Meinung nach auch sehr wichtig, die kognitive Belastung der Nutzer_innen im Blick zu behalten, um sicherzustellen, dass die Menge an Informationen und Interaktionen nicht zu überfordernd sind.

ㅤDie Arbeit mit verschiedenen Softwarelösungen und Plattformen war eine interessante Erfahrung. Sie erforderte Anpassungsfähigkeit und eine hohe Stressresistenz, da jedes Tool seine eigenen Anforderungen stellt. Ein Beispiel dafür ist die Synchronisation der einzelnen Hologramme in einem Photon Unity Netzwerk (PUN) in Kombination mit der Entwicklung für eine Microsoft-Plattform. Die Feedbacks aber zum Prototypen haben mir klar gemacht, wie wichtig es ist, Tests mit Nutzer_innen durchzuführen um das Produkt immer und immer weiter verbessern zu können. 

ㅤInsgesamt war dieses Projekt eine anstrengende, aber auch sehr lehrreiche Reise. Von schlaflosen Nächten und tiefster Freude, wenn ein Programm so funktioniert hat, wie man es sich vorgestellt hat, war alles dabei. Es hat mir auf jeden Fall geholfen, meine technischen Fähigkeiten und mein Verständnis für diese XR-Technologien zu verbessern. Außerdem konnte ich meine Fähigkeiten im Projektmanagement verbessern, ein Verständnis für die Gestaltung von Interaktionen im digitalen Raum entwickeln und mein Wissen über nutzer_innenzentriertes Design ausbauen.

ㅤ

X V G A R (sugar)

__ ‎ ‎ ‎ ‎

__ ‎ ‎ ‎ ‎

🥽 [microsoft.com/de-de/hololens]
🐱 [github.com/SciSharp/LLamaSharp]
🤗 [huggingface.co/gestaltungsgeschick/ggsharp]
🤖 model: mistral-7b-instruct-v0.1.Q5_K_M_ggsharp.gguf