Der Kurs „Algorithmic Design & Interaction: From Rules to Creative Systems“ behandelte wie Gestaltung durch Regeln, Systeme und Interaktion entstehen kann. Im Fokus standen generative Prozesse, bei denen sich visuelle und räumliche Strukturen durch Einflüsse wie Licht, Berührung oder Bewegung dynamisch verändern. Den praktischen Einstieg bildeten Grundlagen des Physical Computing, darunter die Arbeit mit Breadboards, Sensoren, Arduino, LEDs und einfachen Löttechniken. Diese dienten dazu, ein Verständnis für physische Schnittstellen und deren Verbindung zu digitalen Systemen zu entwickeln. Der zentrale Schwerpunkt des Kurses lag jedoch auf der Arbeit mit TouchDesigner. In einem eigenständig entwickelten Projekt wurden interaktive, visuelle Systeme gestaltet, die in Echtzeit auf verschiedene Inputs reagieren. Ergänzend kamen Tools wie VS Code, GitHub Copilot und weitere Anwendungen für generative Gestaltung zum Einsatz.
Motivation
Meine Motivation für die Teilnahme am Kurs lag vor allem in meinem langjährigen Interesse an TouchDesigner. Ich hatte das Programm seit etwa zwei Jahren auf meinem Computer, habe mich aber nie wirklich aktiv damit beschäftigt. Stattdessen beschränkte sich mein Zugang hauptsächlich auf das Konsumieren von Inhalten. Ich habe etliche Videos und Tutorials gesehen, das Programm selbst aber kaum praktisch ausprobiert. Die Vielzahl an Möglichkeiten sowie fehlende Zeit und Prokrastination haben mich davon abgehalten, einen eigenen Einstieg zu finden.
Der Kurs hat mir geholfen, diese Hemmschwelle zu überwinden und mich endlich praktisch mit dem Programm auseinanderzusetzen.
Einführung und Grundlagen
Arduino & physical computing
Zu Beginn des Kurses hatte ich keinerlei Vorkenntnisse im Bereich Arduino oder Physical Computing. Der Einstieg diente daher vor allem dazu, ein grundlegendes Verständnis für die technischen Zusammenhänge zu entwickeln. Im Mittelpunkt standen dabei Fragen wie, wie ein Stromkreislauf funktioniert, wie ein Mikrocontroller eingesetzt wird und wie Sensoren korrekt verkabelt und genutzt werden können. Auch gab es eine kurze Einführung ins Löten, nicht nur als Unterstützung für unsere Projekte, sonder als Voraussetzung für den Zugang zur Interface Werkstatt.
Ein zentraler Aspekt war das Auslesen und Verstehen von Sensordaten und wie physische Einflüsse wie Licht, Abstand oder Bewegung in messbare Werte übersetzt werden können und wie diese Werte aus dem Mikrocontroller in andere Anwendungen übertragen werden.
Besonders relevant wurde dies in der Verbindung mit TouchDesigner. Über den Serial Port konnten die Sensordaten direkt in die Software eingebunden und dort weiterverarbeitet werden. Dadurch entstand eine direkte Schnittstelle zwischen physischer Interaktion und digitaler Gestaltung.
Diese Grundlagen bildeten die Basis für das weitere Arbeiten im Kurs und ermöglichten es, physische und digitale Prozesse als zusammenhängendes System zu verstehen.
TouchDesigner
Die Einführung in TouchDesigner diente zunächst dazu, sich im Interface zurechtzufinden und ein grundlegendes Verständnis für die nodebasierte Arbeitsweise zu entwickeln. Dafür wurden uns vier bestehende .toe-Dateien zur Verfügung gestellt, anhand derer wir experimentieren und unterschiedliche Ansätze kennenlernen konnten, darunter mouse interaction, noise, particles und objects.
Dabei stand vor allem das Ausprobieren im Vordergrund. Parameter wie Farbe, Form und Animation wurden gezielt durch das Verändern von Variablen in unterschiedlichen Nodes angepasst, um ein Gefühl für die Dynamik der Systeme zu bekommen. Durch meine Vorkenntnisse fiel mir der Einstieg relativ leicht, sodass ich mich schnell im Node-System orientieren und bestehende Strukturen nicht nur anpassen, sondern teilweise auch gezielt umbauen konnte.
Gerade bei rechenintensiveren Setups, insbesondere im Bereich der Mausinteraktion und Partikelsysteme, wurde jedoch deutlich, dass mein älterer Intel Mac an seine Grenzen stößt. Diese Erfahrung hat meine ohnehin geplante Entscheidung bestärkt, auf ein leistungsfähigeres System umzusteigen.
Parallel dazu habe ich mir selbst das Ziel gesetzt, mich mit dem MediaPipe-Plugin auseinanderzusetzen, insbesondere im Bereich Hand- und Gesture-Tracking. Dieses habe ich bereits früh in meine Experimente integriert. Zusätzlich habe ich mithilfe von KI ein eigenes kleines Tool entwickelt, das beim Speichern automatisch ein Bild der aktuellen Visuals exportiert. Dadurch konnte ich verschiedene Iterationen besser dokumentieren und vergleichen.
01 / Recherche & Idee
Zu Beginn der Konzeptphase hatte ich mehrere unterschiedliche Ideen, die sich zunächst vor allem um das Thema Licht und dessen Einfluss auf digitale Szenen drehten. Eine erste Überlegung war, mit einer physischen Taschenlampe zu arbeiten, die selbst kein echtes Licht abgibt, sondern ausschließlich eine digitale Szene beeinflusst.
Diese Idee habe ich jedoch schnell wieder fallen gelassen, nachdem ich auf ein Projekt von Six N. Five gestoßen bin, das mich deutlich stärker angesprochen hat. Die Kombination aus physischem Objekt und einer darauf reagierenden fluid simulation hat mich komplett fasziniert und nicht mehr losgelassen. Ein physische Hindernis welches eine dynamische, fließende Bewegung im digitalen Raum beeinflusst.
Ich wollte die Idee stärker in Richtung Interaktion weiterentwickeln. Daraus entstand der Ansatz, eine Fluid Simulation auf den Boden zu projizieren, die durch physische Steine beeinflusst wird. Diese sollten von Besucher*innen bewegt werden können und so direkt den digitalen Fluss verändern.
02 / Prototyp & Umsetzung
Depth Map Kamera
Ein Teil der Umsetzung bestand darin, eine eigene Depth Map Kamera auf Basis von zwei Webcams zu entwickeln. Einerseits war das eine bewusst gesetzte Herausforderung, andererseits auch der Versuch, eine kostengünstige, offene und plattformunabhängige Lösung zu finden, die ohne spezialisierte Hardware wie eine Kinect auskommt. Die beiden verwendeten Kameras waren dabei bewusst günstig gewählt, um zu testen, wie weit sich mit einfachen Mitteln und Open-Source-Tools eine funktionierende Lösung umsetzen lässt. Ergänzt wurden sie durch einfache, selbst entworfene 3D-gedruckte Halterungen.
Umsetzung
Grundlage des Ansatzes war das Prinzip der Stereo Vision, bei dem aus zwei leicht versetzten Kamerabildern Tiefeninformationen berechnet werden. Für die Umsetzung habe ich mit OpenCV gearbeitet und mich an bestehenden Open-Source-Projekten orientiert. Der offene Charakter dieser Tools und Ressourcen spielte dabei eine wichtige Rolle, da er es ermöglicht hat, auf bestehendes Wissen aufzubauen und die einzelnen Schritte nachvollziehbar anzupassen.
Ein wichtiger Bestandteil war die Kalibrierung der Kameras. Dafür mussten beide Kameras in einem festen Abstand zueinander montiert werden, was ich über eine einfache, verstellbare Halterung gelöst habe. Zusätzlich wurden Testbilder mit einem Schachbrettmuster aufgenommen, um die Kamerabilder auszurichten und die Tiefenberechnung zu ermöglichen.
Prototyp
Ein grundlegender Prototyp konnte zwar umgesetzt werden, jedoch zeigte sich schnell, dass die Ergebnisse für den geplanten Einsatz nicht ausreichend stabil waren. Die berechnete Tiefe war häufig ungenau und das Bild insgesamt sehr anfällig für Störungen. Das größte Problem stellte jedoch die Performance dar. Mit etwa 10 Frames pro Sekunde war das System deutlich zu langsam, um eine flüssige und reaktive Interaktion zu ermöglichen.
Aufgrund dieser Einschränkungen blieb es bei einem einfachen, funktionalen Prototyp mit einer minimalen, 3D-gedruckten Halterung. Eine weiterführende technische Ausarbeitung wurde im Rahmen des Projekts nicht verfolgt. Dennoch habe ich erste Mockups für ein mögliches finales Gehäuse erstellt, um zu zeigen, wie das System in einer ausgearbeiteten Form aussehen könnte.
TouchDesigner - Fluid Simulation
Die Entwicklung der Fluid Simulation in TouchDesigner entstand aus einer Kombination verschiedener Tutorials und eigener Experimente. Supermarket Salad, Joseph Peltz, sarv und paketa12 dienten dabei als inspiration und Ausgangspunkt, wurden jedoch nicht einfach übernommen, sondern im Prozess kontinuierlich angepasst und weiterentwickelt.
Technisch funktioniert die Arbeit basierend auf einem Feedback-Loop, der über verschiedene Parameter gesteuert wird und so eine fließende, organische Bewegung erzeugt.
Die Interaktion wurde zunächst über Platzhalter umgesetzt. Dabei erfolgte der Input entweder über Maus beziehungsweise Trackpad oder über OSC-Daten vom iPad, die mithilfe der Zig Sim App als Touch coordianten übertragen werden. Die Eingaben wurden dabei als kreisförmige Einflüsse interpretiert, die stellvertretend für die späteren physischen Steine stehen.
Die drei Inputs beeinflussen aktuell mehrere Parameter. Sie steuern einen Low-Pass-Filter, der zwischen Musik und Unterwassergeräuschen überblendet, sowie die Flussrichtung und die Farbsättigung der Simulation.
Der Arbeitsprozess war stark von Trial and Error geprägt. Statt einem klar linearen Aufbau entstand die Simulation durch kontinuierliches Ausprobieren, Verwerfen und Weiterentwickeln. Insgesamt sind dabei 23 Iterationen entstanden, in denen Aspekte wie Bewegung, Farbgebung, Interaktivität und Sound schrittweise angepasst wurden.
Mit dem aktuellen Stand bin ich visuell sehr zufrieden. Die Simulation wirkt stimmig und reagiert überzeugend auf Input.
Insgesamt nähert sich der aktuelle Prototyp bereits stark der ursprünglichen Idee an, auch wenn zentrale Elemente der physischen Interaktion noch ergänzt werden müssen.
03 / Herausforderung & Lösung
Eine der größten Herausforderungen im Projekt lag in der technischen Umsetzung der Interaktion. Der Versuch, eine eigene Depth Map Kamera auf Basis von zwei Webcams zu entwickeln, hat zwar grundsätzlich funktioniert, erwies sich jedoch als zu instabil und ungenau für den geplanten Einsatz. Besonders die geringe Performance und die inkonsistente Tiefenerkennung machten eine zuverlässige Nutzung in einer interaktiven Installation nicht möglich. Statt weiter Zeit in die Optimierung zu investieren, habe ich mich bewusst dazu entschieden, diesen Ansatz nicht weiterzuverfolgen und mich stärker auf die visuelle und gestalterische Ausarbeitung innerhalb von TouchDesigner zu konzentrieren.
Auch innerhalb von TouchDesigner lag die Herausforderung weniger im technischen Aufbau als in der Kontrolle des Systems. Die Fluid Simulation basiert auf komplexen Wechselwirkungen verschiedener Parameter, wodurch das Verhalten schnell unvorhersehbar werden kann. Anstatt zu versuchen, das System vollständig zu kontrollieren, bestand der Lösungsansatz darin, mit diesen Eigenschaften zu arbeiten und über Iterationen ein Gefühl für das System zu entwickeln.
Der gesamte Arbeitsprozess war stark von Trial and Error geprägt. Die Vielzahl an Iterationen ermöglichte es, schrittweise zu besseren Ergebnissen zu gelangen und Entscheidungen auf Basis von visuellen und funktionalen Tests zu treffen. Dieser iterative Ansatz wurde damit weniger zu einem Problem als vielmehr zu einem zentralen Bestandteil der Arbeitsweise.
Rückblickend war vor allem die Entscheidung, sich auf die funktionierenden Teile des Projekts zu konzentrieren und andere Ansätze bewusst loszulassen, entscheidend für den Fortschritt. Dadurch konnte der Fokus klar auf die Entwicklung eines stimmigen visuellen und interaktiven Systems gelegt werden.
04 / Aktueller Stand
Zum Zeitpunkt Ende März hat sich der Stand des Projekts nicht weiter verändert. Aufgrund anderer Projekte in der vorlesungsfreien Zeit konnte ich die Arbeit daran nicht fortsetzen.
Die grundlegende Logik der Interaktion ist vorhanden und getestet. Visuell und technisch ist das System so weit ausgearbeitet, dass für die Implementierung der Steininteraktion nicht mehr viel fehlt. Der aktuelle Stand kann daher als funktionierender Prototyp im digitalen Kontext betrachtet werden.
Nicht umgesetzt ist bisher die physische Ebene der Installation. Das Tracking realer Objekte, insbesondere der Steine, sowie die Einbindung in eine räumliche Projektion sind noch offen. Damit befindet sich das Projekt aktuell in einem Zustand, der konzeptionell und visuell weit entwickelt ist, jedoch noch nicht vollständig in eine reale, ausstellungsfähige Installation überführt wurde.
05 / Ausblick & Weiterentwicklung
Technische Weiterentwicklung
Objekt-Tracking über YOLO
Wechsel von der Depth Map Kamera zu einem objektbasierten Ansatz
Training eines eigenen YOLO-Modells auf die verwendeten Steine
Ziel: einzelne Steine erkennen und unterscheiden, sodass jeder eine eigene Funktion übernehmen kann
Weiterverfolgung der Depth Map Kamera
Fortsetzung der Entwicklung unabhängig vom Hauptprojekt
ggf. Zusammenarbeit mit einer Person mit mehr Coding-Erfahrung
Gestalterische Weiterentwicklung
Ausarbeitung der Interaktion
weitere Verfeinerung der Funktionen der Steine
präzisere Definition, welche Parameter beeinflusst werden
stärkere Differenzierung zwischen visuellen und auditiven Effekte
integration von Abelton → Steine als MIDI Contoller
Räumliche Umsetzung
Test als Projektion im Raum
bisher nur Nutzung auf Bildschirmen
nächster Schritt: Umsetzung mit Projektor
Ziel: Überprüfung von Wirkung und Funktion unter realen Bedingungen
Zielsetzung
Installationsreife bis zur Werkschau
Entwicklung hin zu einer funktionierenden, erlebbaren Installation
Fertigstellung bis zur Werkschau im Sommer
