plusinsight

Tag Archives: Mensch Maschine Schnittstelle

av@ar von Manfred Borsch

 ©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung

Wir stellen die Diplomarbeit von Manfred Borsch, videograph, mit dem Titel „av@ar“ vor. Sie entstand am Institut Für Musik Und Medien. Herr Borsch hat nach der ersten Sicht freundlicherweise in einem online Interview Hintergrundfragen beantwortet. Mit diesem Wissen steigt der Genuss am Werk. es ist poetisch und hintergründig. Hintergründig weil die Interaktion sowohl aktiv als auch inhaltlich erarbeitet wird. Wer nicht genau hinschaut kann die Tiefe des Werks übersehen. Und das wäre schade.

UD: „Wie wird die Gestenerkennung gemacht? Haben sie Kinects eingesetzt? Wird Mimik abgenommen? Wenn ja, wie haben sie das technisch gelöst?“

MB: Die Gestenerkennung ist wie von Ihnen richtig vermutet mit einer Kinect, OpenNI mit NITE Middleware und der Programmierungsumgebung Max/MSP/Jiitter realisiert worden. Die Mimik wird nicht durch die Kamera aufgenommen, trägt jedoch thematisch zum geschlossenen Kreislauf der Installation bei.
Als Avatar wurde ein Mensch (und eben nicht eine digitale Form, wie beispielsweise eine Pixelansammlungen) gewählt, da durch Spiegelneuronen die Bindung zwischen BesucherIn und Abbild erhöht wird. Hierzu zählt auch das (teils unbewusste) Nachahmen von Emotionen mit der Gesichtsmuskulatur. Da alle Auswirkungen des Handelns in der Installation erforscht werden sollen, es also keine Spielanleitung o.ä. gibt, ist den InterakteurInnen zu Beginn nicht bekannt, ob sie auch mit ihrer Mimik einen Einfluss auf das Geschehen haben.
Diese Abhängigkeiten können im geschlossenen Kreislauf erkundet werden, was sich auf die Wechselseitigkeit von Körper (Interface) und Emotionen (audiovisuelle Reaktionen) gründet.
Bekannt ist die Richtung, dass Emotionen erlebt werden und sich daraufhin das Körperliche verändert, beispielsweise in der Gesichtsmuskulatur, die sich zu einem Lachen hin verzieht. Dies beschreibt beispielsweise Paul Ekman mit dem Facial Action Coding System. Andersherum zeigt die Kognitionswissenschaft im Forschungszweig Embodiment, dass Gefühle auch nach der körperlichen Regung erzeugt werden können. Ein bekanntest Beispiel hierzu ist der quer in den Mund genommene Bleistift, der zur Anspannung von Muskeln im Gesicht führt, die eigentlich zum Lächeln benutzt werden. Forschungen haben ergeben, dass ein solcher, emotional unbewusster, äußerer Einfluss zu deutlich positiveren Bewertungen von Situationen führt, als bei der neutralen Vergleichsgruppe.

 ©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung 

Generell steht in der Installation die Frage der Kontrolle, der Auswirkung, im Mittelpunkt. Was kann ich direkt kontrollieren? Wo erlebe ich Kontrollverlust? (zufällige Fehler zur Kontrollminderung sind vorhanden.) Und in wieweit werde ich kontrolliert/geleitet, also wonach richte ich mein Handeln aus. Diese durch die Überlagerung der Rezeptions- und Handlungsebene sehr individuelle Erfahrung kann zur Reflexion über eigene Handlungsziele führen. Beispielsweise kann ich erlernte Körperhaltungen wiederholen, um dem umherstehenden Publikum zu zeigen, dass ich Kontrolle ausübe, ich kann mich auf die Suche nach neuen Bildern und Tönen machen, ich kann die Synchronität der Bilder und der Musik in den Mittelpunkt stellen (VJing) oder mich zu der Musik bewegen, die ich durch meine Bewegung selber schaffe.

UD: Wie viele Reaktionen des medialen Ichs wurden vorproduziert?

MB: Es gibt 16 Einzelemotionen, die in vier Gruppen, den sogenannten Basisemotionen unterteilt sind. Mehr dazu unten… 🙂
Mit dem Überbegriff der Basisemotion versehen, werden die Emotionen wie folgt gruppiert:
Angst, Neid, Scham, Trauer: negative Emotion, passives Verhalten
Freude, Bewunderung, Stolz, Glück: positive Emotion, aktives Verhalten
Liebe, Mitleid, Dankbarkeit, Hoffnung: positive Emotion, passives Verhalten
Hass, Verachtung, Ärger, Verzweiflung: negative Emotion, aktives Verhalten.

 ©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung 

UD: Gibt es eine Relation zwischen den Einstellungsgrössen und den Besucheraktivitäten. Wann wird eine Detail oder Gross Einstellung genommen wann Halbtotale oder Totale?

MB: Es gibt eine mögliche Raum- und eine Körpererfahrung.
Der Raum kann in seiner Tiefe (Abstand der AkteurInnen zur Leinwand) erforscht werden, worauf sich die mediale Reflexion nach der Proxemik (E.T. Hall) in vier Stufen anpasst. Dies ist eingeteilt in die öffentliche Distanz (> 3m), gesellschaftlich-wirtschaftliche Distanz (1,5-3m), persönliche Distanz (0,5-1,5m) und die intime Distanz (< 0,5m) und wird so auch visuell Abgebildet (tief im Raum, als Spiegelsituation, Portraitdarstellung und Detailaufnahme. Je kleiner der Abstand, desto dezenter die dargestellte Emotion). Der Raum kann auch im Volumen erfahren werden, ausschlaggebend hierfür ist die durchschnittliche Höhe beider Hände. Hier können die vier Basisemotionen angesprochen werden. (Bsp.: Befinden sich beide Hände über der Kopfhöhe, wird die Basisemotion Angst angesprochen. Befindet sich der Akteur sehr nah vor der Leinwand, erscheint die Detailaufnahme – intime Distanz – des sich aufreißenden Auges). So ist der Raum mit vier Basisemtionen komplett abgedeckt.
Darüber hinaus können die weiteren 12 (Sekundär-)Emotionen durch bestimmte Körperhaltungen angetriggert werden. Hierbei muss erforscht werden, welche Körperhaltung zu welcher audiovisuellen Reaktion führt. (Bsp.: Beide Hände auf die Hüften gestützt, Oberkörper aufrecht -> Emotion Stolz). Auch diese Sekundäremotionen sind auf den vier verschiedenen Distanzebenen darstellbar, sodass es insgesamt (16×4) 64 vorproduzierte visuelle Reaktionen gibt.

©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung

UD: Reagiert die Musik auch?

MB: Die Musik reagiert ebenso auf das Handeln der AkteurInnen, entzieht sich jedoch zum Teil durch Statistiken. Die Komposition unterteilt sich in vier Ebenen, die stets zusammen erklingen, und sich auf die vier deutschen Begriffe zur Emotion gründen. (Affekt, Gefühl, Emotion und Stimmung: je kürzer die Emotion, desto Objektbezogener. Ein Affekt (sehr kurz) ist somit sehr objektbezogen.) Die oberste musikalische Ebene (Affekt-Ebene) ist direkt an das Bild gekoppelt und kann zu jedem Zeitpunkt angespielt werden. Sie verton sehr genau alle 64 dargestellten Bilder.  Die darunter liegende Gefühlsebene ist doppelt so lang (zwei Takte), berechnet sich aus dem Durchschnitt der zuvor angetriggerten Affekten und stellt die 16 Emotionen dar. Ebene drei (Emotionsebene) ist wiederum länger (vier Takte), wird aus dem Durchschnitt der angespielten Affekten berechnet und vertont die vier Emotionsgruppen (s.o.). Die längste Ebene (Stimmungsebene) unterscheidet nur noch zwischen positiv-annähernd und negativ-ablehnend (der emotionalen Grundtendenzen Neugeborener nach) und ergibt sich aus den Handlungen der letzten acht Takten (ca. 26 Sekunden).
Die musikalische Komposition (Tonart, Rhythmus, Melodie,..) bezieht sich hierbei auf die Affektenlehre des Barock, ein Regelwerk, dass sehr klare Vorgaben zur Vertonung von Emotionen vorsah, sich also sehr gut in den Grundcharakter der Installation einfügt, in der etwas sehr Menschliches wie Emotionen radikal in Gruppen einsortiert, systematisiert und damit abrufbar gemacht wird.

Ich bedanke mich für die inhaltsvollen und Erkenntnis unterstützenden Antworten!

EyeHarp @ New Interfaces for Musical Expression 2012(NIME)

© EyeHarp_ a new Interface for Musical Expression_2012_ Zacharias Vamvakousis

Die Bewegung der Iris wird abgenommen und auf eine Musiklibrary übertragen. Mit anderen Worten, die Bewegung der Iris komponiert Musik. Der Video zeigt die Besucher auf der NIME 2012 Konferenz in Detroit. Für die Programmierung wurde  ITU Gazetracker Open Source Eye Tracking Software verwendet. , Athens, Greece, PhD Kandidat am MTG, UPF, Barcelona hat diese Software getriebene Musiksteuerung entwickelt. Supervisor: Dr. Rafael Ramirez.

Mehr unter http://www.youtube.com/watch?v=d8OanafChKs


© EyeHarp_ a new Interface for Musical Expression_2012_ Zacharias Vamvakousis


© EyeHarp_ a new Interface for Musical Expression_2012_ Zacharias Vamvakousis

Das Eyeharp Projekt will Menschen mit Lähmungen durch Amyotrophic Lateral Sclerosis eine Steuerung für Musik ermöglichen. Das Instrument kann alternativ auch durch jeden anderen Controller oder Device beitreiben werden. Am einfachsten durch eine Maus. Es kann ein Musikinstrument für Menschen mit unterschiedlichen Behinderungen sein.  Eyeharp wird in openframeworks v0.6 implementiert.


© EyeHarp_ a new Interface for Musical Expression_2012_ Zacharias Vamvakousis


© EyeHarp_ a new Interface for Musical Expression_2012_ Zacharias Vamvakousis

 Beitrag von Ursula Drees

INDI | VIRTUALITY_Studioproduktion Event Media, Hochschule der Medien

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Idee_Hintergründige Überlegungen

Interaktivität nimmt Einzug in unser aller Leben. Nicht nur in der Freizeit oder im Beruf, sondern verstärkt auch in Lernumgebungen. Lernen findet auf unterschiedlichsten Ebenen statt. Wir gehen davon aus, dass Schulen, Hochschulen und Universitäten Spielumgebungen in die Lehre einbeziehen.  Wir interessieren uns für das Thema Lernintensität und Erlebnisräume mit analogen und digitalen Schnittstellen.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Übergreifende Fragestellungen:
Welche Schnittstellen eignen sich für welche Lernkategorie (higher education und lower education)
Wie wird die innere Einbindung (Immersion) des Users durch Schnittstellen gesteuert?
Wie hoch ist der Erlebnisaspekt im Vergleich zum Erkenntniseffekt?
Diese drei grundlegenden Fragen motivierten die Konzeption und den Bau des interaktiven Erlebnisraums.  In dem Erlebnisraum mit dem Namen INDI|VIRTUALITY werden fünf verschiedene Spiele mit unterschiedlichen Schnittstellen, Aktivitätsanforderungen und räumlichen Umgebungen vorgestellt.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Voraussetzungen_Grundlage eines jeden Spiels ist das sofortige Verständnis der Spielinhalte und die leichte Bedienbarkeit. Ein weiterer grundlegender Aspekt sind die unterschiedlichen architektonischen Spielumgebungen der zu untersuchenden Bereiche, sowie die jeweiligen Schnittstellen, mit der die Spiele gesteuert und bedient werden.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Der gestaltete Raum wird mit einer Time Lapse Kamera ausgestattet. Sie zeichnet die Bewegungen und Aktivitäten des Publikums auf. Das Publikum stellt einen Querschnitt der Bevölkerung dar. Die Ergebnisse werden ausgewertet und analysiert.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Inhalt der Installation_Die Idee nennt sich INDI|VIRTUALITY und lässt die Besucher als aktive Spieler ihr Ich erspielen. Der Besucher erspielt an verschiedenen Stationen seine persönlichen Eigenschaften. Die Spieler können sich durch geistige und körperliche Schnelligkeit beweisen. Mit Spaß, Lust und Freude formt jeder sein eigenes Profil. Die Einteilung des Spielverhaltens erfolgt nach dem Psychologiemodell „The Big 5“. Zunächst spielen die Besucher und werden anschließend in einen Ergebnisraum geleitet, in dem ihnen ihr Ergebnis an multimedialen Stationen präsentiert wird. Die Teilnehmer sehen, hören und erleben sich selbst und lernen ihre erweiterte Individualität kennen. Der Slogan für die Installation lautet deshalb: INDI|VIRTUALITY – Erspiele Dein Ich.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Verantwortliche Kreative_12 Studierende der Studiengänge Audiovisuelle Medien und Medienwirtschaft der Hochschule der Medien in Stuttgart realisieren in diesem interdisziplinären Projekt auf 120 qm einen interaktiven Erlebnisraum. Jeder einzelne Student bringt seinen Kompetenzbereich in das Projekt ein – Projektmanagement, Programmierung und Mediensteuerung, Konzeption, Szenografie, Grafik, Video, Ton, Licht und Bühne.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Gesellschaftlicher Nutzen_Durch die Einbeziehung digitaler Medien, Oberflächen, Schnittstellen, Bedienelementen und Raumaufteilungen verändern sich Lernumgebungen,  Lernverständnis und Auffassungsgabe. Einerseits werden Überinformation, unüberschaubare Recherchequellen und ausufernde Wissensspeicher beklagt. Andererseits erkennt der Lernende die Möglichkeiten des kollaborativen, weltweiten, raum-  und zeitunabhängigen Austauschs. Nicht jeder Benutzer jedoch macht positive Erfahrungen mit selbstgesteuerten, interaktiven Lernumgebungen. Man will herausfinden wie der Benutzer, also der Mensch, spielt, wann er spielt, wie begeistert er spielt, wie viel Körpereinsatz er zeigt, welche Schnittstellen er akzeptiert und bei welchen Schnittstellen er zögert. In dem spielerischen Interaktionsumfeld werden fünf Lernumgebungen entwickelt in denen die Affinität des Besuchers für die Aufgaben beobachtet wird. Unterscheidungen werden durch die äußere Erscheinung und Lernumgebung getroffen.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Äußerer Erscheinung und Lernumgebungen:
Die Lern- bzw. Spielumgebungen unterscheiden sich durch ihre Darstellung im Raum selbst (Größe, Einsehbarkeit, Ein-  und Ausgang, Einbindung in den Gesamtraum).
Single Touch Table, bei dem das Eingabemedium mit dem Ausgabemedium übereinstimmt.
Single Touch Table, der als Eingabemedium dient. Dieses steuert Informationen auf drei Ausgabescreens, welche 1 Meter vom Eingabescreen entfernt sind.
Gestensteuerung durch zwei Kinect Kameras (Microsoft für die x-box Game Konsole). Der Besucher steuert Informationen durch körperlichen Einsatz.
Gestensteuerung durch eine modifizierte, der Spielumgebung angepassten WII Steuerung. Der Benutzer bedient ein stabähnliches Steuerobjekt.
Analoge Schnittstelle: Malen auf Leinwand mit Pinsel und Farbe

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Funktion/Interface/Benutzerführung/Gebrauchswert_Funktion Benutzerführung

In Hinblick auf e-Learning Environments sind funktionale, selbsterklärende und damit userfreundliche Interfaces von besonderer Bedeutung. Unsere Interaktivitätsforschung im medialen Erlebnisraum untersucht aus diesem Grund verschiedene Interaktionsschnittstellen im Gefüge: Raum – User – (objektbasierte) Schnittstelle. Dabei untersuchen wir konkret die Fragestellungen

Warum soll mit Systemen kommuniziert werden?
Welche Bedingungen sind notwendig, damit der User mit Systemen kommuniziert?
Wie privat oder öffentlich kann ein Spielraum sein, damit der Bediener mit einem System interagiert?

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Gebrauchswert_Die Entwicklung des Designs unseres Erlebnisraums verlief Hand in Hand mit der Konzeption der Benutzerführung.

Die modularen Bauelemente dienen einerseits als Designelement, andererseits übernehmen sie Funktionen wie die Wegeleitung durch farbliche, steuerbare Beleuchtung. Verschiedene Farben an den Stationen vereinfachen die Spielzuordnung und damit die Orientierung im Raum. Alle Objekte sind in der Grundfarbe weiß und bieten die Möglichkeit der Bespielung. Je nach Stationsanforderung dienen sie als Informationsquelle bzw. Projektionsleinwand. Mit Hilfe von Videomapping wird einerseits die räumliche Ästhetik erweitert, andererseits werden Anweisungen oder Previews eines Spielablaufs vermittelt.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Berücksichtigung von Nachhaltigkeitsaspekten_Produktionsaspekte

Wir berücksichtigen die Kosten, den leichten Auf-und Abbau, die Wiederverwertung der Elemente, die Einlagerung auf geringem Raum, sowie den Einsatz von ökologischen Produkten. Die Installation besteht zu weiten Teilen aus modularen Stecksystemen der Firma Burkhardt Leitner. Diese sind variabel in Größe, Menge, Darstellung im Raum und können zudem als Leuchtkörper verwendet werden. Sie lassen sich auf kleinsten Raum lagern, sind vielfältig einsetzbar und müssen nach dem Einsatz nicht entsorgt werden. Die Farben werden mit Licht gestaltet, welches an unterschiedlichste Raumgrößen und Ausstellungsflächen anpassbar ist. Fair Trade Produkte werden verwendet.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Benutzerführung und Interaktionsaspekte_Durch die Gegenüberstellung von analogen und digitalen Schnittstellen werden Einsatzkriterien für zukünftige raumübergreifende Erlebnis- und e-Learning Environments untersucht.

Technische Realisierbarkeit & Technisch-funktionale Innovation_Realisierbarkeit. Alle eingesetzten Techniken sind marktüblich, wenn auch auf die speziellen Anforderungen angepasst.

Eingesetzte Software:; Final Cut Pro (Bewegtbild), Premiere Pro CS6 (Bewegtbild), Eyeon Fusion (Bewegtbild), Mad Mapper 3.0 (Bewegtbild), After Effects (Bewegtbild), Adobe Photoshop (Grafik), Adobe Illustrator (Grafik), Adobe InDesign (Grafik), Abelton (Ton), Reason (Ton), Vector Works (Bühnenplanung), Java (Programmierung), C++ (Programmierung), Processing (Programmierung), Cinder (Programmierung), Madrix NEO (Lichtansteuerung)

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Eingesetzte Hardware:, LED Wand, Single Touchdisplay, Touchdisplay, 40 Zoll, 16:9, Flachbildschirme, 35 Zoll, 16:9, Full HD LCD Bildschirme, 65 Zoll, 16:9, Wii-Remote-Controller, Kinect Kamera, 5 Sound Tube Soundduschen, American DJ Flat Par QA12X, American DJ 4 Stagepack, Mobilight, Ape Labs, Edirol Audio Interface, Genelec Boxen

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Innovation_Innovationen finden in folgenden Bereichen statt:

Ummantelung der WII Schnittstelle zur Übereinstimmung mit der Grafik sowie dem Look and Feel und dem Bewegungsablauf. Erweiterung des Spielfelds bei der Gestenerkennung. Nicht nur auf einer scharf umrissenen horizontalen Ebene kann der Besucher agieren, ein Vor- und Zurücktreten ist möglich. Die Kamera erkennt weiterhin die Bewegungen und ordnet sie korrekt ein.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

Wirtschaftliche Verwertbarkeit_Das in dieser interaktiven Rauminstallation geschaffene Testszenario darf als Prototyp für die verschiedenen Spiel-Environments verstanden werden. Diese können auf Präsentationen, Messen, Roadshows und anderen event-medialen Einsatzszenarien wie Oper, Schauspiel, Konzert verwendet werden. Sie lassen sich mit verschiedenen Inhalten in entsprechende Environments einbinden.

 © Hochschule der Medien, Studioproduktion Event Media, Stuttgart

 

ELECTRIC BIT, interactive installation von nyxvisual

 © nyxvisual.com

ELECTRIC BIT eine interaktive Installation, die im Mai in Paris aufgeführt wurde. Das  inhaltiche Konzept ist einfach und vor allem läd es zum Interagieren ein. Wie oft erleben wir ausgefallene Interaktionsschnittstellen, versteckt oder offen, die niemand verwenden will.

Unter Vimeo mehr

Vielleicht weil der Response nicht eindeutig genug ist, vielleicht weil man sich nicht zum Deppen machen will. Vielleicht weil man nur allein ist und niemand zum spielen oder zum teilen dabei ist. Es gibt viele Gründe, hier bei dieser Installation kann man davon ausgehen, dass die Besucher gerne spielen. Natürlich ist es reine Unterhaltung, eine leichte und spielerische Sache.

 © nyxvisual.com

Die Rückwand eines futuristischen Hippster Spots in Paris das “ l’Electric“, in der Mitte vom Parc des Expositions Porte de Versailles wurde zur lebenden Skulptur. Mit einer Kinekt, mit Quarz Composer und MadMapper werden die Bewegungen der Passanten getreckt und durch Pixel ersetzt. Und diese werden auf die Skulptur gemappt. Die wiederum besteht aus kleinen pyramidenhaften Grundmodulen, das Kunstwerk gemacht von Mathieu Lehanneur. Eine doppelte Funktion entsteht. Kunstwerk, Skulptur, Bewegung, Unterhaltung.

 © nyxvisual.com

 © nyxvisual.com

Ich danke Louis de Castro von  nyxvisual für den Tip. 

Production & Development

nyxvisual.com

Mit der Unterstützung von
madmapper.com/
modul8.ch/

Download the Quartz Composer rig:
nyxvisual.com/Download/Electricbit.zip

 Beitrag von Ursula Drees

Firewall von Aaron Sherwood


Firewall ist eine interaktive Medieninstallation die in Zusammenarbeit mit Mike Allison von Aaron Sherwood kreiiert wurde. Eine Spandexfolie, aufgespannt wie eine Leinwand verhält sich als sei es eine Tonmembran. Das Interface reagiert auf Dehnung. Besucher drücken auf die Folie und je nach Tiefe werden entsprechende Töne erzeugt. Eine berührungssensitive Tonmaschine.

Firewall from Aaron Sherwood on Vimeo.

Der Künstler liess sich von einem in Vorbereitung befindlichen Kunstwerk inspirieren wie er selbst sagt: „The original concept stems from a performance piece I’m currently developing as Purring Tiger (with Kiori Kawai) titled Mizalu, which will premiere in June 2013.“


In einer Szene drücken Tänzer in eine Spandex Wand und in diesem Fall sieht das Publikum was sich auf der anderen Seite abspielt. Mizalu behandelt nicht Musik, sondern behandelt den Tod. Die Spandexwand ist die Wand zwischen Leben und Tod. Man mag zusehen, deshalb ist das Publikum auf einer Seite, aber das Geschehen der anderen Seite ist nur wie in einer Platonischen Höhle erfahrbar.

Diese Spandexwand namens Firewall ist eine Arbeit, die eine ähnliche Technik verwendet. Denn Menschen mit Behinderung zum Beispiel können auf diese Weise Musik durch zwei Sinne erfahren. Nicht nur dass Bewegung und Druck visualisiert wird, auch durch selbst erzeugten Druck erfahren sie unmittelbar als Ton und natürlich Widerstand.

Firewall wurde mit Processing, MAX/MSP, Arduino und einer Kinect Kamera umgesetzt. Die Kinekt misst den durchschnittlichen Abstand von der Folie und dem Rahmen. Befindet sich die Folie im Ruhezustand, dann geschieht nichts. Wird sie aber eingedrückt, wird der Abstand gemessen und entsprechend reagiert das System. Ein MAX/MSP Algorithmus erlaubt es den Tönen Geschwindigkeiten zu ändern, sie werden langsamer oder schneller und gleichzeitig auch Lautstärken zu regeln, Töne werden lauter oder leiser. Alles abhängig von der Tiefe der elastischen Wand zum Rahmen. Ausserdem gibt es einen zweiten Musicmode, der eine aggressivere Tonfolge ermöglicht. Sie wird durch einen Schalter am Rahmen eingeleitet.
Das Usertesting in diesem Video veranschaulicht die Musikherstellung fast ein bisschen besser, als der Video, wo das Endergebnis präsentiert wird.

Firewall User Testing from Aaron Sherwood on Vimeo.

Firewall ist ein Musikgerät für Menschen ohne musikalische Erfahrung. Haptisch, visuell, Auditiv, Interaktiv.