Tag Archives: Augmented Media
………
Im Ars Electronica Center befindet sich die Ausstellung Device Art. Interfaceentwicklungen mit lustigem unterhaltsamen Potential. Urania ist eine Matraze auf dem Boden, Kissen und einer vielleicht 2x3m Projektionfläche überkopf. Dort sieht man den Himmel : blau, strahlend, himmelblau.
Wer sich hinlegt kann mit einem Plastikrohr, im Inneren eine bluetooth Maus zur Impulsübertragung an die Software, Wolken blasen. Wie Frau Holle. Langes Blasen und die Wolken werden gross, dick, weiss behäbig, kurzes Blasen: Schäfchen am Himmel. Die Übertragung findet sofort statt, kein Warten oder Fragen nach dem Effekt des Tuns. Da kommt man aus der Puste.
Photos von Ursula Drees auf der Ars Electronica
©Daniel Michelis
Es geht um ein interaktives Display im öffentlichen Raum. Einerseits beschäftigt sich das Display mit der Bewegung auf dem Bildschirm, andrerseits mit der Interaktion der Passanten. Bis hier ist alles wie immer. Auch der Fragenkatalog in diesem Zusammenhang ist bekannt: Machen interaktive Display im öffentlichen Raum Sinn? Können sie zu Werbezwecken eingesetzt werden? Werden sie vielleicht eher zu städtischen Punkten um anzuhalten und zu spielen? Ohne direkte Werbeaussage? Markieren sie vielleicht später wichtige Areale im Stadtbild? Anders gesagt: werden interaktive Grossdisplays eine weiter reichende Funktion als nur reine Aufmerksamkeitserreger sein? Werden sie vielleicht zu einem Sprachrohr für Gesellschaft, Politik, Bürgerbegehren oder Diskussionsschnittstellen? Mit dieser Installation wurde eine akademische Studie durchgeführt. Es soll die erste dieser Art sein. Wir haben sie der Universität von Anhalt zu verdanken. Umgesetzt hat die Installation die Universität der Künste, die Studie und Idee kam von Daniel Michels. Die Installation bietet unterschiedlichen Stadien der Einbindung an.
©Daniel Michelis
Progression: Wachstum von Blumen. Der Passant lässt mit Bewegung Blumen wachsen.
©Daniel Michelis
Flexibilität mit Bewegung schreiben.
©Daniel Michelis
Luminary: Lichtschweif hinterherziehen. Ein hübscher Effekt.
©Daniel Michelis
Aura: Lichtumrahmung der Silhouette, ein weiterer hübscher Effekt.
Wenn ich die Inhalte beurteile, das was der Passant tatsächlich hervorruft mit seiner Interaktion, wirkt die Installation wenig überraschend. Das bringt nicht zum Denken eher zum Spielen und lachen. Soll nicht schlecht sein, natürlich, aber ist das genug um Interaktion im rahm zu untersuchen? Wenn der Mensch nicht gefordert wird, nicht nur mit Bewegung dann nehme ich an, vergleicht er die Effekte, geniesst sie für den Moment, geht weiter und hat was neben einem recht Netten Erlebnis nichts mitgenommen. wie würde eine Studie ausfallen, wenn nicht nur Bewegung von Passanten untersucht wird, sondern auch der Inhalt? Wie würde gemessen? Verweildauer, allein oder zu mehreren, sinnenhaftes Tun? Schwer zu sagen. Das wird wohl noch kommen in den nächsten Jahren.
©Daniel Michelis
©TOR DAL
Der Israelische Designer Tor Dal hat eine Reihe von Gadgets gemacht, die mit Hilfe der social networks die nahe Zukunft voraussagen. Und dieses Wissen wird dann entsprechend in den persönlichen Tagesplan und -Ablauf eingebunden. Zu den Gedgets gehört witzigerweise das persönliche Horoskop, aber auch Wahrscheinlichkeitsberechnungen für den Besuchs des Fitnessstudios, Freundbesuche oder Einkaufen zu gehen. Oder sogar zur Stimmung der Partners bei der Rückkehr nach dem Arbeitstag. Das Konzept arbeitet zweigleisig. Es beginnt mit dem Downloaden einer App auf das Smartphone. Diese App durchforstet soziale Netzwerke nach Informationen, die den Betreiber in irgendeiner Art und Weise betreffen könnten. Ein Algorithmus ermittelt Regelmässigkeiten oder Verhaltensmuster und leitet die Vorhersage ab. Je mehr der Betreiber hinzufügt desto intelligenter kann die Applikation arbeiten. Dazu gehören natürlich auch Kalender, Kreditkarteninfos, Google, Apple, Facebook und was sonst noch so drin steckt.
„When it identifies a predictable action, a recommended response for solving the problem or enhancing the experience is calculated and presented,“ erklärt Dor Tal.
Der zweite Teil des Projekts wurde Pedictables (Vorhersagen) genannt. Zwei Devices, Geräte die die Daten dem Benutzer präsentieren. Das erste Gerät ist ein Pico Projector. Auf einem graphischen Zeitstrahl werden eine Anzahl von runden Aktivitätenkreise abbildet. Die Farben geben Auskunft über die zeitliche Einordnung. Passiert etwas sehr bald oder darf noch ein bisschen Zeit verstreichen. Rot bedeutet Aktion, Grün: easy going.
©TOR DAL
Wenn der Benutzer sich aus dem Haus begibt kann eine Handprojektion mit der Smartwatch diese Funktionen abbilden. Mit Gestensteuerung wird das Display kontrolliert.
„One interesting aspect of the interaction, similar to what happens in the Back to the Future films, is that the predictions continuously change as the user acts and reacts in present time,“ so Tal.
©TOR DAL
Das Projekt war Teil des Graduation Programms der Bezalel Academy of Arts and Design in Jerusalem. Es lief unter dem Titel FUTUR CONTROL. „From the movement of the stars to modern technology, man has searched for patterns that can indicate the imminent future,“ so Tal. „The biggest challenge of this project is to create the forecasting algorithms, but I believe this will happen sooner than expected.“
Beitrag von Ursula Drees
©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung
Wir stellen die Diplomarbeit von Manfred Borsch, videograph, mit dem Titel „av@ar“ vor. Sie entstand am Institut Für Musik Und Medien. Herr Borsch hat nach der ersten Sicht freundlicherweise in einem online Interview Hintergrundfragen beantwortet. Mit diesem Wissen steigt der Genuss am Werk. es ist poetisch und hintergründig. Hintergründig weil die Interaktion sowohl aktiv als auch inhaltlich erarbeitet wird. Wer nicht genau hinschaut kann die Tiefe des Werks übersehen. Und das wäre schade.
UD: „Wie wird die Gestenerkennung gemacht? Haben sie Kinects eingesetzt? Wird Mimik abgenommen? Wenn ja, wie haben sie das technisch gelöst?“
MB: Die Gestenerkennung ist wie von Ihnen richtig vermutet mit einer Kinect, OpenNI mit NITE Middleware und der Programmierungsumgebung Max/MSP/Jiitter realisiert worden. Die Mimik wird nicht durch die Kamera aufgenommen, trägt jedoch thematisch zum geschlossenen Kreislauf der Installation bei.
Als Avatar wurde ein Mensch (und eben nicht eine digitale Form, wie beispielsweise eine Pixelansammlungen) gewählt, da durch Spiegelneuronen die Bindung zwischen BesucherIn und Abbild erhöht wird. Hierzu zählt auch das (teils unbewusste) Nachahmen von Emotionen mit der Gesichtsmuskulatur. Da alle Auswirkungen des Handelns in der Installation erforscht werden sollen, es also keine Spielanleitung o.ä. gibt, ist den InterakteurInnen zu Beginn nicht bekannt, ob sie auch mit ihrer Mimik einen Einfluss auf das Geschehen haben.
Diese Abhängigkeiten können im geschlossenen Kreislauf erkundet werden, was sich auf die Wechselseitigkeit von Körper (Interface) und Emotionen (audiovisuelle Reaktionen) gründet.
Bekannt ist die Richtung, dass Emotionen erlebt werden und sich daraufhin das Körperliche verändert, beispielsweise in der Gesichtsmuskulatur, die sich zu einem Lachen hin verzieht. Dies beschreibt beispielsweise Paul Ekman mit dem Facial Action Coding System. Andersherum zeigt die Kognitionswissenschaft im Forschungszweig Embodiment, dass Gefühle auch nach der körperlichen Regung erzeugt werden können. Ein bekanntest Beispiel hierzu ist der quer in den Mund genommene Bleistift, der zur Anspannung von Muskeln im Gesicht führt, die eigentlich zum Lächeln benutzt werden. Forschungen haben ergeben, dass ein solcher, emotional unbewusster, äußerer Einfluss zu deutlich positiveren Bewertungen von Situationen führt, als bei der neutralen Vergleichsgruppe.
©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung
Generell steht in der Installation die Frage der Kontrolle, der Auswirkung, im Mittelpunkt. Was kann ich direkt kontrollieren? Wo erlebe ich Kontrollverlust? (zufällige Fehler zur Kontrollminderung sind vorhanden.) Und in wieweit werde ich kontrolliert/geleitet, also wonach richte ich mein Handeln aus. Diese durch die Überlagerung der Rezeptions- und Handlungsebene sehr individuelle Erfahrung kann zur Reflexion über eigene Handlungsziele führen. Beispielsweise kann ich erlernte Körperhaltungen wiederholen, um dem umherstehenden Publikum zu zeigen, dass ich Kontrolle ausübe, ich kann mich auf die Suche nach neuen Bildern und Tönen machen, ich kann die Synchronität der Bilder und der Musik in den Mittelpunkt stellen (VJing) oder mich zu der Musik bewegen, die ich durch meine Bewegung selber schaffe.
UD: Wie viele Reaktionen des medialen Ichs wurden vorproduziert?
MB: Es gibt 16 Einzelemotionen, die in vier Gruppen, den sogenannten Basisemotionen unterteilt sind. Mehr dazu unten… 🙂
Mit dem Überbegriff der Basisemotion versehen, werden die Emotionen wie folgt gruppiert:
Angst, Neid, Scham, Trauer: negative Emotion, passives Verhalten
Freude, Bewunderung, Stolz, Glück: positive Emotion, aktives Verhalten
Liebe, Mitleid, Dankbarkeit, Hoffnung: positive Emotion, passives Verhalten
Hass, Verachtung, Ärger, Verzweiflung: negative Emotion, aktives Verhalten.
©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung
UD: Gibt es eine Relation zwischen den Einstellungsgrössen und den Besucheraktivitäten. Wann wird eine Detail oder Gross Einstellung genommen wann Halbtotale oder Totale?
MB: Es gibt eine mögliche Raum- und eine Körpererfahrung.
Der Raum kann in seiner Tiefe (Abstand der AkteurInnen zur Leinwand) erforscht werden, worauf sich die mediale Reflexion nach der Proxemik (E.T. Hall) in vier Stufen anpasst. Dies ist eingeteilt in die öffentliche Distanz (> 3m), gesellschaftlich-wirtschaftliche Distanz (1,5-3m), persönliche Distanz (0,5-1,5m) und die intime Distanz (< 0,5m) und wird so auch visuell Abgebildet (tief im Raum, als Spiegelsituation, Portraitdarstellung und Detailaufnahme. Je kleiner der Abstand, desto dezenter die dargestellte Emotion). Der Raum kann auch im Volumen erfahren werden, ausschlaggebend hierfür ist die durchschnittliche Höhe beider Hände. Hier können die vier Basisemotionen angesprochen werden. (Bsp.: Befinden sich beide Hände über der Kopfhöhe, wird die Basisemotion Angst angesprochen. Befindet sich der Akteur sehr nah vor der Leinwand, erscheint die Detailaufnahme – intime Distanz – des sich aufreißenden Auges). So ist der Raum mit vier Basisemtionen komplett abgedeckt.
Darüber hinaus können die weiteren 12 (Sekundär-)Emotionen durch bestimmte Körperhaltungen angetriggert werden. Hierbei muss erforscht werden, welche Körperhaltung zu welcher audiovisuellen Reaktion führt. (Bsp.: Beide Hände auf die Hüften gestützt, Oberkörper aufrecht -> Emotion Stolz). Auch diese Sekundäremotionen sind auf den vier verschiedenen Distanzebenen darstellbar, sodass es insgesamt (16×4) 64 vorproduzierte visuelle Reaktionen gibt.
©av@ar von Manfred Borsch, interaktive Installation mit Gestenerkennung
UD: Reagiert die Musik auch?
MB: Die Musik reagiert ebenso auf das Handeln der AkteurInnen, entzieht sich jedoch zum Teil durch Statistiken. Die Komposition unterteilt sich in vier Ebenen, die stets zusammen erklingen, und sich auf die vier deutschen Begriffe zur Emotion gründen. (Affekt, Gefühl, Emotion und Stimmung: je kürzer die Emotion, desto Objektbezogener. Ein Affekt (sehr kurz) ist somit sehr objektbezogen.) Die oberste musikalische Ebene (Affekt-Ebene) ist direkt an das Bild gekoppelt und kann zu jedem Zeitpunkt angespielt werden. Sie verton sehr genau alle 64 dargestellten Bilder. Die darunter liegende Gefühlsebene ist doppelt so lang (zwei Takte), berechnet sich aus dem Durchschnitt der zuvor angetriggerten Affekten und stellt die 16 Emotionen dar. Ebene drei (Emotionsebene) ist wiederum länger (vier Takte), wird aus dem Durchschnitt der angespielten Affekten berechnet und vertont die vier Emotionsgruppen (s.o.). Die längste Ebene (Stimmungsebene) unterscheidet nur noch zwischen positiv-annähernd und negativ-ablehnend (der emotionalen Grundtendenzen Neugeborener nach) und ergibt sich aus den Handlungen der letzten acht Takten (ca. 26 Sekunden).
Die musikalische Komposition (Tonart, Rhythmus, Melodie,..) bezieht sich hierbei auf die Affektenlehre des Barock, ein Regelwerk, dass sehr klare Vorgaben zur Vertonung von Emotionen vorsah, sich also sehr gut in den Grundcharakter der Installation einfügt, in der etwas sehr Menschliches wie Emotionen radikal in Gruppen einsortiert, systematisiert und damit abrufbar gemacht wird.
Ich bedanke mich für die inhaltsvollen und Erkenntnis unterstützenden Antworten!
Für die Szene vielleicht ein Meilenstein. Für jene, die nicht gerade audiovisuelle Medien studieren, sondern eher in der Schulbank auf die Minuten mit dem Iphone warten, für die ist SIRO-A neuwertig und aufregend. Vielleicht sogar auch für Studierende der Audiovisuellen Medien. Technologisch erstklassige Unterhaltung. Die Berliner Morgenpost, ein unvergleichlich regionales Blatt mit der unrichtigen Bezeichung „Tageszeitung“ schreibt, es sein vergleichbar mit der Show der „Blue Man Group“. Dafür dass die Blue Man Group vollständig im Mainstream angekommen ist, mag der Vergleich mit Wohlwollen hinreichend sein, sollten wir einen Blick in die Zukunft wagen. Eher würde eine Parallele zu Kraftwerk passen.
SIRO-A – A TECHNODELIC VISUAL SHOW ist eine Show, ist ein Show, ist ein Show. Die Register der technologischen Vernetzungen, Verknüpfungen und Verbindungen zwischen Akteur und Projektion werden gezogen. Als Kunst geht hier kaum etwas durch, aber das wollen die 6 Künstler oder Performer auch nicht. Das was sie machen, machen sie hervorragend.
SIRO-A, was auf japanisch so viel bedeutet wie „gehört zu keiner Gruppe, unmöglich zu charakterisieren“ – ist eine Künstlergruppe, die im Oktober 2002 von sechs Studenten in Sendai gegründet wurde. Die Akteure definieren ihre Performance als „die neue Generation des Entertainment“. Elektro-Beats werden mit visuellen Effekten, Bewegung, Licht, Tanz-Choreographien und Comedy-Elementen kombiniert. Ihren bislang größten Live-Auftritt hatten SIRO-A als Repräsentanten ihrer Heimat vor 30.000 Zuschauern bei der Expo 2010 in Shanghai.
Flankiert von zwei DJs an Pults – weiß auf weiß – und einer überdimensionalen Projektionswand im Bühnenhintergrund agieren zwischen ein und drei der SIRO A-Künstler synchron zu Beats und Projektionen. Sie fangen u.a. mit einer Art weißen quadratischen Tafel-Handschuhen, Projektionen aus der Luft ein, formen daraus neue Muster und Einheiten und lassen sie über die Bühne tanzen oder fliegen. Zeit zur Beantwortung zu technischen Umsetzungsmöglichkeiten bleibt dem Zuschauer nicht, die Effekte reihen sich nahtlos aneinander an.
Die Köpfe der drei Akteure werden von von grossen weißen Zylindern verdeckt, sie ruhen auf ihren Schultern und dienen als Projektionsflächen – u.a. für einen „Lebenslauf“ im Schnelldurchlauf. Die Welt eines Videogames ist nicht fern, alles erscheint möglich. Einer der Künstler wechselt so lange virtuelle T-Shirts, wo unter anderem ein Puma-Logo zu Leben erwachet (schluck), bis seine inneren Organe sichtbar werden. Dabei pumpen die Beats mitreissend.
