Tag Archives: Mensch Maschine Schnittstelle
Grenzgebiete: Das Thema für die Bespielung des Hafens Stuttgart zur Langen Nacht der Museen am 25.03.2017.
Besucher des Hafens Stuttgart tauchen an der Langen Nacht der Museen 2017 in eine imaginäre Welt der Grenzüberschreitungen ein. Sie begeben sich auf ein Schiff des Neckar-Käpt’n, das sie an sieben medialen Installationen vorbeiführt. Videomapping und Interaktive Elemente werden präsentiert.
Grenzgebiete = Grenzüberschreitungen
Das Thema:
Das Projekt behandelt Grenzgebiete aus verschiedenen Blickwinkeln und Grenzverschiebungen werden gezeigt.
Was es ist:
Sieben multimediale Installationen im Hafen Stuttgart an der Langen Nacht der Museen. Der Besucher erlebt verschiedene Grenzüberschreitungen – in Form von optischen Illusionen oder aufgehobenen physikalischen Grenzen.
Die Stationen:
Station 1: Grenzkörper
Die interaktive Station „Grenzkörper“ ermöglicht es dem Besucher nicht nur Zuschauer zu sein, sondern selbst Teil der Installation zu werden. Sobald er die Interaktionsfläche betritt, taucht er in eine reaktive Unterwasserwelt ein und hat hier die Möglichkeit Einfluss auf seine Umgebung zu nehmen. Die Station befindet sich im Wartebereich der ankommenden Besucher und bezieht den Containerterminal auf der gegenüberliegenden Seite des Hafenbecken 2 mit ein.
Der Spieler bewegt sich durch eine polygonale Wasserstruktur in der er durch Bewegung seiner Hände Strömungen erzeugen kann, welche sich farblich von der restlichen Struktur abheben. Weitere Elemente, wie Luftblasen, die sich durch die Szenerie bewegen werden von diesen Strömungen erfasst und ändern so die Richtung ihrer Bewegung. Zudem kann der Spieler Luftblasen einfangen und herumtragen, was es ihm ermöglicht eine Luftblase auf eine von ihm festgelegte Reise durch die Unterwasserwelt zu schicken. Untermalt wird das Geschehen von einem atmosphärischen Klangteppich, sowie akustischen Highlights, die die jeweiligen Interaktionen unterstützen.
Technisch wird diese Installation mithilfe einer großflächigen Projektion auf Übersee-Container, die am gegenüberliegenden Ufer stehen realisiert. Dazu kommen mehrere Projektoren zum Einsatz um zum einen die enorme Breite der Projektion umsetzen zu können und zum anderen die benötigte Lichtstärke auf eine Entfernung von mehr als 80 Metern liefern zu können.
Als Interaktionsflächen werden leicht erhöhte Podeste verwendet auf denen sich die Spieler parallel zur Projektion bewegen können. Ihre Bewegungen werden dabei von Kinect-Kameras erfasst. Die Kameras ermöglichen es sowohl die Positionen einzelner Punkte des Skeletts, als auch die gesamte Silhouette des Spielers aufzunehmen und weiterzuverwenden.
Die zugrundeliegende Polygonstruktur wird durch mathematische Triangulationsalgorithmen erzeugt und durch die zugeführten Positionswerte der Handflächen verändert, wodurch dann Färbung und Strömungen erzeugt werden können. Das Bindeglied zwischen Projektion und Logik bildet die Software VVVV, welche sowohl die Kinect-Daten ausliest, als auch die Polygonstruktur erzeugt, verändert und letztendlich projiziert.
Die Schwierigkeiten dieser Station liegen vor allem in der Auswahl geeigneter Triangulationsalgorithmen. Zurzeit verwenden wir Voronoi- und Delauneytriangulationen, welche leider noch nicht ganz das gewünschte Ergebnis liefern. Des Weiteren stellt die Implementierung der Spielmechanik eine weitere Herausforderung dar. Die visuelle Darstellung der Strömungen funktioniert zwar bereits sehr gut, allerdings müssen diese Strömungspfade nun auch dokumentiert werden, damit weitere Spielelemente ihnen folgen können.
Station 2: Grenzlichter
Die Idee:
„Grenzlichter“ besteht aus zwei Installationen: das Grenzlicht „Land“ im Besucherzentrum und das Grenzlicht „Wasser“ auf der Bundeswasserstraße. Das „Grenzlicht“ ist ein beleuchteter Kubus mit interaktiven Elementen. Durch die Interaktion der Besucher entsteht ein Lichtfluss zwischen den zwei „Grenzlichtern“.
Der Ablauf:
Im Grenzlicht „Land“ sind LED-Schläuche gespannt, die von den Besuchern durch Ziehen aktiviert werden können. Das Licht „läuft“ durch den LED-Schlauch und wandert entlang der Kubuskanten zum Sockel und weiter am Boden entlang in Richtung Wasser (Bundeshafenstraße). Parallel wird durch das Ziehen ein Ton ausgelöst. Die Sounds ertönen nach dem Ziehen, nach und nach werden sie leiser und entfernen sich in Richtung Bundeswasserstraße.
Während der Schifffahrt begegnet der Besucher dem Grenzlicht „Wasser“. Hier läuft das Licht mittels Projektion über die Fassaden zum Kran, dort über Lichtschläuche zum Kubus und dann an den Kanten weiter und bringt schließlich eine LED-Röhre im Inneren zum Leuchten. Auch hier ertönt ein Sound auf dem Schiff.
Sobald das Grenzlicht „Land“ betätigt wird, leuchtet das Grenzlicht „Wasser“ einige Zeit später simultan auf.
Im inaktiven Zustand werden beide Würfel über neutrales Licht in den Kanten bestrahlt. Der Kubus „Wasser“ soll jedoch möglichst wenige inaktive Phasen haben und vor allem vor Beginn der Veranstaltung „inaktiv“ sein.
Die Elemente:
Die Beleuchtung:
Der Kubus „Land“ steht auf einem Sockel, im Inneren sind ca. 20 LED-Schläuche in vier Farben (Rot, Gelb, Grün, Blau) installiert. Der Würfel wird aus Aluminiumkanten gebaut und darin werden wir weißes Licht einbauen.
Das Licht, das von dem Würfel wegläuft, wird mit LED-Schläuchen, die wir auf dem Boden verlegen werden, inszeniert.
Der Kubus „Wasser“ hängt mittig am Kran und liegt fast auf der Wasseroberfläche auf. Im Inneren werden LED-Rohre in denselben vier Farben und in derselben Anordnung wie an Land installiert. Den Weg des Licht inszenieren wir durch verlegte LED-Schläuche.
Der Ton:
Beim Kubus „Land“ wird das Geräusch durch das Ziehen der Besucher ausgelöst. Der Ton ertönt laut und deutlich und wird dann langsam leiser und entfernt sich Richtung Wasser.
Am Kubus „Wasser“ nähert sich das Schiff und die Töne werden langsam lauter und ertönt zum Schluss laut und deutlich. Es können mehrere Töne gleichzeitig ausgelöste werden, wie auch mehrere Farben gleichzeitig leuchten können.
Als Tonauspielung werden wir Wassergeräusche als Atmo-Ton benutzen, der Besucher kann dann mit seinen Aktion im Kubus „Land“ zusätzlich Seiteninstrumente aktivieren und diese spielen.
Station 3: Grenzverschiebung
DIE IDEE
Fassadenprojektionen sind ein altbewährtes Mittel Menschenmassen in Erstaunen zu versetzen. Mit der Hilfe einfacher Projektionstechniken und auf die jeweilige Fassade zugeschnittenen Videoinhalten können Gebäude zum Leben erwachen. Die Wahrnehmungsgrenze wird gedehnt.
Im Hafen Stuttgart gibt es ein Gebäude, dass sich durch seine symmetrische Bauweise hervorragend für eine Fassadenprojektion eignet. Nichtsdestotrotz ist uns bewusst, dass die klassische Fassadenprojektion heute schnell abgedroschen wirkt. Unser Ziel ist es daher, die Fassadenprojektion neu zu denken.
DIE ENTSTEHUNG
Wir begannen damit Mappings von Vorreitern wie URBANSCREEN zu analysieren und haben Elemente zusammengetragen, die uns besonders gut gefielen. Danach wurden Ideen erarbeitet, wie die Übergänge zwischen den losen Szenen aussehen könnten, um einen kontinuierlichen Erzählfluss zu erzeugen.
DIE ELEMENTE
Die Projektion ist ein etwa 2-minütiger nicht interaktiver Video-Loop.
Aus technischer Sicht besteht der Aufbau aus einer angemessenen Anzahl an Projektoren und Ausspielungsrechnern samt Mapping-Software. Hinzu kommt das Soundequipment der Schiffe.
DER ABLAUF
Der Loop beginnt mit der Abbildung der unveränderten Gebäudefassade. Als nächstes teilt sich die Fassade wie eine Matrjoschka-Puppe in der Mitte und gibt sein Innenleben preis und offenbart eine kleinere Kopie. Dieser Vorgang stellt fortan den Übergang zwischen den Zuständen der Fassade dar. Jede neue Version erhält eine menschliche Eigenschaft, die bei dem leblosen Gebäude einen starken Kontrast darstellt:
1. Sehen: Projektion eines Riesigen gefilmten Auges
2. Fühlen: Fie Fassade wird dehnbar, vom inneren des Gebäudes drückt eine Hand das gebäude in einer natürlichen Streichel-Bewegung nach aussen.
3. Atmen: Die Fassade bleibt dehnbar, doch jetzt erkennt man die Konturen eines Gesichts, Nase und Mund für die die Fassade wie eine Plastiktüte über dem Kopf reagiert.
Nach der dritten Iteration schliesst sich die Matrojka wieder und der Loop startet von neuem. Untermalt werden die Variationen mit entsprechendem Sounddesign.
Die Wirkung der „Grenzverschiebung“ hängt maßgeblich von der Qualität der zu produzierenden Videoinhalte ab. Es wird eine große Herausforderung sein, das Thema Fassadenprojektion neu zu beleben und so in Szene zu setzen, dass es den restlichen Installationen ebenbürtig ist.
Hier müssen wir möglichst schnell hochauflösende Fotos des zu bespielenden Gebäudes machen, damit wir mit der Fassadenanimation beginnen können. Zudem müssen wir testen, ob im Umgebungslicht des Gebäudes eine ausreichend helle Projektion erzeugt werden kann, um den gewünschten Effekt zu erzielen. Für die Videoinhalte brauchen wir wegen fehlenden CA-Kapazitäten unbedingt Realbild-Aufnahmen, die als Tiefen-Referenz für eine animierte Fassade fungieren können. Dies stellt sich noch als schwierig heraus, doch Kinect, Leap-Motion oder ganz andere Ideen können hier Abhilfe schaffen.
Station 4: Grenzgewässer
Die Idee
Die Idee bei dieser Installation ist ein Fall durch einen unendlichen, aus geometrischen Formen aufgebauten Tunnel, als Visualisierung der Unendlichkeit.
Auf das Thema „Unendlichkeit“ als etwas wahrhaft grenzenloses, sind wir während unserer Ideenphase für dieses Projekt immer wieder gestoßen.
Somit wollten wir dieses Thema in unserem Werk verarbeiten und anschaulich präsentieren.
Die Elemente
„Grenzgewässer“ wird eine Projektion. Aber nicht irgendeine. Anstelle einer festen Projektionsfläche werden wir auf eine Wassernebelwand projizieren. In der Fachsprache nennt man diese Wand auch „Hydroshield“, welche durch einen Aufsatz für einen Feuerwehrschlauch erzeugt wird.
Die freiwillige Feuerwehr Untertürkheim wird uns in diese Angelegenheit so wie es aussieht unterstützen und das „Hydroshield“ zur Verfügung stellen.
Die Projektion auf solch eine Wasserwand ist ein toller Effekt und verleiht der Projektion eine natürliche Tiefe, was unserer Idee des Tunnelfalls natürlich zugutekommt und eine Art Sogeffekt erzeugen wird.
Der Inhalt an sich wird eine vorgerenderte Computeranimation sein, welche in Endlosschleife laufen wird. Das erspart uns bei dieser Installation jegliche Sensortechnik oder Interface-Programmierung.
Sie ist somit eine unserer sicheren Installationen, die wenig unsichere und risikobehaftete Parameter enthält.
Der Ablauf
Die Installation wird im Hafenbecken 1 (also auf dem eigentlichen Neckar) installiert und somit einer der letzten Stationen der Bootsfahrt sein.
Das Boot wird zweimal an der Installation vorbeifahren da der Wendepunkt sich nach der Installation befindet.
Das ist auch wichtig da die Wasserwand parallel zum Hafenbeckenrand und möglicherweise sogar auf dem Wasser platziert sein wird und somit die Besucher auf beiden Seiten des Bootes die Chance bekommen, die Installation zu sehen.
Station 5: Grenzübergang
DIE IDEE
Die Idee ist eine Veränderung der emotionalen Lichtstimmung im Inneren des Bootes bei der Durchfahrt durch einen Lichtbogen. Dabei sollen die Besucher im Schiff aus nächster Nähe eine Grenzüberschreitung erfahren. Die Nähe zur Installation ist Kern- und Alleinstellungsmerkmal dieser Installation.
DIE ENTSTEHUNG
Die Idee ist klar von der Arbeit von Steffen Armbruster beeinflusst. Mit seiner Firma Usomoerschafft dieser interaktive Klangwelten, die auf die Position des Hörers reagieren. Nachdem wir in Linz eine dieser Klangwelten erlebt hatten, war klar, dass wir unseren Besuchern ein ähnliches Erlebnis bieten wollen.
DIE ELEMENTE
Der „Grenzübergang“ besteht einerseits aus der steuerbaren LED-beleuchteten Brücke. Andererseits aus einer aufwändigen medialen Ausspielung der Passagierschiffe. Die Decken der Schiffe sind jeweils flächig mit programmierbaren LEDs und einer Zerstreuungsfolie beschichtet. Hinzu kommen pro Deck 3 Lautsprecherpaare.
Da das der Standort des Schiffes gemessen werden muss, müssen zusätzlich noch Lokalisierungssensoren entwickelt werden. Wie dies konkret aussieht, ist noch nicht geklärt.
DER AUFBAU/ABLAUF
Der Grenzübergang findet pro Fahrt zwei Mal statt, läuft dabei aber nahezu identisch ab.
Zu Beginn ist die Brücke noch nicht erleuchtet. Die Decke des Schiffes leuchtet stark gedimmt in einem Blauton. Auch die Boxen sind zu Beginn noch nicht bespielt.
Nähert sich das Schiff der Brücke auf etwa 50 Meter „laden“ sich die im Bogen angeordneten, hängenden Lichtelemente der Brücke mit der Farbe Rot auf. Die Farbe „fließt“ von oben in Richtung Wasser. Je näher das Schiff der Brücke kommt, umso heller erstrahlt die blaue Decke des Schiffes.
Zusätzlich hört man aus den vordersten Lautsprechern Geräusche, die die Materialität unseres Vorhangs repräsentieren. Auch diese werden bei Annäherung lauter.
Wenn Das Schiff „in“ den Lichtvorhang der Brücke eintaucht überträgt sich seine rote Farbe auf den Innenraum des Bootes. Farbe, aber auch der nun maximal laute Ton des Vorhangs wandern beim Durchfahren positionsgenau über Deck.
Beim Verlassen des Vorhangs erstrahlt das Schiff nun im selben Ton wie der Vorhang zuvor. Im Moment des Verlassens erlöschen der Vorhang und der Ton abrupt. Der Übergang ist vollendet.
Entfernt sich das Schiff nun mehr als etwa 50Meter von der Brücke, wird die Decke für die restliche Fahrt wieder gedimmt.
Auf der Rückfahrt wiederholt sich das Spiel identisch nur mit nun Umgekehrten Farben für Vorhang und Boot.
SCHWIERIGKEITEN/HERAUSFORDERUNGEN/FEEDBACK
Zum einen muss die Sicherheit auf Deck gewährleistet sein. Es muss abgesegnet werden, dass unsere gedimmte Beleuchtung alleine an Deck ausreicht. Auch die Befestigung der Boxen und LEDs im Schiff ist möglichst schnell zu klären. Schlussendlich muss eine zuverlässige Sensortechnik entwickelt werden, damit Sound und Licht genau agieren. Da zwei Schiffe unterwegs sein werden, ist auch das Timing dieser bei der Durchfahrt der Brücke zu klären, da mit der Installation eine simultane Durchquerung der Brücke ausgeschlossen ist.
Station 6: Tiefengrenze
DIE IDEE
Die Idee der Station Tiefengrenze ist die Sicht des Besuchers umzukehren und dabei die Grenze der Wasseroberfläche zu überschreiten.
Der Besucher wird vom Schiff aus hinunter auf eine 240 Quadratmeter große Projektionsfläche schauen, welche aus ca. 2250 einzelnen Elementen besteht. Dadurch wird die Projektionsfläche die Wellenbewegungen des Wassers übernehmen und den Effekt steigern, dass man tatsächlich auf die Wasseroberfläche schaut. Der gezeigte Content auf der Projektionsfläche zeigt jedoch nicht die Welt über Wasser sondern die Welt unter der Wasseroberfläche.
Um zu garantieren, dass viele Besucher die Möglichkeit haben sich von der Welt unter Wasser in ihren Bann ziehen zu lassen, befindet sich die Station am ersten Wendepunkt des Schiffes, sodass erst die Besucher auf der linken Seite des Schiffes an der Installation vorbeifahren und nach der Wendung die Besucher auf der rechten Seite des Schiffes freien Blick auf die Installation haben.
DIE ENTSTEHUNG UND HERAUSFORDERUNGEN
Bei der „Tiefengrenze“ gibt es im Wesentlichen zwei Teilbereiche: den Content und den Aufbau der Projektion. Dabei sind wir auch auf zwei wesentliche Herausforderungen gestoßen.
Bei dem Content wollten wir zunächst an unserem Drehort in den Aquarien im Staatlichen Museum für Naturkunde in Karlsruhe mittels einer GoPro mit Unterwassergehäuse vom Grund der Aquarien hoch zur Wasseroberfläche filmen, damit die Fische über der Kamera hinweg schwimmen. Leider haben wir jedoch sehr schnell gemerkt, dass Fische die Kamera aus Angst eher meiden. Daraufhin änderten wir unsere Grundidee und unser Storyboard ab und filmten mit einer GoPro sowie mit einer Canon EOS 7D von außen in die Aquarien. Um einen möglichst großen Bildausschnitt zu bekommen sind wir so nah wie möglich mit den Kameras an die Scheiben der Aquarien gegangen. Außerdem arbeiteten wir um Spiegelungen in den Glasscheiben der Aquarien vorzubeugen mit schwarzem Molton, welchen wir über der Kamera an die Aquarienscheiben gehalten haben und zusätzlich bei der Spiegelreflexkamera mit einem Polarisationsfilter.
Die Projektionsfläche ist die zweite und größte Herausforderung bei der Installation „Tiefengrenze“. Da wir eine Projektionsfläche von 12 x 20 Metern, also 240 Quadratmetern, im Hafenbecken auf die Wasseroberfläche des Neckars bringen wollen und diese zusätzlich aus vielen einzelnen schwimmenden Partikeln bestehen soll war die erste große Frage welches Material am geeignetsten ist. Nach einigen Schwimm- und Stabilitätstests bei welchen wir getestet haben wie sich verschiedene Materialien verhalten wenn sie längere Zeit im Wasser liegen und ob sie stabil sind oder ob eventuell zerbrechen oder zerbröseln können haben wir uns für stabiles Styropor entschieden.
Die nächste Herausforderung ist die Frage, wie wir ca. 2250 einzelne Styroporzuschnitte aneinander befestigen ohne dass uns einzelne Teile davon schwimmen können oder bei zu starkem Wellengang kippen und aufeinanderliegen. Nach mehreren Versuchen bei denen wir mit Klettband, Netzen, Styroporkleber und Schrauben experimentierten sind wir auf eine einfache aber effektive Lösung gestoßen. Wir werden die einzelnen Teile der Projektionsfläche auf Spanngurte schrauben und so Quader von 9 je Teilen bilden. Diese Quader werden am Ende im Hafen vor Ort zu einer Großen Projektionsfläche auf die gleiche Art zusammengefügt.
Einige offene Fragen bleiben jedoch nach wie vor. Zum einen steht noch aus wie die Projektionsfläche am Ende sicher zu Wasser gebracht werden kann. Die zweite offene und wichtigere Frage ist, ob unser Styropor vor der Wasserschutzpolizei und dem zuständigen Amt bestand hat.
Station 7: Grenzfall
Die Idee
Die Idee der Station Grenzfall ist, die Grenzen der Schwerkraft zu überschreiten. Dafür wird die Schwerkraft für das Element Wasser aufgehoben und umgekehrt.
Die Elemente
Die Installation Grenzfall stellt eine Fassadenprojektion dar. Dabei wird eine Häuserfassade im Hafengebiet mit einer animierten, vorgerenderten Wasser-Simulation bespielt. Vorhandene geometrische Figuren der Fassade (z.B. Fenster) werden in die Animation mit eingebunden.
Die Animation wird mithilfe des Animationstools Houdini erstellt. Das Programm eignet sich u.a. hervorragend für professionelle Fluid Animations. Die Animation ist ein ca. 30 Sekunden langer Vorgang, der sich im Loop nahtlos wiederholt. Bei der Erstellung der Geometrie und Festlegen der Parameter muss also darauf Rücksicht genommen werden, dass sich der Zustand zu Beginn und Ende der Animation gleichen.
Die Projektion erfolgt mit Projektoren von der gegenüberliegenden Seite des Hafenbeckens.
Der Ablauf
Die Kanten des Gebäudes stellen die Begrenzung eines Gefäßes dar, in dem sich eine geringe Menge Wasser befindet. Die gesamte Fassade erhält durch die Projektion zudem die Textur einer Kachelwand. Diese verstärkt die Visualisierung der optischen Brechung durch das animierte Wasser auf der Fassade und verkörpert das Gefäß, in das sich die Fassade so verwandelt.
Die Schwerkraft ist umgekehrt, d.h. die Wassermenge „klebt“ am oberen Gebäuderand.
Die umgekehrte Gravitation wird aufgehoben und das Wasser formt sich zu einer Wasserblase, die schwerelos nach unten schwebt und in der Mitte des Gebäudes wabert. Nach kurzer Zeit setzt die umgekehrte Schwerkraft wieder ein: Das Wasser platscht wieder gegen die Gebäude-Oberkante.
Anschließend öffnen sich unten am Gebäude Schleusen (Fenster des Gebäudes), aus denen schwungvoll fließendes Wasser langsam das Gebäude mit Wasser füllt. Wenn das Gebäude nahezu voll mit Wasser gefüllt ist, schließen sich die Schleusen und Abflüsse (ebenfalls Fenster des Gebäudes) an der Oberkante öffnen sich, in die das Wasser strudelförmig abfließt. Noch ehe die gesamte Wassermenge abgeflossen ist, schließen sich die Abflüsse. Die umgekehrte Schwerkraft wird wieder aufgehoben; die im Gefäß verbliebene Menge Wasser formt sich wieder zu einer schwerelosen Wasserblase. Der Prozess beginnt von vorne.
Der Künstler Dragan versteht sich und sein Tun als eine Art Performance verbunden mit Action Painting im Sinne eines Jackson Pollock. Jackson Pollock, der in den 1960 Jahren die Bewegung, Kraft und Stärke auf direkten Weg auf der Leinwand verewigte. So wählte er übergroße Formate und spritzte, tröpfelte, warf und schmiss Farbe auf die Oberfläche. Mal dick, mal dünn, mal viel, mal wenig. Es entstanden Action Painting Malereien, wo der Zufall neben dem Wunsch nach bedingter Kontrolle über die Komposition des Künstlers gleichermaßen einen Ausdruck fanden. In dieser Tradition sieht sich Dragan Ilic.
Er geht eine Kooperation mit der Maschine, mit einem von ihm programmierten KUKA Industrieroboterarm, ein. Wobei zu erwähnen ist, dass es vorgefertigte Skripe gibt, es gibt Matrizen. Dragan Ilic verwendet wie er im Interview bestätigt eher die einfachen Skripte. Er sei Maler, nicht Programmierer. Wobei diese Scripte den im Vorfeld von Dragan Ilic hergestellten Skizzen und Entwürfe folgen. Der Roboter ist ein Hilfsmittel, nicht eine eigenständige künstlerische Komponente. Im Prozess des Ausführens kommt der Performance Aspekt zum Tragen. Der Künstler lässt sich auf den KUKAarm schnallen, ist in aufrechter Haltung am Körper festgebunden. Beine, Mittel- oder Oberkörper sind verzurrt, die Armefreiheit bleibt erhalten und gibt dem Künstler einen Spielraum, während er über die große Leinwand vom Roboter geführt wird. Drangan Ilic nimmt Farbkartuchen, Bleistiftbündel oder Ölstiftvorrichtungen, in Grautönen oder mehrfarbig und fährt mit ihnen über die Papierwand. Form Kreise, streckt Arme, legt die Farben eher seitlich vom Oberkörper an, oder mittig, versucht den eingeschränkten Spielraum der Armbewegung auszuschöpfen. Der Roboter exekutiert derweil die Scripte. Fährt hoch, macht einen Schlenker nach untern, dreht den Kopf, dreht den Körper gleichzeitig, setzt ab und wieder auf. Es entstehen Fahrten und Strecken auf dem Papier.
Zwischen durch löst sich der Roboter von der waagrechten Leinwand und schwenkt zum Boden, Dragan Ilic wechselt die Kartuschen und macht weiter. Musik wird bei der Performance nicht eingespielt, keine Geräusche, nur die der Stifte und das Summen des Industrieroboters. Nach gefühlten 5 bis 10 Minuten setzt der Roboter ab, Dragan Ilic löst die Gurte, kommt zum Stehen und die Performance ist beendet. Es ist ein Schauspiel. Grossartig den Menschen im Griff des KUKAarms zu beobachten. Wie der Arm präzise und eindeutig hin und her fährt.
Bei den Werken steht die Tätigkeit des Menschen und die des Roboters im Vordergrund. Die Leinwandbemalung ist einfach, nicht zu anspruchsvoll, nicht zu kunstfertig, nichts was auf Dauer dem Auge Interesse abverlangt. Der Künstler selbst legt großen Wert auf die Eigenständigkeit seiner Arbeit. Das Programmieren, die Herstellung der Kartuschen, die Vorlagen, die Entwürfe. Er hat Gehschwierigkeiten und begründet die Einbindung des Industrieroboters durch seine zunehmende Unfähigkeit sich spielend über Leinwände zu bewegen. Das leuchtet ein. Dennoch kann das Resultat nicht überzeugen.
Ist diese Arbeit qualitätsvoll? Oder ist die Performance, das Spektakuläre eines an einem Industrieroboterarm geschnallten Menschen das Neue? Es ist ein wenig erstaunlich, dass die letzte Hochburg, die einer Industrialisierung Stand gehalten hat, nämlich die Malerei, die Kunst, dass sich auch hier ein Wunsch abbildet, das Kreative durch Maschinenhandeln zu ersetzen. Das von Walter Benjamin angemahnte Original im Zeitalter der technischen Reproduzierbarkeit findet mit der Roboterhilfe eine neue Ausprägung. Es geht nicht um den Druck, die Vervielfältigung, es geht um Strichführung, es geht vielleicht darum, gar nicht mehr menschlich zu handeln im Sinne von Strich, Stift auf Oberfläche, im Sinne von auratischer Übertragung des Besonderen eines Individuums, es geht vielmehr um Programmieren, um die Herrschaft über die Maschine. Der Kunstbegriff verändert sich stetig. Er gibt uns neue Aufgaben auf. Die Bewertung der Werke erzwingt vielfältige Betrachtermethoden- und Verständnis. Das entstandene Kunstwerk, das Resultat steht nicht im Mittelpunkt. Es ist das Ganze was zählt. Ob diese Kunst verkauft wird, bleibt noch unbeantwortet. Die Performance ist sehenswert. Jetzt hier und heute. In 2 Jahren wird es kalter Kaffee sein.
Ein Hörraum mit an die Sinne tretende Hörbilder, das ist die Installation von Usomo auf der Ars Electronica. Am Eingang gibt es die Kopfhörer und ein Handy für die Ortung und die Geräuschlandschaften. Der erste Raum, ganz weiß bis auf schwarze Kreise am Boden und schwarze Kugeln von der Decke auf Augenhöhe wird betreten. Die Kugeln dienen als Anhaltspunkt, als Koordinaten, als Leitsystem für den Hörer. Sie sind nicht notwendig, aber die Besucher wollen Orientierung im Hörbilderraum. Mit der Annäherung an die Kugeln werden die Geräusche voller, klangstärker, umfassender und vorstellbarer. Der Kreis am Boden sagt, was es zu hören gibt. Auch das ist nicht notwendig, aber eine Hilfe. Denn usomo heißt nicht umsonst unique sonic moments. Es werden Hilfestellungen gegeben. Nicht weil die Besucher des Hörens und Identifizierens nicht mächtig sind, sondern weil das Hören als Vorstellungssprache schwer ist. 
Im Alltag hören wir alle möglichen Geräusche und vor allem versuchen wir in öfter wegzuhören. In diesen Räumen wird das Hören zum Mittelpunkt. Aber wer hört schon ganz genau? Die Kodierungen für Ikonographische Verschlüsselungen kennen wir vielleicht, die der Auditiven Kodierungen weniger. Es geht um Bewusstwerdung der Hörsemiotik. Ein blindes Raumdurchschreiten ist möglich mit diesem System. Denn das System erfasst auf wenige cm die Position des Besuchers und passt nach dem Ort der Hörquelle die zu hörende Distanz an. Bin ich 4 Schritte von einem Hörbild entfernt, dann höre ich es so. Nämlich genau 4 Schritte entfernt. Da werden Töne und Geräusche in einen räumlichen Zusammenhang gebracht. Der Hörer begreift dass etwas weiter hinten steht, oder etwas an der linken Seite oder rechten Seite zu hören ist. Es ist ein horizontal 3 dimensionierter Hörraum.
Eine neue Erfahrung stellt sich ein. Eine intensive unmittelbare Hörerfahrung. So haben wir schon lange nicht mehr gehört. Es ist nicht das Erlebnis in einer Philharmonie, wo der Hörer unbewegt die Klangkulisse erforscht oder genießt. Hier bewegen sie die Hörer um die Kulissen herum und diese regieren auf die Körperposition. Die Hörbilder vereinnahmen den Besucher. Es ist unmittelbar und berührt. Die Bewegungsfreiheit macht das Erleben zu einem Abenteuer. Die Hörräume werden festgelegt, für uns über die Ohren zu erfahren aber doch „dingliche“ Fixpunkte.
Es geht durch einen Flur, ausnahmslos grafisch schwarz weiß gestaltet. Neben den Hörbildern kommen abstrakte Muster und Bildgründe hinzu. Die Übereinstimmung Sehbild und Hörbild erzeugt eine meditative und konzentrierte Stimmung. Jede grafische Musteränderung bedeutet Hörabenteuer. Abstraktion birgt Raum für wilde Tonlandschaften und -Abenteuer. Die Besucher stürzen sich hinein. Sie sind sicher im Umgang und dem Erleben, der inneren Einbindung steht nichts im Wege. Ein holistisches Erlebnis.
Es gibt Streifenbereiche, Felsenbereiche, Tiefenbereiche, Höhenbereiche. An manchen Stellen haben die Künstler tatsächliche Objekte platziert. Steine zum Beispiel, oder ein Video, oder eine Fliege. Wie hören sich Steine an? Mal ein geschliffener Granitstein, oder der mit der eher löchrigen Oberfläche? Dann wäre da noch einer mit einer eher scharfkantigeren Oberfläche. Wer sich fragt, wie sich das anhört sollte sich nach Lichtenberg in die Atelierräume in Berlin bewegen. Denn die Ars Electronica ist vorbei und der Raumwurde dort wieder aufgebaut.
Die Trackingsoft- und Hardware ist selbstentwickelt. Damit werden die virtuellen im Raum platzierten Soundquellen geortet. Wenn der Besucher sich bewegt, berechnet das System den zu hörenden Ton in Echtzeit, in Abhängigkeit seiner Position und Ausrichtung zu den einzelnen Tonquellen. Und das mit großer Präzision. Steffen Armbruster der CEO sagt die „Genauigkeit ist mit 20 cm auf der Webseite angegeben, wir sind aber im Normalfall 10 cm genau oder besser “ und 1 Grad in der Rotation bestimmten. Diese Bezeichnung sei aber die schlechteste zu erwartende, in der Regel erfasst das System bis auf ca. 4 cm die Position. 4 cm! Das lassen wir uns mal auf der Zunge zergehen. Das ist sehr exakt, exakter als viele andere Systeme. Wer sich minimal dreht wird es tonal wahrnehmen.
Mal abgesehen von diesem erlebten Raum von der Ars Electronica, das System kann einiges mehr.
Zusätzlich zu einzelnen Tönen können auch beliebig viele Soundscapes in definierten Bereichen im Raum geschaffen werden, die der Benutzer durchläuft. Die Anordnung der Soundquellen ist räumlich. Die Soundscapes werden erforscht. Das macht Spaß. Und hier macht sich das Füllhorn an Einsatzmöglichkeiten auf. Hier geht alles was in Räumen ist. Sei es für Wirtschaft und Industrie auf Roadshows, für erlebnisgetriebene Räume wie in Museen oder Messen, Expos oder sei es im Bildungsbereich. Und wenn Sprachen wichtig werden, dann steht dem logischerweise auch nichts im Weg.
Auf der Website steht „Hören wird Fühlen“. Stimmt.
Ich danke Steffen Armbruster für seine Zeit im Lichtenberger Atelier. Seine Frau Ulli und er haben sich über eine geschlagene Stunde Zeit genommen. Vielen Dank.
Credits:
Idee und Konzept: Steffen Armbruster – FRAMED immersive projects GmbH & Co KG
Spacial Soundsystem: usomo
Sounddesign: Antye Greie-Ripatti – AGF (Link: http://www.antyegreie.com)
Spacial Design: Marc Osswald
Chris O’Reilly spricht unter dem Schirm von „Games For Change Europe“, eine Sektion der fmx, die sich mit sinnvollen Formen der Spielindustrie auseinander setzt. Die Überlegungen müssen nicht automatisch zum Edutainment, Education, zu „serious games“ führen, es können Wege vorgestellt werden, die einbinden ohne belehrend zu sein. Nein, nicht nur können, sondern das ist das Ziel von „Games for Change Europe“.
Nexus Productions, vertreten von Chris O’Reilly, präsentiert Google Holiday Lights, aus dem Jahr 2014. Vor dem Weißen Haus in Washington DC wurden in nur 5 Wochen der große Weihnachtsbaum und drum herum viele Kleinere aufgestellt. Alle mit LED Lichterketten versehen, die wiederum verbunden mit Microkontrollern und einem Interface, über das die Farbkombination der Lichtfarbwerte eingestellt werden konnten. Dieses Interface wurde publik gemacht und alle konnten die Farben der Bäume mitbestimmen. In USA wird am 4. Dezember der Akt des Weihnachtsbaum Entzünden gross in Szene gesetzt. President Obama gibt des Startschuss und dann „BÄM“ sind die Bäume im Lichterglanz. Eine medienwirksamere Installation gibt es wohl kaum. Google und Nexus haben zusammen daran gearbeitet. Google mit ihren Verbindungen zu Michele Obama, die Kids zum Coden bringen will, Nexus mit der entsprechenden technischen, logistischen und prozessorientierten Kompetenz. Eine einfache und gut verständliche Idee. Sowas überzeugt.
„Made with Code“ auch von Google initiiert, um Kids zum coden zu animieren. Die Aufgabe besteht darin die Lichter und Farben eines LED Kleids selber zu animieren.
https://www.madewithcode.com/projects/fashion
Und eine Installation in einem Londoner Krankenhaus um Kids zu Bewegung zu animieren wird vorgestellt. Bei dieser Installation wurde ein überdimensionierter Fernsehrahmen im alten Stil in das Krankenhaus gebaut, mit Projektionsleinwand als Mattscheibe, Gestensteuerung, die Bilder angereichert durch Figuren aus Wizard of the OZ, der Hase steht im Vordergrund, Bäume und bunte Farben. Kinder stehen davor und zappeln, tanzen, springen und hüpfen. Für die Demonstration standen die Kinder der Agenturmitglieder von Nexus zu Verfügung. Spaß schien es zu sein. Die visuelle Metapher des TVs, die projizierten Bilder und die direkte Übertragung von Bewegung und Mensch auf den Screen hinterlassen den Eindruck, das Inhalt, Konzept, Gestalt und Technik zu einer funktionierenden Einheit verschmelzen.
Chris O’Reilly ist Geisteswissenschaftler der zum Geschichtenerzähler, zum interaktiven Initiator wurde. Die Notwendigkeit Sinnhaftigkeit in den anfänglich technisch anspruchsvollen, experimentellen aber inhaltsschwachen Animationsfilms zu bringen, erklärt seinen Anspruch. Es geht um sinnvolle Inhalte in die unterschiedlichen Medien zu bringen. Etwas zu machen, was nicht ausschließlich für den Moment gedacht ist, etwas das eine Tragweite aufzeigt.
„There was the need to strenghten animation through story telling“.
Das war der Anfang. Der führte weiter zur Frage
„Can a digital experience have an impact on my life“?
Kann ein digitales, ein produziertes Umfeld eine wirkliche Erfahrung hervorrufen? Erfahrung zu planen, zu schaffen ist eine Sache, Erfahrung im digitalen Umfeld zu entwickeln, ist eine andere. Es ist der Moment, das Ereignis, dass in der Erinnerung haftet, es wird zur Hülle eines Gefühls, der Erfahrung, des Eindrucks und das wird unwiderruflich im Gedächtnis festgehalten. Ist das digitale Medium in der Lage einen solchen Wirkungskreis zu entwickeln?
Diese Frage stellt die Grundvoraussetzung für den Umgang mit neuen Formaten bei Nexus dar. Denn natürlich lässt sich mit jedem neuen Medium, jeder neuen Technik eine unterhaltsame Geschichte entwickeln. Aber wird sie auch über den Moment der kurzfristigen Unterhaltung, des Amüsements tragen, oder wird sie in Vergessenheit geraten? An dieser Stelle wird es interessant.
Wir erleben in Virtual Reality Umgebungen schon seit langer Zeit das Phänomen der Oberflächlichkeit. Zwar lässt sich Begeisterung für die Technik nicht verbergen, wir geben uns gerne der Sensation des Neuen hin, aber das war es soweit erst mal.
Das gilt für VR, Augmented Realities, mit Spielen und Anwendungen mit Occulus Rift oder 3 D Briller anderer Hersteller oder mit 360 Grad Filmen und bildschirmbasierten Games, stationär und für mobile Endgeräte. Einmal gesehen, einmal durch gespielt, nie wieder angefasst. Fertig. Bei den Machern geht es um das Ermitteln der technischen Möglichkeiten, um wirtschaftlichen Erfolg, aber wirkliches Story Telling? Selten sehen und erleben wir Nachhaltigkeit. Also bleibt das Erlebnis auf der Strecke. Die kulturelle Botschaft ist Schnelllebigkeit, Kurzweiligkeit, Oberflächlichkeit, Ablenkung von was eigentlich?
Anders bei Nexus. Zwar sind die vorgestellten Projekte über alle Massen publikumswirksam, fast schon PR Gags, aber hinter der Hochachtung für die logistische, prozessuale, technische Leistung, steht eine ernstzunehmende Absicht. „Erleichtere Mädchen den Einstieg in die Welt des Codes, der Programmierung, der absichtsvollen Steuerung.“ Denn auch wenn es schwer fällt dies zu schreiben, Mädchen, sehr jung, Teenagealter und darauf folgend, sehen sich immer noch deutlich weniger in der Codeingszene als Jungen und Jungmänner. Das sollte sich doch ändern lassen? Diese Frage ist falsch gestellt, dass muss sich ändern lassen. Dort setzt Google und damit auch Nexus an.
Es geht um einen einfachen Einstieg in diese Art des strukturierten Denkens. Es geht darum, nicht nur freudig einmal reinzuschnuppern, sondern mit einfachen Mitteln etwas bis zu Ende zu bringen und den Effekt zu erkennen. Zu Verstehen: Ich bewege DAS.
Einfache Interfaces: intuitiv, nicht überfüllt, mit sofortigen Feed Back und Kontrolle, einfachem Abschluß, großer Benefit. Und dann ist der Weihnachtsbaum erleuchtet oder ein eigenes Kleid fertig. Das wird durch Celebrities, die mit genau so einem Kleidungsstück auf dem roten Teppich erscheinen, getoppt.
Ein Beispiel, es gibt viele Möglichkeiten. „We think in further projects about multiple levels, for engaging girls. We want that girls interact and they understand the pupose of their doing.“ Da ist Raum nach oben.
Design Thinking nimmt Form an. Wo kann Media sinnvoll eingesetzt werden? Welche Ursache, Sinn und Ziel? Etwas wirkungsvolles, etwas längerfristiges. Frage die Menschen, ermittele Bereiche wo Media zur Handreichung werden kann.
„We recently started to work with teachers, with educational professionals, with psycologists, with therapists. We spend time talking to personal in hospitals, with nurses.“
Sie sprechen mit Therapeuten, mit Lehrern, mit Krankenschwestern, mit Psychologen; wollen heraus finden, wo Medien Hilfeleistungen für die Arbeit geben. Wie sollen welche Medien wo eingesetzt werden? Chris O’Reilly spricht von Problemen der Krankenschwestern bei der Blutentnahme bei kleinen Kindern. Wie kann vom Einstich und der Angst vor Schmerz abgelenkt werden? Sie halten vielleicht Handpuppen, rollen Bälle, machen Witze und erzählen Geschichten. Aber einfach ist das nicht, denn unterm Strich haben wir zwei Arme und Hände und die müssen für die Blutabnahme genutzt werden. Damit ist dann keine Hand frei für Ablenkung.
Er erzählt davon, vielleicht auf die Hand des Kindes von oben herab eine kleine selbstgemachte Figur zu beamen. Die Handfläche öffnet sich und hinein fällt mein Charakter. Er bewegt sich in der Handfläche des Kindes, tut etwas, lebt und wird geschützt. Da geht doch was!
Ich danke Chris O’Reilly für die Zeit auf der FMX. Seine Geduld für das Interwiev und seine Offenheit. Die Bilder stammen entweder von Google „Made with Code“ oder von der Website Nexus Productions. Nur das Bild von Chris O’Reilly stammt von mir. Vor Ort im Raum für Interviews.
In der Ausstellung GLOBALE stand Birdly. Eine Attraktion für die Zuschauer vor allem für Schulklassen. Es geht um den Wunsch zu fliegen. Das wollten wir immer schon und haben auch viel geschafft. Flugzeuge, Drachenfliegen, Fallschirmspringen, Sky Diving mit Snow Boards oder nicht, alle möglichen Apparaturen gibt es um uns in die Lüfte zu bekommen. Halbwegs sicher. Mit Birdly steigert sich das Erlebnis ein wenig mehr. Auch wenn wir tatsächlich nur im Solodeck im Virtual Reality Environment einer fest montierten Installation sind. Die Arme werden an Flugplatten gelegt, die Augen schauen durch einem Head Mounted Display, der Oculus DK2 and HTC Vive für 3 D und 360 Grad Umsicht, ein Ventilator gibt uns Wind. Dann geht es los.
Wenn wir mit den Armen auf den Pflugbrettern eine Bewegung ausführen, mit dem Kopf oder sogar nur mit den Augen, das simulierte Bild reagiert. Die Illusion ist nicht perfekt aber deutlich besser als ein Operieren mit Joystick.
“… with your arms spread wide, an Oculus on your face, and headphones on your ears, you find yourself soaring over the city’s downtown, flapping your wings to gain altitude. It’s a calming, meditative experience. Immersive and exciting, Birdly is the kind of VR experience that turns skeptics into true believers…”
THE VERGE (Bryan Bishop and Casey Newton, January 2015)