plusinsight

Tag Archives: interactive

AI DJ Project – A dialog between human and AI through music von Nao Tokui und Shoya Dozono (JO)

 

 

Bei diesem Werk arbeitet eine Artifizielle Intelligenz und ein Mensch unter gleichen Bedingungen zusammen. Beide legen Platten auf, sie sind DJs. Zumindest werden die Bedingungen so gut wie möglich aneinander angeglichen. Denn die artifizielle Intelligenz verwendet den gleichen Plattenspieler und hat sogar eine physische Hand, die diesen Plattenspielertyp bedient. Und so macht es auch der Mensch.

Photo by Yasuhiro Tani, Courtesy of Yamaguchi Center for Arts and Media [YCAM]

Das System hört den unterschiedlichen Tracks des Menschen DJ  zu und ermittelt den Beat, Rhythmus und Art der Musik. Nachdem der Mensch aufgelegt hat, beginnt das artifizielle Intelligenzsystem den nächsten Track aufzulegen. Es fixiert das Tempo des nächsten Tracks und gleicht es dem des menschlichen DJ Tracks an. Es geht dem VR DJ darum, dass beide Tracks einen guten Übergang finden und die Rotationsgeschwindigkeit des Plattenspielers ähnlich ist. Hier kommt der Roboter – Finger zum Tragen, denn er manipuliert durch Berühren der Vinylplatte die Geschwindigkeit der Drehung. Es wird Musik ausgesucht, der Beat wird nahtlos dem neuen Track angepasst,  es wird verglichen und abgeglichen. Als weiteres Feature, wird die Tanzmenge, die vor den DJs steht,  analysiert.

Denn ein guter DJ liest sein Publikum, er schaut auf ihre Vorlieben,  ermittelt was funktioniert und nicht. Er kommuniziert, schaut Tanzenden in die Augen, lacht, tanzt; er fordert sie zum mitgehen auf. Ein schlechter DJ macht das nicht, der schaut auf sein Mischpult und zieht das vorher geübte durch und ab. Er geht nicht auf die Menge ein. Und dann kann es für den Partygänger zu einer wenig stimmungsvollen Nacht kommen.

Photo von MvT

Dieses System, der AI DJ betrachtet die Menge. Eine Kamera nimmt die Daten auf, analysiert sie und gibt den Datensatz, nach einer Bewertung weiter. Auf dieser Basis sucht der AI DJ Tracks, die eine ähnliche Stimmung erzeugen. Das verfolgt die AI so lange, bis die Bewegung der Tanzenden schwächer wird. Dann werden verschiedene Musikstücke ausprobiert und getestet, ob das Publikum weiterhin gelangweilt ist oder wieder mitgroovt.

Der Mensch DJ erlebt sicherlich die ein oder andere Überraschung, wenn der AI DJ ungeahnte Tracks selektiert. Das kann Spaß machen, kann zu Verwirrung gleichermaßen führen. Ebenso hofft der Mensch DJ sicherlich auch, dass der AI DJ seine Ansprüche und Anforderungen erfüllt.  So ein System birgt Ungeahntes in sich.

Photo von MvT

Es ist eine herausragende Arbeit, die eine Kommunikation mit den Menschen und einem artifiziellen Intelligenzsystem ermöglicht. Die Autorin fragt sich, ob dieses System nicht eine Berufsgruppe in Bälde in Pension schickt. Denn der AI DJ kann mehr oder minder all das was auch ein Mensch DJ macht. Vielleicht reicht es, einem AI DJ eine Auswahl an Stücken zu geben und dann geht es los?

Vielleicht aber reagiert ein Mensch besser auf Stimmungsschwankungen im Publikum?

 

Photo von MvT

Aber es kann natürlich ohne weiteres passieren, dass die artifizielle Intelligenz coolere Musik auflegt. Momentan greift das System noch auf 350 vorselektierte Tracks zurück. Aber das könnte sich auch ändern. Wir wissen das nicht. Dieses Projekt in jedem Fall, fasziniert durch Technik und Intelligenz, durch Mensch-Maschine Zusammenarbeit und Funkyness.

Prämiert auf der Ars Electronica mit einer Anerkennung. Hintergrundinformationen gibt es hier. Dieser Beitrag wurde im ÖK, anlässlich der Ars Electronica in Linz gesehen.

Beitrag von Margarete von Trifft.

Mimus: Coming face-to-face with our companion species von Madeline Gannon

Mimus ist ein Industrieroboter. Groß und schwer, präzise in den Bewegungen und unaufhaltsam bei der Arbeit. Diesen Maschinen steht nichts im Wege und deshalb sollte man das auch tunlichst unterlassen. Wir haben Respekt vor so großen Maschinen. Dieser Industrieroboter führt nicht nur vorprogrammierte Handlungen und Bewegungen aus. Er bewegt sich autonom. Die Decke ist mit Sensoren versehen, sie erfassen alle Bewegungen im Umfeld des Roboters. Werden Veränderungen wahr genommen, nähert sich der Roboterarm jeweils der Ursache. Werden keine weiteren Bewegungen erkannt, wendet sich der Arm ab und beschäftigt sich selbst.

Bildergalerie:

Präsentiert wird der Roboter nicht live, nur über einen Video. Da steht er in einem Glaskäfig, vor der Scheibe wie im Affenhaus befinden sich die Menschen, Kinder. Sie bewegen sich und sofort ohne Verzögerung reagiert der Roboter und nähert sich an. Das ist ein verrückt anzusehendes Schauspiel. Die Bewegungen wirken so natürlich, so lebendig, so individuell, so gewollt. Und sofort bringen wir dieser Maschine Empathie entgegen. Wir wollen mehr Interaktion, wir wollen spielen, wollen uns mit diesem technischen Tierchen anfreunden und es lieb haben.

Die Gestenerkennungssoftware heißt Quipt. Sie unterstützt neue und intuitivere Wege mit Industrierobotern zu kommunizieren. Mit wearable markers und einem motion capture system vermag Quipt Industrierobotern eine Raumwahrnehmung und -vorstellung zu vermitteln und das lässt sie in großer Nähe mit Anderen interagieren.

Madeline Gannon ist Doktorandin in Computational Design der Carnegie Mellon University. Ausserdem leitet sie das MADLAB.cc.

gesehen auf der Ars Electronica 2017: POST CITY. 

Ars Electronica 2017: POST CITY. PAPILON VON Hiraki Sato, Kenichi Nakahara, Koya Narumi, Yasuaki Kakehi, Ryuma Niiyama, Yoshihiro Kawahara (Japan)

Eine Geodätische Kuppel im Sinne von Buckminster Fuller steht dort. Sie ist aus leichten Plastikdreiecksmodulen, im 3 D Drucker die Verbindungselemente produziert. Die für eine Massenproduktion enthaltenen Informationen sind auf github veröffentlicht. Die Konstruktion sieht sehr leicht aus. Da wiegt nichts viel. So wie die Kuppel da steht, nimmt man sie im Rucksack mit. Das Aufstellen macht, wie bei anspruchsvolleren Zelten, die meiste Arbeit.

Bildergalerie:

Über die Kuppel ist ein feines Plastiknetz gespannt, darauf angebracht Schmetterlinge. Sie werden durch Kabelbinder am Netz befestigt. Sie sind aus einer Folie, vielleicht Plastikfolie. Im Mittelraum befinden sich Lichtsensoren. Sie reagieren auf Veränderungen der Umgebungen. Es ist eine responsive Architektur, die Soft Robot Technologien nutzt. Die Flügel der eng gesetzten Schmetterlinge entfalten sich und spenden Schatten, sie klappen hoch und lassen Licht durch. Sie reagieren wie eine atmende Skulptur. Fast glaubt man der Wind fegt sie bei einer leichten Brise weg. Aber dafür werden Verankerungen im Boden sorgen müssen. So verspielt und lieblich die Bestandteile sind, so eindrucksvoll ist das Ziel einer Miniatur Response Architektur erreicht.

Ars Electronica 2017: POST CITY. CODED SKELETON von Miyu Iwafune, Taisuke Ohshima

Der Wirbelsäule nachempfunden sind einzelne Gelenkplatten in einer Richtung beweglich oder dehnbar. In der anderen Richtung sind sie steif. Die Künstler nennen das Material Coded Skeleton. Es ist eine Kombination aus Formgedächtnislegierungen (Abkürzung FGLenglisch shape memory alloy, Abkürzung SMA) und 3 D gedruckten Modulen. Formgedächtnislegierungen  finden sich bei pneumatischen Ventilen in der Automobilindustrie, bei optischen Bildstabilisierungen, beim Autofokus, bei Stents in der medizinischen Implantatentechnik, bei Zahnspangen, bei Brillengestellen usw..

Das Material für den 3D Drucker  kann sich an eine frühere Formgebung trotz nachfolgender starker Verformung scheinbar „erinnern“. Daraus entstehen modulare mechanisch verbundene einseitig bewegliche Wirbelstrukturen. Sie können groß oder klein sein. Diese Module werden durch Code und Microcontroller bewegt. Es sieht mühelos aus und in die entsprechende Form verpackt, wie im Beispiel gezeigt, das Spielzeughasenöhrchen, ist die Bewegung mühelos und natürlich. Das 3 D Material ist in der Haptik ähnlich dem Knorpel in Gelenken. Etwas durchscheinend, warm und in seiner Härte elastisch.

Diese Arbeit inspiriert. Sie verbindet analoges mit Technik in einem vorstellbaren Masse. Es
ist die nachgebildete Anatomie, die so vertrauenserweckend ist. 

Coded Skeleton

 

Ars Electronica 2017: Mariendom: LightScale II von Uwe Rieger

Der Mariendom in Linz, Österreichs größter Kirchenbau, in dem gut 20.000 Menschen Platz finden, wird umgebaut. Das Gebäude ist neben den Bauabsperrungen leer. Das allein ist sensationell, denn die Größe und Höhe des Raumes kann sich vollständig entfalten. Hier wird LightScale II von Uwe Rieger gezeigt.

Das Werk braucht Luft. Es misst 20 Meter Länge und ist in Form einer Reuse aufgebaut. Die Karbonkonstruktion ist nicht federleicht, aber leicht. Unerwartet einfach lässt sie sich  im Raum bewegen. Sie ist aus Karbon gefertigt und auf einem Ein-Punkt Träger asymmetrisch aufgestellt. Für die Balance werden seitlich zwei Schwimmer, in diesem Fall Gewichte ausgelegt. Damit lässt sich die Reuse nicht nur in der Horizontalen, sondern auch Vertikalen verschieben. Sie kann auch im 45 Grad Winkel schaukeln. Die Reuse ist mit grüner Gaze umspannt. Im Innenbereich ist die Gaze locker in der Diagonalen ausgelegt. Sie bilden einen durchscheinenden Körper. Ultraschall- Sensoren an der Bodenträgerkonstruktion leiten Daten an ein Motion-Tracking –System. Mit Unity werden Soundfiles als auch Projektionen aktiviert. Es sind Meeresgeräusche und Walgesangähnliche Töne. Auf die Netze werden Unterwasserformen projiziert. Es sind Blasen, Quallen ähnliche Gebilde, Algen manchmal Geometrien. Sie schweben mit der gleichen Bewegung der Reuse im Netzraum. Der Besucher bewegt die Reuse und damit werden neben dem default Sound- und Bildteppich zusätzlich Sounds und Bilder aktiviert. Es ist eine meditative Installation. Sie beeindruckend durch Größe und Leichtigkeit.

Bildergalerie:

Die Semiotik des Materials, Netz, Reuse, Karbon verweisen auf die Schwerelosigkeit des Meeres. Die analoge Bewegung, das langsame Schweben und die leicht zu bewegende Reuse, die dann wiederum mit einer dem Meereswiderstand angemessenen Bewegung ein wenig schwerfällig Positionsveränderungen nachgeht sind der Vorstellung von der Bewegung unter Wasser angemessen. Das Gefühl im Meer zu sein wird erzeugt. Die schwarmhaften Projektionen verbunden mit den Wassergeräuschen und Walgesängen schließen den Eindruck. Es ist poetisch, leicht und meditativ. Hier will sich der Besucher aufhalten. Es wird nicht langweilig, die Geräusche und Bilder werden nicht aufdringlich, ein vollendetes Werk.

Reusen treiben im Meer . Die Fische, von Wind und Wellengang zum Ufer getrieben, schwimmen auf dem Rückweg ins Meer an den Leitnetzen entlang in die Reusen, aus denen sie nicht mehr entweichen können, weil die einzelnen Teile trichterförmig ineinander greifen. Im Frühjahr, nachdem kein Eisgang mehr zu erwarten ist, werden die Reusen eingesetzt und bleiben den ganzen Sommer über im Meer. Sie werden alle 3 Tage geleert.

Uwe Rieger Light Scale Ars Electronica

Uwe Rieger ist Associate Professor am arc/sec Lab for Digital Spatial Operations an der School of Architecture and Planning in Auckland.

LightScale II