Scenocosme Akousmaflore: Sensitive and interactive musical plants

Das Team um Daniel Robert von der University of Bristol hat festgestellt dass Blüten durch elektrische Ladungen Botschaften an Hummeln aussenden, damit diese erkennen, ob Blüten Nektar bieten oder nicht.

Nicht nur Blüten haben eine elektrostatische Aufladung, auch Pflanzenblätter. Diese reagieren auf Umweltveränderung. Annäherung von Mensch, Tier, Gegenständen, ggf. Wetteränderungen.

Arcadia ist eine interaktive Klang- und Lichtinstallation, die die Biorhythmen von Pflanzen nutzt, um Musik und entsprechende Lichtstimmungen zu erzeugen. Sie funktioniert, indem sie die Schwankungen der galvanischen Leitfähigkeit von Pflanzen in MIDI-Daten umwandelt, um MIDI-Instrumente in Echtzeit zu steuern – „Pflanzen machen Musik“. Zusätzlich sind an verschiedenen Stellen der Umgebung Kontaktmikrofone angeschlossen, die eingehende Audiosignale in MIDI-Nachrichten umwandeln. So können die Teilnehmer mit den Pflanzen interagieren und die Umgebung in ein großes Musikinstrument verwandeln.

Arcadia Sound Installation verwendet dieses Wissen um eine Installation von Singenden Pflanzen zu machen. Eine sicherlich beeindruckende Erfahrung. Man gehe durch einen Wald und mit einem Mal werden Änderungen des Daseins von Seiten der Pflanzen in Töne umgewandelt. Eine sprechende Pflanze? Sind das Schritte, um mit Pflanzen in eine psydo-menschliche Kommunikation zu treten?

Sam Nester entwirft in Zusammenarbeit mit der bildenden Künstlerin Caroline Rannersberger, dem Architekten Christopher Clinton und dem Pflanzenökologen Daniel Sprod eine öffentliche Kunst- und Klanginstallation, die auf seinem Arcadia-Projekt basiert. Hier der Arcadia LIve Stream.

Arcadia verbindet Kunst, Natur und Selbstfürsorge, indem es einen virtuellen Meditationsraum schafft. Das Center for Well-Being veranstaltet jeden Donnerstag 30-minütige Meditationen mit Arcadia via Zoom! Wer teilnehmen will?

Im Laufe der einjährigen Installation wird Arcadia ein Versuchsfeld für die Untersuchung der folgenden Heilpflanzen der Ureinwohner Virginias sein: Black Cohosh, Wild Indigo, Butterfly Weed, Maidenhair Fern, und Pink Azalea. Arcadia wird auch bei der Campus-Forschung über Wurzelfäule, Pflanzenvermehrung und Pflanzenschutz helfen, indem es American Ginseng, Goldenseal, Echinacea, Zaubernuss, Red Bud, Flowering Dogwood, Paw-Paws, Feigen, Blaubeeren, alpine Erdbeeren, Zwerghimbeeren ohne Dornen, Johannisbeersträucher und Serviceberry einbezieht. (Dank an Hardings Ginseng Farm und United Plant Savers) Die Arcadia-Pflanzen werden schließlich an neue Standorte auf dem Campus verpflanzt, wie zum Beispiel den Innovation Food Forest und das Green Studio.

Der in Australien geborene Trompeter Sam Nester führt eine vielfältige Karriere als Interpret und Pädagoge. Nester spielte unter anderem für das Mostly Mozart Festival & Lincoln Center Out of Doors im Lincoln Center, das Beijing Modern Music Festival, das BAM Next Wave Festival, das Paris Opera Ballet, das Wordless Music Orchestra, die Mark Morris Dance Group und das Festival of New Trumpet Music. Für diese und andere Ensembles hat Nester Werke des mit dem Pulitzer-Preis ausgezeichneten Komponisten John Luther Adams, John Cale (Velvet Underground) und John Zorn uraufgeführt.

2019 war Nester Artist-in-Residence der Bruny Island Foundation und schuf ortsspezifische Aufnahmen im ikonischen Leuchtturm der Insel. Im Jahr 2020 arbeitet er mit der George Mason University (USA) zusammen, um eine einjährige interaktive Licht- und Klanginstallation für deren Campus in Virginia zu entwerfen.

Nester wurde mit zahlreichen Preisen ausgezeichnet, er war Fulbright-Stipendiat, erhielt den Australian Music Foundation Award, den Brian Boak Outstanding Performer Award und war Stipendiat des Dame Joan Sutherland Fund der American Australian Association. Er schloss sein Studium mit einem Bachelor of Music Studies am Queensland Conservatorium und einem Bachelor of Music an der Western Australian Academy of Performing Arts (First Class Honors) ab. Er erhielt einen Master of Music und einen Doktortitel der musikalischen Künste von der Manhattan School of Music und wurde mit dem Helen Cohn Award für herausragende Leistungen ausgezeichnet. Zu seinen wichtigsten Trompetenlehrern zählen David Elton und Mark Gould.

Beitrag von Ursula Drees

Träume sind vielseitig. Somnium – Modular Dreams macht die Emotionen und Geschichten, die wir während des Träumens durchleben, visuell und auditiv greifbar. Somnium – Modular Dreams bietet die Möglichkeit, interaktiv und kreativ eigene Traumwelten zu erschaffen.

Wir träumen. Der Traum ist ein Weg zum Unterbewussten, er ist unstet. Mit Somnium – Modular Dreams legen wir das Geträumte dar und halten die Flüchtigkeit der Träume fest. Mit Somnium schaffen wir ein Objekt, das unsere Träume offenbart. Mit Ton, Bild, Atmosphäre und Licht.

Mit Somnium – Modular Dreams werden Emotionen und Geschichten, die während des Träumens durchlebt werden, auch im Wachzustand angesprochen und visuell greifbar gemacht. Die Besucher sind in der Lage, eigene Traumwelten zu erschaffen und sich kreativ auszuleben. Ein modulares Stecksystem stellt die Basis dar. Die Module dieses Systems lassen sich spielerisch erkunden und zu einem haptischen, visuellen und auditiven Erlebnis zusammensetzen; den kreativen Kombinationen sind dabei keine Grenzen gesetzt. Durch An- und Umstecken der Module an den Baukasten verändern sich die visuelle Projektion, die auditive Bespielung und die Lichtstimmung im Raum. Module mit reaktiven Elementen verändern zusätzlich das Gesehene und Gehörte. 

Die Träume werden durch verschiedene Medien verwirklicht: surreale Animationen mit Computer Grafics, Videoaufnahmen, Drohnenaufnahmen, Computer Generated Grafics, Real-Time-Simulationen oder Fotografien werden durch Ton unterstützt.

Der Ton selber spielt eine grosse Rolle, denn Klangatmosphären reichen von natürlichen Szenarien wie Wäldern, Höhlen, Stränden und Stürmen über urbane Atmosphären im Straßenverkehr, an Bahnstationen sowie in diversen anderen Menschenansammlungen hin zu Klangatmosphären die darauf abzielen, bestimmte Emotionen im Besucher hervorzurufen. Sie sind teilweise rein auditiv, zum Teil aber auch an Videoinhalte gebunden. Manche erzählen eigene Geschichten, andere dienen als Hintergrundgeräuschkulisse. Diese Geräuschkulissen sind so angelegt, dass sich ein Teil daraus, vom Besucher möglichst unbemerkt, in einer Endlosschleife wiederholt bis das Modul abgesteckt wird. Ein Mehrkanalbeschallungssystem ermöglicht eine Raumanordnung für ein dreidimensionales Klangszenario.

Galerie des Teams:

Bildergalerie:

Schlemmerxbeats, der interaktive Technoclub in der Stuttgarter Staatsgalerie am 14,. Februar 2020 hat gerade beim ADC Talent Award im Bereich Experimentelles Gestalten, Räumliche Inszenierung einen GOLDENEN Nagel gewonnen.

Die Produktion befasst sich anlässlich des 100jährigen Jubiläums des Bauhauses mit einer Neuinterpretation des Triadischen Balletts von Oskar Schlemmer in Form eines interaktiven Clubs. Nicht nur die Träume von Oskar Schlemmer nach elektronischer Musik sollen in Erfüllung gehen, sondern auch ein Triadisches Ballett, das stetig tanzt.

Und innerhalb dieser Farben gibt es jeweils verschiedene Triadische Kostüme. Dabei wird das Kostüm bereits live an dem immer gleichbleibenden Basiskörper wie an einer Mannequin anprobiert. Der Tänzer erhält einen Bauhaus-Namen. Mit einem Bestätigungsmechanismus wird das Kostüm ausgewählt, es erscheint als Projektion an der Wand und begibt sich mit der Clubber*in in den Clubraum. Dort wird der architektonische Raum um 3 Wand Projektionen erweitert. Dieser Erweiterungsraum ist den Triadischen Tänzern vorbehalten. Dort tanzen sie zur elektronischen Musik. So wie die Clubbesucher*innen selbst.

Bildergalerie:

1 2 ►

Der Künstler Refik Anadol ist Medienkünstler und Regisseur. Er wurde 1985 in Instanbul, Türkei geboren, lebt und arbeitet in Los Angeles, CA. Er doziert und forscht am Department of Design Media Arts der UCLA. Er hat einen Master of Fine Arts der University of California, Los Angeles in Media Arts, einen Master of Fine Arts der Istanbul Bilgi University in Visual Communication Design und einen Bachelor of Arts mit summa cum laude in Fotografie und Video.

In seinen Arbeiten geht es um den Raum zwischen dem Digitalen und dem Physischen. Die hybride Beziehung von Medienkunst und Raum. Dafür instrumentalisiert er Architektur, macht sie zu Leinwänden seiner Ideen, klassisch wie Maler ihre Leinwand.

Er findet eine erste, vielleicht prägendste Inspiration in der frühen Jugend, als ihn seine Mutter in Blade Runner nimmt. Es ist ein dystopische Vision von Los Angeles im Jahr 2019. Eine Stadt als Werbeplakat, Natur gibt es nicht, alles ist artifiziell, Menschen gemacht. Es ist aber nicht nur der Film, es ist die Architektur als Leinwand, die er wahr nimmt. Große Flächen, die darauf warten, bespielt zu werden.

Eine andere Thematik zeigt sich in in dem Kunstwerk „Machine Hallucinations“. Es sind sich unentwegt verändernde Landschaften, durch eine KI erzeugt.

Refik Anadol zu seinem Werk: „Daten und Dateiformate sind Pigmente und diese Pigmente können verschiedenste Formen annehmen. Daten sind nicht nur Reihen von ein paar Zahlenhaufen, sondern immer Kalkulation. Rechen- und Computersysteme sind immer Kalkulation, das liegt ja irgendwie in der Natur der Sache. Aber es ist eher kontrollierte Zufälligkeit.“

Die Bilder entstehen durch KI, durch Algorythmen. Der Algorythmus wird mit hunderten und tausenden von Bildern trainiert und entwickelt dann eigene Landschaften, eigene Bilder. Diese künstliche Intelligenz, dieses Maschinenlernen ist an den Lernprozess des Menschen angelehnt, es ist ähnlich, vielleicht gleich aber sehr schnell.

Refik Anadol stellt die Frage: „Wenn eine Maschine lernen kann, kann sie auch träumen?“. Es drängt sich die Frage auf ,ob Maschinen irgendwann einmal auch Gedanken und Gefühle simulieren? Was passiert, wenn Maschinen lernen, die Oberflächenbewegung von Wasser zu simulieren oder wenn sie Landschaften auf der Welt verinnerlicht haben? Maschinen, die in Form von Landschaften träumen … Oder was passiert, wenn wir KI nutzen, um den Moment des Erinnerns zu visualisieren?

Diese Fragen sind nicht neu, aber die künstlischen Ausdrucksformen sind stets unterschiedlich. Bei Refik Anadol sind es unendlich generierte Landschaften. Eine stete Veränderung, nichts ist so wie noch eine Millisekunde davor. Es verändert sich in einem halluzinativen Tempo, gerade langsam genug, um die Szene zu erkennen, schnell genug, das das Zeitliche zu erfühlen. Es ist nicht, wie im Zug fahren und die Landschaft rast vorbei. Es gibt im Bild keine richtungsweisende Dynamik, alles in den Bildern bewegt sich in sich stetig. Es ist ein Pixelmorphen und das erzeugt eine unendliche Menge an Landschaften. Sie könnten real sein, erscheinen so, aber sie sind es nicht.

Anfangs höchst faszinierend, nach einer Weile eher Zen und dann? Dann stellt sich die Frage nach Kunst? Wie immer an dieser Stelle. Denn ist es die technische Faszination, ist es diese stete Transformation, sind es die Bildwelten an und für sich? Sind es die zufälligen Landschaftsbilder? Ist es die Farbe, das Leben, die Bewegung? Wer uninformiert ist, der kann schnell behauten, es sind Landschaften als endlos Loop ineinander gemorphed. Sich nach der Behauptung sich abwenden und gegen Langeweile, Enttäuschung ankämpfen.

Wer sich interessiert, der wird erfahren, dass für dieses Kunstwerk ein Algorithmus generiert wurde, der mithilfe einer KI, bzw. GAN (Generative Adversarial Network), auf der Basis von 68,986,479 Naturfotografien, eine fließende, immersive, realtime Erfahrung erzeugt oder zumindest erzeugen soll.

Antatol Refik dazu: „Die Natur als Ganzes, die die Lücken in unserer beschränkten Wahrnehmung des Kosmos füllt – das ist die Grundlage von Nature Dreams. Das immersive Kunstwerk, das den virtuell geschaffenen Raum als real erscheinen lässt, enthält Pigmente, Formen und Muster, die wir in unserer sinnlichen Erfahrung mit der Natur assoziieren, so entsteht eine beeindruckende Hommage an ihre unbändige poetische Kraft.“

Alle Bilder sind fiktiv, aber so real, dass das Gehirn darin Landschaften erkennt. Es ist prozessgesteuert, virtuell und vollständig durch die KI generiert. Und dennoch sieht der Rezipient eine „unbändige poetische Kraft“ der Natur. Jedes Bild, solange wir die Pixelanordnungen in diesem Fall als Bild bezeichnen wollen, ist nur einmal zu sehen. Jedes Bild ist nur für einen Frame sichtbar und dann folgt schon das nächste. Es entsteht eine kontinuierliche, fließende Veränderung.

Die KI, das soll nicht unerwähnt sein, produziert wunderbare Postkartenlandschaften. Denn die eingespeisten Bilder scheinen die fotografischen Kassenschlager der Touristen zu sein. Da gibt es jede Menge Alpen, Flussläufe, Blossom Blooms, Sonnenuntergänge am Meer und in der Wüste, hier mal Palmen, alles was der Tourist knipst. Die KI hat leider keine Ahnung von der Durchschnittlichkeit „ihrer“ inneren Bilder, der Träume. Sie müsste jetzt noch etwas über Gestaltung, Bildaufbau, Harmonie, Disharmonie, Farbe und Komposition lernen, dann könnte sie künstlerischer träumen. Wollen wir hoffen, dass der Künstler der KI vielleicht auch diese Bilder einspeist. Das wäre ein Versuch wert.

Beitrag von Ursula Drees

Quelle: Interview mit Anatol Refik und Marcus Boxler: „Wenn Maschinen träumen“, in monopol, Magazin für Kunst und Leben, am 08.07.2020, Baden Baden.

Paul ist eine Roboterinstallation, die beobachtende Gesichtszeichnungen von Menschen anfertigt. Paul ist ein naiver Zeichner: Er verfügt weder über ein hohes Maß an Wissen über die Strukturen, die das menschliche Gesicht ausmachen (wie Mund, Nase, Augen), noch über die Fähigkeit, Fachwissen aufgrund von Erfahrung zu erlernen, wie es ein Mensch tun würde. Paul ist jedoch in der Lage, mit dem Äquivalent einer stilistischen Signatur eines Künstlers zu zeichnen, die auf einer Reihe von Prozessen basiert, die Zeichenfähigkeiten und -techniken imitieren, die zusammen einen Zeichenzyklus bilden.

Der Akt der Herstellung von Zeichnungen aus der Beobachtung ist ein Prozess, der Faszination ausübt und als schwer zu erlernende Fähigkeit. Es ist ein künstlerischer Prozess. Beobachtungsgabe, Präzision, handwerkliches Können, Übung und Talent sind die vorherrschenden Merkmale für diese Tätigkeit. Sie wird KünstlerInnen zugesprochen. Diese Tätigkeit ist individuell, eigenständig, es entstehen Originale, einzigartige Artefakte.

Paul derweil, eine Roboterinstallation, widerlegt diese Betrachtung. Paul ist eine Roboter-Kunstinstallation, die von dem Künstler und Wissenschaftler Patrick Tresset in Zusammenarbeit mit Frederic Fol Leymarie entwickelt wurde und auf Patrick Tressets Stil basiert. Paul produziert Beobachtungszeichnungen von Menschen. Sie sitzen ihm Model. Technologien und Ideen, werden angewandt, die im Rahmen des AIkon-II-Projekts an der Goldsmiths, University of London, entwickelt wurden. Dort wird die Zeichentätigkeit durch computergestützte Modellierung und Robotik mit einem Schwerpunkt auf dem Zeichnen von Gesichtern nach Model untersucht.

Patrick Tresset selbst ist bildender Künstler. Er lebt in Brüssel und erforscht in seiner Arbeit menschliche Eigenschaften und die Aspekte menschlicher Erfahrung. Seine Arbeit reflektiert wiederkehrende Ideen wie Verkörperung, vergehende Zeit/Zeitvergehen, Kindheit, Konformismus, Zwanghaftigkeit, Nervosität, das Bedürfnis nach Geschichtenerzählen und Markierungen. Am bekanntesten ist er für seine performativen Installationen, in denen er Roboteragenten als stilisierte Schauspieler einsetzt, die Zeichen setzen, und für seine Erforschung der Zeichenpraxis mit Hilfe von Computersystemen und Robotern.

Auf der Ars Electronica in Linz hatte ich die Möglichkeit nicht nur Model für 5 dieser Paul-Roboter-Zeichner zu sitzen, sondern auch einige Fragen und Hintergründe zu erfragen. Mich interessierte wie dieses Bedürfnis nach künstlerisch handelnden Robotern entstand. Der Berufsstand der KünstlerIn definiert sich durch Individualität. Das künstlerische Handeln fußt auf hoher Eigenständigkeit und Einzigartigkeit. KünstlerInnen entwickeln über Jahrzehnte hinweg einen neuwertigen, eigenen Stil, eine wieder erkennbare Handschrift. Diese muss verwechselbar, anders als alles zuvor gesehene, etwas das bei der Betrachtung durch das menschliche Auge eine innere Bewegung auslöst sein.

Wie kann ein bildender Künstler eine Methode herstellen wollen, die durch Technologie, durch seelenloses Tun durch eine Maschine, diese Eigenständigkeit imitiert?

Denn die Roboterinstallationen namens Paul imitieren Patrick Tressets Zeichenstil. Und mit der Herstellung des Ersatz-Patrick Tressets setzt er seine Fähigkeit herab. Seine Kunst ist durch von ihm geschaffene Roboter namens Paul 1 bis 5 ersetzbar.

Patrick Tresset malt und zeichnet, er weiss, was es heisst ein Portrait anzulegen. Was motivierte ihn zur Entwicklung eines Zeichenroboters?

Patrick Tresset berichtet, dass er im Kunststudium große Freude an der Tätigkeit hatte. Aber nach einigen Jahren der künstlerischen Praxis nahm der Grad an Freude ab. Er kam nicht weiter, lief im Leerlauf, es machte ihn depressiv. Ende 30, nachdem er 15 Jahre lang als Maler gearbeitet hatte, zog einen Strich unter sein bisheriges Leben und besuchte das Goldsmith College in London, machte einen Master-Abschluss und anschließend einen MPhil in Kunst und Computertechnologien.

Er sucht nach Wegen, seine künstlerische Praxis  mit Wissenschaft zu verbinden. Und so entstand das AIkon-II-Projekt. Es zielt darauf ab Installationen herzustellen, die in einem künstlerischen Kontext gesehen werden. Und dieser Kontext soll in einem wissenschaftlichen Licht hinterfragt werden.

Die Zeichnungen die durch das System namens Paul entstehen, unterscheiden sich von denen, die von einer menschlichen Hand gemacht werden. Nichtsdestotrotz wird die Erfahrung gemacht, dass diese Zeichnungen vergleichbare emotionale und ästhetisch-künstlerische Wirkungen auf den Betrachter erzeugen.

Im Gespräch unterscheidet Tresset zwei Gruppen von Betrachtern. Jene, die selber zeichnen und jene, die es nicht tun. Die Zeichner bewundern die Ergebisse der Pauls, die Anderen wünschen die menschliche, schaffende Hand, nicht einen Roboterarm. Es ist zu beängstigend, das künstlerische Genie auf Maschinen reduziert zu sehen. Wo ist das Original?

Patrick Tresset geht davon aus, dass Nachkommen von Paul, die von weiteren Forschungsbemühungen wie denen des AIkon-II-Projekts profitieren werden, in der Lage sein werden, in einer Weise zu zeichnen, die der des Menschen immer ähnlicher wird; er erwartet jedoch, dass ihre Stile weiterhin stark von den Eigenheiten eines Systems abhängen, einschließlich der physischen und leistungsbezogenen Eigenschaften und Einschränkungen.

Patrick Tresset lässt Portraits zeichnen. Denn Betrachter haben genaue Vorstellungen vom menschlichen Gesicht. Formen, Strukturen, Proportionen sind bekannt und in vielfältigster Weise durch Künstler abgebildet worden. Manche figurativ, photorealistisch sogar, andere mit mildem oder hohem Abstraktionsgrad. Der Rezipient hat eine genaue vorstellung, er wendet seine Erfahrung, sein erlerntes Wissen an, er bewertet. Es geht darum herauszufinden, ob die Arbeiten der Computer-Pauls als Kunst akzeptiert werden.

Die Reaktion von Zeichnungspraktikern ist immer positiv, ausnahmslos betrachten Zeichnungspraktiker Pauls Zeichnungen als „als Zeichnungen arbeitend“, mit anderen Worten, sie haben die gleichen Qualitäten, die eine gute Zeichnung charakterisieren. Auch ein großer Teil des Fachpublikums, darunter Kuratoren, Kritiker, Sammler und Künstler, akzeptiert und bewertet Pauls Produktion als Kunstwerke von Qualität.

Eine allgemeine Systemansicht von AIkon-II, einem Forschungsprojekt zum Verständnis und zur Modellierung der Aktivität des Gesichtszeichnens. Als Beispiel dafür, wie die visuelle Wahrnehmung in mentale Bilder einfließt, die wiederum ein Schema auslösen können wird auf der linken Seite nach der Extraktion der Pose eines Gesichts eine gestrichelte Linie, die durch die Augen verläuft (in der Box für mentale Bilder)gezeigt. Daraus wird ein spezifisches Schema abgerufen, das eine weitere Wahrnehmungsphase informiert, z. B. indem es angibt, welche Informationen gesammelt oder überprüft werden müssen und wo sie zu erwarten sind.

Wo steht Paul in diesem Kontext der Vermischung von Kunst und Robotik? Paul ist im Wesentlichen autonom und braucht nur minimale menschliche Hilfe. Er braucht vor allem einen menschlichen Sklaven/Assistenten, der die ungelernte Arbeit verrichtet: das Wechseln des Papiers – aber auch das könnte automatisiert werden. Es ist amüsant, dass Paul zu Veranstaltungen eingeladen wird, bei denen er auftritt und seine Schöpfer einfach als menschliche Assistenten folgen. Paul ist ein obsessiv zeichnendes Wesen und wie die meisten zeitgenössischen Roboterkunstwerke bleibt auch er weit weg vom uncanny valley. Aber Paul produziert neue Artefakte und wie seine utilitaristischen Sklavengeschwister kann auch er, mit mehr oder weniger Erfolg, den Menschen ersetzen, dieses Mal in einer bestimmten kreativen Tätigkeit, dem Zeichnen von Gesichtern.

Beitrag von Ursula Drees