plusinsight

Tag Archives: Medien

AI DJ Project – A dialog between human and AI through music von Nao Tokui und Shoya Dozono (JO)

 

 

Bei diesem Werk arbeitet eine Artifizielle Intelligenz und ein Mensch unter gleichen Bedingungen zusammen. Beide legen Platten auf, sie sind DJs. Zumindest werden die Bedingungen so gut wie möglich aneinander angeglichen. Denn die artifizielle Intelligenz verwendet den gleichen Plattenspieler und hat sogar eine physische Hand, die diesen Plattenspielertyp bedient. Und so macht es auch der Mensch.

Photo by Yasuhiro Tani, Courtesy of Yamaguchi Center for Arts and Media [YCAM]

Das System hört den unterschiedlichen Tracks des Menschen DJ  zu und ermittelt den Beat, Rhythmus und Art der Musik. Nachdem der Mensch aufgelegt hat, beginnt das artifizielle Intelligenzsystem den nächsten Track aufzulegen. Es fixiert das Tempo des nächsten Tracks und gleicht es dem des menschlichen DJ Tracks an. Es geht dem VR DJ darum, dass beide Tracks einen guten Übergang finden und die Rotationsgeschwindigkeit des Plattenspielers ähnlich ist. Hier kommt der Roboter – Finger zum Tragen, denn er manipuliert durch Berühren der Vinylplatte die Geschwindigkeit der Drehung. Es wird Musik ausgesucht, der Beat wird nahtlos dem neuen Track angepasst,  es wird verglichen und abgeglichen. Als weiteres Feature, wird die Tanzmenge, die vor den DJs steht,  analysiert.

Denn ein guter DJ liest sein Publikum, er schaut auf ihre Vorlieben,  ermittelt was funktioniert und nicht. Er kommuniziert, schaut Tanzenden in die Augen, lacht, tanzt; er fordert sie zum mitgehen auf. Ein schlechter DJ macht das nicht, der schaut auf sein Mischpult und zieht das vorher geübte durch und ab. Er geht nicht auf die Menge ein. Und dann kann es für den Partygänger zu einer wenig stimmungsvollen Nacht kommen.

Photo von MvT

Dieses System, der AI DJ betrachtet die Menge. Eine Kamera nimmt die Daten auf, analysiert sie und gibt den Datensatz, nach einer Bewertung weiter. Auf dieser Basis sucht der AI DJ Tracks, die eine ähnliche Stimmung erzeugen. Das verfolgt die AI so lange, bis die Bewegung der Tanzenden schwächer wird. Dann werden verschiedene Musikstücke ausprobiert und getestet, ob das Publikum weiterhin gelangweilt ist oder wieder mitgroovt.

Der Mensch DJ erlebt sicherlich die ein oder andere Überraschung, wenn der AI DJ ungeahnte Tracks selektiert. Das kann Spaß machen, kann zu Verwirrung gleichermaßen führen. Ebenso hofft der Mensch DJ sicherlich auch, dass der AI DJ seine Ansprüche und Anforderungen erfüllt.  So ein System birgt Ungeahntes in sich.

Photo von MvT

Es ist eine herausragende Arbeit, die eine Kommunikation mit den Menschen und einem artifiziellen Intelligenzsystem ermöglicht. Die Autorin fragt sich, ob dieses System nicht eine Berufsgruppe in Bälde in Pension schickt. Denn der AI DJ kann mehr oder minder all das was auch ein Mensch DJ macht. Vielleicht reicht es, einem AI DJ eine Auswahl an Stücken zu geben und dann geht es los?

Vielleicht aber reagiert ein Mensch besser auf Stimmungsschwankungen im Publikum?

 

Photo von MvT

Aber es kann natürlich ohne weiteres passieren, dass die artifizielle Intelligenz coolere Musik auflegt. Momentan greift das System noch auf 350 vorselektierte Tracks zurück. Aber das könnte sich auch ändern. Wir wissen das nicht. Dieses Projekt in jedem Fall, fasziniert durch Technik und Intelligenz, durch Mensch-Maschine Zusammenarbeit und Funkyness.

Prämiert auf der Ars Electronica mit einer Anerkennung. Hintergrundinformationen gibt es hier. Dieser Beitrag wurde im ÖK, anlässlich der Ars Electronica in Linz gesehen.

Beitrag von Margarete von Trifft.

„Tropics“ von Mathilde Lavenne (FR)

In Tropics geht es um mexikanische Farmen und ihre Bewohner, die mit verstreuten Stimmen, Erinnerungen, Vergangenes und Erlebtes erzählen. Die Bilder selbst, in schwarz-weiß gehalten, scheinen Traumbilder zu sein. Sie sind tief und mystisch. Es fühlt sich an, als würde die Zeit angehalten.  

Es geht um die im 19. Jahrhundert aus Frankreich kommenden Auswanderer, die mit Booten den Atlantik überquerten und in Mexiko, genauer am Rio Filobobos neu siedeln. Diese Region ist in der Nähe von Veracruz. Die französischen Familien, Bauern, kultivierten trotz des schwierigen tropischen Klimas und der tropischen Vegetation große Flächen für die Landwirtschaft. Während der spanischen Eroberungen wurde Mexiko zu einem Land der Träume. Landarbeiter aus Frankreich, als Europa malten sich eine blühende wenn auch gefährliche Natur aus, die mit Mut und Fleiß zu Unabhängigkeit und Wohlstand führen würde. Diese Eroberer wollten nicht nur Wissen vermitteln, nicht nur das Land kultivieren, sondern auch den katholischen Glauben verkünden. Es waren Bauern und Missionare.

Die Einwanderer oder eher Konquistadoren entdeckten eine fremde Vegetation, sie stellten andere neue pflanzliche Heilmittel her. Das Land war verheißungsvoll und zerstörend gleichermaßen. Es war gefährlich, aber gelobt.  

Die Künstlerin gibt der Vergangenheit den Erinnerungen und Familiengeschichten eine Stimme. Und ein Bild. Erinnerung vom Tod, vom Leben, von Verstorbenen heben die zeitliche Ordnung auf. Es werden Geister eines verlorenen Paradies belebt.

So spricht die Stimme, der Erzähler, von dem Autounfall, indem sein Vater verstarb. Vor 30 Jahren fand dies statt. Die Stimme, selbst ein Junge damals, ist im Wagen. Er beschreibt den Moment des Unfalls, wie er Geister sieht, Geister die aussehen, als kämen sie aus einem Harry Potter Film. Er spricht: „Vater hilf mir“. Der Vater küsst ihn und antwortet: „Jetzt wirst du leben“. Eine alte Frau erscheint in der Erinnerung. Die Stimme sagt, dass niemand wusste, dass sie tot sei. Und so spricht jener Mann, der sich erinnert, von seiner Gabe, Tote zu sehen. „Ich sehe Menschen, weiß nicht, dass sie tot sind, sie tragen Kerzen. Jahre später bin ich wieder an diesem Ort….“ Es ist die Geschichte von Toten.

  

Im Januar 2017 reist die Künstlerin nach Mexico und besucht einige Familien, die seit Generationen schon dort leben und arbeiten, direkte Abstammen der Einwanderer. Es ist die koloniale Vergangenheit, die sie zu entdecken wünscht. Sie will sehen und hören, wie westliche Gedanken und Vorstellungen in den Familien weiterleben. In der Tat erlebt sie erstaunliche Stunden. In den Familien lebt die Vergangenheit durch Objekte weiter.

Während der Regenzeit wird der Rio Filobobos zu einem gefährlichen, reißenden Gewässer,  tritt über seine Ufer und bedroht das Land, die Dörfer, die Arbeit und Bewohner. Gleichzeitig werden Tonwaren, bemalte Skulpturen oder andere Artefakte und Objekte an das Ufer gespült, Zeugen einer vergangen Zeit. Diese Dinge waren Gegenstände der Anbetung. Sie wurden von den damaligen Urbewohnern hergestellt, von den Siedlern gefunden und gesammelt, und sind heute noch in ihren Häusern zu finden. Diese Erinnerungen, eine ursprüngliche Naturweisheit verbindet sich unzertrennbar mit dem Wissen der Ankömmlinge und der Generationen danach. Es geht um die Gesetze der Natur, um Sonnenkalender, um saisonale Anbetungen.

Dieser Film zieht den Betrachter in einen Bann. Die Erinnerungsstimmen vermengen sich mit den Bildern und erschaffen eine mystische, geheimnisvolle Welt.

Die Künstlerin interessiert sich für anthropologische Dimension solcher Gesellschaften. Es geht um die Beziehung zwischen Mythen und dem Kosmos, als Wurzen für Glaubensansätze. Für diesen Film verwendete sie einen FARO Scanner der normalerweise in der Architektur zum Gebäudescann verwendet wird.

Sie platzierte ihn an Orten, die sie auf Karten entdeckte und erwanderte. Diese Scanner stellen mit weißen Punkten auf schwarzen Hintergrund rudimentäre 3 Dimensionale Abbildungen her. Die Bilder werden übereinander montiert und gelagert. Es ist als schauten wir in Erinnerungsbilder. Normalerweise werden solche Abbildungen mit Infrarotmasken oder Nachtaufnahmen assoziiert. Hier derweil fehlt der grüne Ton, die solche Bilder charakterisiert und das gibt dem Betrachter das Gefühl, als schaute er durch Materie in etwas Unsichtbares.

T R O P I C S – Gewinner der Goldenen Nica auf der Ars Electronica.

Beitrag von Margarete von Trifft (MvT)

Gastautorin Dr. Margarete von Trifft  studierte Soziologie und Kunstgeschichte, später freie Kunst an der Universität der Künste in Berlin und promovierte in den Bildwissenschaften. Es ging um die Virtualität der bildlichen Ausdrucksformen, des flüchtigen Bildes. Professor Ursula Drees lud sie ein, auf der Ars Electronica in Linz für den MediaArtBlog plusinsight zu schreiben.

Die Photographien wurden von der Leinwand im OK, Linz anlässlich der Ars Electronica mit einem Handy von Margarete von Trifft aufgenommen. 

fmx 2018: From storytelling to storyliving

 

Während die diesjährige FMX in der König-Karl Halle mit der Präsentation von Ben Morris, Mike Mulholland und Jason Wenüber die Visual Effects in Star Wars: The Last Jedi eröffnet wird, läuft nebenan der Konferenz-Track „Social Impact“ mit Sander van der Vegte, Jonathan Yomayuza und Luciana Carvalho Se.

VR – A Force For Good hat Luciana ihren Vortrag genannt und sie kann mit ihrem Enthusiasmus das Publikum begeistern. „Wir leben in einer Zeit, in der wir um Aufmerksamkeit kämpfen müssen. Ständige Ablenkung und Unkonzentriertheit beherrschen unseren Alltag. Die Stärke von Virtual Reality ist die Immersion und die damit verbundene Präsenz der Nutzer. Wenn wir ein Headset aufhaben, dann können wir kein Smartphone benutzen. Somit sind wir fokussiert und engaged in der virtuellen Welt“, meint die Head of Partnerships der London based company REWIND.  Und das sollten sich Content Producer zu Nutzen machen. Luciana Carvalho Se demonstriert mit verschiedenen Beispielen die positiven Auswirkungen von VR-Produktionen auf die Rezipienten.

„Virtual reality may change our memory, attitudes and behaviour.  It has also a long-term impact on our psychology and may evoke neuroreconditioning. VR will become a gamechanger”, erklärt sie während ihres Vortrages.

Eben weil es sich real anfühlt und wahr erscheint, meint Luciana Carvalho Se, werden wir uns mehr miteinander verbunden fühlen, leidenschaftlicher und menschlicher sein. Dieser Gedanke mag dem einen oder anderen angesichts von Headset-verdeckten Gesichtern eher fremd vorkommen. Doch die Argumente Lucianas sprechen für sich.

Zur Autorin:

Katja Schmid begann als Filmemacherin in den DEFA-Studios für Trickfilme. 1993 erhielt sie ihr Diplom als Kamerafrau von der Hochschule für Film und Fernsehen in Potsdam-Babelsberg. Als Kamerafrau, Digital Artist und Editorin hat sie über 50 Film- und Medienproduktionen mitgestaltet. Seit 2004 ist sie als Professorin für Visual Effects and Postproduction an der HdM tätig. Von 2006-2011 kuratierte sie die Digital Cinema Conference, den Tech Track Stereoskopie sowie die Junior Paper Session der FMX. Von 2014 bis heute ist sie verantwortlich für das VEGA CAMP an der Hochschule der Medien. Ihre Forschungsgebiete sind Lichtfeldtechnologie und Wide Gamut.

Zum Ton:

Peter Ruhrmann trägt den Titel des Ingenieurs für Audio visuelle Medien. Er arbeitet mit Studierenden an VFX Medien Produktionen und zeigt sich verantwortlich für kreative technische Lösungen bei Herausforderung innerhalb der Produktionen. Außerdem entwickelt und wartet er seit 2006 die technische Infrastruktur des VFX Departments an der Hochschule der Medien. Peter Ruhrmann ist zertifizierter Nuke Trainer durch Foundry und fxphd. Seit 2008 unterrichtet er das Fach Compositing.

Fotos, Text, Interview: Katja Schmid

Ton: Peter Ruhrmann

Kamera: Patricia Birnfeld

Warum der Oskar für Visual Effects an einen Deutschen ging… Prof. Katja Schmid

Prof. Katja Schmid, Visual Effects and Post Production, Studiengang Audiovisuelle Medien, Hochschule der Medien Stuttgart [Quelle: HdM Stuttgart]

Wie kann es sein, dass im Bereich vfx Visual Effects der Oscar an eine Deutsche Company geht? Die Hollywood Industrie ist doch führend, denken wir die Otto Normal Verbraucher? Wir, die wir gerne ins Kino gehen und uns von Bildwelten der neuen Art verzaubern lassen. Wenn plötzlich Welten vor unseren Augen entstehen, von den wir nicht möglich halten, dass sie  realistisch visualisiert werden können. Wenn Distanzen, Bewegungen, Objekte und Kreaturen eine Form bekommen, die weder biologischen, chemischen oder physikalischen Grundsätzen und Vorkommnissen entsprechen?

Industrial Light and Magic, Pixar, die Amerikanischen Pixomondos… allein diese Firmennamen kennt doch jeder, selbst jene, die nur sehr entfernt im Orbit dieser Industrie sind.

Für Prof. Katja Schmid, Visual Effects and Post Production, Studiengang Audiovisuelle Medien, Hochschule der Medien Stuttgart ist dieser Oscar nicht ganz so erstaunlich, wie für fachfremde Konsumenten. Sie kennt die Szene, nicht nur von der kreativen Seite, sondern auch von der wirtschaftlichen und gibt ihre Einsichten hier an uns weiter.

Und in diesem Sinne freuen wir uns, dass wir demnächst Unterstützung von einer Spezialistin im Bereich Visual Effects erwarten dürfen. Denn sie hat zugesagt,  ausgewählte Vorträge, Präsentationen oder Techniken auf der fmx 2018 in Stuttgart vom 24. – 27. April  zu besprechen. Herzlichen Willkommen!

CommAwards: GOLD für Schatten/Shadow

Die Studioproduktion Event Media unter der Leitung von Prof. Ursula Drees von der Hochschule der Medien in Stuttgart hat mit einem 8 köpfigen studentischen Team für ihr Werk „Schatten“ bei den CommAwards GOLD gewonnen. GRATULATION!

Auf der Site des CommAwards wird die Leistung hervorgehoben. „Absoluter Jury-Liebling und Highlight des CommAwards war der beeindruckende Erfolg des Studiengangs Audiovisuelle Medien der Hochschule der Medien Stuttgart. In der Kategorie RAUM erhielt die Studentenarbeit die einzige Gold-Auszeichnung und verwies selbst Koryphäen wie KMS und Atelier Brückner auf die bronzenen und silberne Ränge. Auf 125qm inszenierten drei Studentengruppen der HDM Stuttgart im Rahmen der MediaNight eine räumliche Adaption des szenischen Kurzfilms „Schatten“ und begeisterten die Jury restlos.“

„Die acht Studierenden sind keine Anfänger, einige von ihnen habenden die Studioproduktion als Fach zum zweiten oder gar dritten Mal belegt. Die Erfahrung und ihr Können machen sich bemerkbar, denn diese Studioproduktion ist ausgefeilt und durchdacht. Jedes Element passt zum nächsten, jede Technologie steht mit den Inhalten im Einklang. Ein durchweg stimmiges Werk, dass die Auszeichung GOLD verdient hat. “ Ursula Drees

Wir gratulieren!

Ausführliche Informationen zum Projekt finden sie hier.