plusinsight

Tag Archives: Mensch Maschine Schnittstelle

AI DJ Project – A dialog between human and AI through music von Nao Tokui und Shoya Dozono (JO)

 

 

Bei diesem Werk arbeitet eine Artifizielle Intelligenz und ein Mensch unter gleichen Bedingungen zusammen. Beide legen Platten auf, sie sind DJs. Zumindest werden die Bedingungen so gut wie möglich aneinander angeglichen. Denn die artifizielle Intelligenz verwendet den gleichen Plattenspieler und hat sogar eine physische Hand, die diesen Plattenspielertyp bedient. Und so macht es auch der Mensch.

Photo by Yasuhiro Tani, Courtesy of Yamaguchi Center for Arts and Media [YCAM]

Das System hört den unterschiedlichen Tracks des Menschen DJ  zu und ermittelt den Beat, Rhythmus und Art der Musik. Nachdem der Mensch aufgelegt hat, beginnt das artifizielle Intelligenzsystem den nächsten Track aufzulegen. Es fixiert das Tempo des nächsten Tracks und gleicht es dem des menschlichen DJ Tracks an. Es geht dem VR DJ darum, dass beide Tracks einen guten Übergang finden und die Rotationsgeschwindigkeit des Plattenspielers ähnlich ist. Hier kommt der Roboter – Finger zum Tragen, denn er manipuliert durch Berühren der Vinylplatte die Geschwindigkeit der Drehung. Es wird Musik ausgesucht, der Beat wird nahtlos dem neuen Track angepasst,  es wird verglichen und abgeglichen. Als weiteres Feature, wird die Tanzmenge, die vor den DJs steht,  analysiert.

Denn ein guter DJ liest sein Publikum, er schaut auf ihre Vorlieben,  ermittelt was funktioniert und nicht. Er kommuniziert, schaut Tanzenden in die Augen, lacht, tanzt; er fordert sie zum mitgehen auf. Ein schlechter DJ macht das nicht, der schaut auf sein Mischpult und zieht das vorher geübte durch und ab. Er geht nicht auf die Menge ein. Und dann kann es für den Partygänger zu einer wenig stimmungsvollen Nacht kommen.

Photo von MvT

Dieses System, der AI DJ betrachtet die Menge. Eine Kamera nimmt die Daten auf, analysiert sie und gibt den Datensatz, nach einer Bewertung weiter. Auf dieser Basis sucht der AI DJ Tracks, die eine ähnliche Stimmung erzeugen. Das verfolgt die AI so lange, bis die Bewegung der Tanzenden schwächer wird. Dann werden verschiedene Musikstücke ausprobiert und getestet, ob das Publikum weiterhin gelangweilt ist oder wieder mitgroovt.

Der Mensch DJ erlebt sicherlich die ein oder andere Überraschung, wenn der AI DJ ungeahnte Tracks selektiert. Das kann Spaß machen, kann zu Verwirrung gleichermaßen führen. Ebenso hofft der Mensch DJ sicherlich auch, dass der AI DJ seine Ansprüche und Anforderungen erfüllt.  So ein System birgt Ungeahntes in sich.

Photo von MvT

Es ist eine herausragende Arbeit, die eine Kommunikation mit den Menschen und einem artifiziellen Intelligenzsystem ermöglicht. Die Autorin fragt sich, ob dieses System nicht eine Berufsgruppe in Bälde in Pension schickt. Denn der AI DJ kann mehr oder minder all das was auch ein Mensch DJ macht. Vielleicht reicht es, einem AI DJ eine Auswahl an Stücken zu geben und dann geht es los?

Vielleicht aber reagiert ein Mensch besser auf Stimmungsschwankungen im Publikum?

 

Photo von MvT

Aber es kann natürlich ohne weiteres passieren, dass die artifizielle Intelligenz coolere Musik auflegt. Momentan greift das System noch auf 350 vorselektierte Tracks zurück. Aber das könnte sich auch ändern. Wir wissen das nicht. Dieses Projekt in jedem Fall, fasziniert durch Technik und Intelligenz, durch Mensch-Maschine Zusammenarbeit und Funkyness.

Prämiert auf der Ars Electronica mit einer Anerkennung. Hintergrundinformationen gibt es hier. Dieser Beitrag wurde im ÖK, anlässlich der Ars Electronica in Linz gesehen.

Beitrag von Margarete von Trifft.

„Fabula Deus – oder der Film der Zukunft“ von der fmx 2018, Prof. Katja Schmid

Foto: FMX 2018©Katja Schmid

Menschen träumen schon immer davon, die Welt nach ihren Vorstellungen zu gestalten. Nun scheint es so, dass heutige Filmemacher dieser göttlichen Vision näher denn je kommen. Virtual Production, VR, Realtime Technologien, Dronen, LED Displays, fotorealistische Simualtions- und Render Algorithmen, Motion Capture, Facial Capture, Photogrammetrie und Machine Learning gestatten den Kreativen, sich eine glaubhaft, zum Verwechseln echte Welt zu schaffen, in der Charaktere (Menschen oder synthetische Figuren) agieren.

Foto: FMX 2018,Dominique Brewing and Luzie Marquardt

Habib Zargarpour (CCO und Co-Founder von Digital Monarch Media) bringt es nach einem langen Tag zu Virtual Production auf den Punkt: „Es geht um einen Paradigmenshift. Die Filme werden anders werden“.

Er hatte zuvor das Virtual Film Tool Expozure life vorgestellt, mit dem in einer virtuellen Umgebung die Previsualisierung in realtime aufgenommen, also der Film visuell konzipiert werden kann. Mittels eines handheld devices kann der Kameramann oder Regisseur in der virtuellen Welt Einstellungen wie am Set gestalten. Am Ende des „Drehtages“ werden die Shots zu einer Szene zusammengeschnitten. Expozure kam für den Science-Fiction Film Blade Runner 2049 (executive producer Ridley Scott, Regie: Denis Villeneuve) zum Einsatz. „Was wäre, wenn wir in Zukunft unsere Geschichten direkt aus den Welten, die wir gebaut haben, entwickeln würden – also zu einem life perform of storybuilding übergingen?“ Wie würden sich die Filme verändern, wenn statt auf der Basis von Text, die zukünftigen Geschichten in der menschengemachten, visuellen Welt entstünden?

An Blade Runner 2049 hat auch Axel Akesson (MPC) mitgewirkt. Als Asset Supervisor war er für die digitale Replikation von Rachael verantwortlich.

Die größte Herausforderung beim Erstellen von Digital Humans ist die Überbrückung des uncanny valley (es bezeichnet die beim Zuschauer entstehende innere Akzeptanzlücke von künstlich hergestellten Personen. Der Realitätsgehalt eines virtuellen Characters kann entgegen der Erwartung von größtmöglicher Realitätsnähe zu einer minderen Akzeptanz beim Rezipienten führen, wenn dieser Differenzen zum antizipierten Original als störend wahrnimmt.)  „Tote Augen“ sind die größten Illusionsbrecher und eine Herausforderung. Axel Akesson spricht in dem folgenden Interview über die neuen Methoden der Lichtberechnung im Augapfel, aus welchen Komponenten die digitale Rachael besteht, über die Vorteile, die Virtual Production mit sich bringt, was zukünftig noch an Verbesserungen zu erwarten ist und warum echte Filmfotografie für ihn immer noch das non plus ultra ist.

Ian Comley, CG Tech Supervisor, ILM vertritt folgende Perspektive zu Virtual Production: “It is not a substitute for good storytelling. It’s a tool, it’s not a replacement.” Die Tools haben sich konstant in vielen Gebieten weiterentwickelt und sich gegenseitig beeinflusst. Besonders was look development angeht, werden solide Referenzen, mit denen dann Prototypen entwickelt werden, bevorzugt. Sie helfen um schlussendlich zu einer hohen Glaubwürdigkeit zu gelangen. Ian kann sich zwei Zukunfts-Szenarien vorstellen. Einerseits können die Entwicklungen ohne jeden Anteil an realer Filmfotografie zu digitalen Welten und digitalen Charakteren im Film führen. Andererseits sollten perfekte Drehorte weiterhin verwendet werden,, wenn es sie gibt, denn sie verfügen nicht minder über Realitätsanspruch. Was digitale Schauspieler angeht, beantwortet er die Frage: „Can you fully synthesize a human performance through artificial intelligence?“ eindeutig mit „Ja“. Nach Ian Comley sind künstliche Charaktere genauso überzeugend und in der Lage Zuschauer in ihre Geschichte zu involvieren, wie menschliche Schauspieler.

“Creating worlds – that is what we all love to do. It is the escapism that a lot of us love. It’s the endless possibility of making a whole new universe and its own rules.” meint Shannon Justison (Visualization Supervisor, The Third Floor). Im Prozess der Previsualisierung nehmen die ersten Ideen reale Formen an, lang bevor der eigentliche Dreh stattfindet. Über die Zukunft des storytellings denkt sie oft nach: „The truth is: I don’t know. And that is the interesting part. I can imagine all these opportunities for virtual reality storytelling, augmented reality storytelling are bouncing in my head. And honestly, I don’t have a coherent thesis on that. But I am just really excited to see where it goes.”

“Tools for the next generation of storytelling” ist der Titel für Daniel Gregoire’s Vortrag auf der FMX.  Er ist der Gründer der Firma Halon Entertainment, und wirkte an einer Vielzahl von Blockbustern als Previs Supervisor mit (War of the Worlds, Kung Fu Panda, Spider-Man 3, Life of Pi, Birdman or (The Unexpected Virtue of Ignorance), Jurassic World, The Hunger Games, Dawn of the Planet of the Apes, Alice Through the Looking Glass, Star Wars: The Force Awakens, Deepwater Horizon, Logan, and Kong: Skull Island). Sein Fokus liegt auf der Durchdringung von neuen Technologien und Storytelling und dafür nennt er ein eindrückliches Beispiel: „Photogrammetry hat es uns ermöglicht, den Ort, den wir beim location scouting besichtigt haben, buchstäblich mit nach Hause zu nehmen.“ Davon profitiert das gesamte Team, wenn es dann mit Hilfe der digitalen Kopie kreative Entscheidungen treffen kann.

Daniel macht in seinem Gespräch mit uns deutlich, wie schnell die Entwicklungen heutzutage vollzogen werden und wie komplex sie sind. „Realtime to me is a small stepping stone on the way to something bigger, faster, more effective. In terms of technology next generation will simply be today. Will be now.”

„Bei allen Überlegungen, wie sich die Welt des Kinos entwickeln wird, gingen mir immer wieder zwei Bildwelten durch den Kopf“, so Prof. Katja Schmid. „Die eine ist der Blick des kleinen Salvatore im Projektorraum in „Cinema Paradiso“ (Regie: Guiseppe Tronatore, 1988). und die andere Vision entstand beim Lesen von „Homo Deus“ (Yuval Harari) und sie dreht sich um die Frage, wie das Leben sein wird, wenn eines Tages hochintelligente Algorithmen die Menschheit  besser kennen, als der Mensch sich selbst. Wird dann die Welt zum Film ? Ist das der Paradigmenshift, der maßgeblich überdenkenswert ist?“

Und neben all diesen Überlegungen geht ein herzlicher Dank an Frau Nicola Steller für die großartige Pressearbeit. Mit überlegter Schnelligkeit und Akkuratesse wurden die Interviewpartner angeschrieben und zu uns in den Presseraum geleitet. Dort trafen wir auf einen für die fmx recht stillen Ort für Dreharbeiten. Und da Nicola Steller nicht alles allein schaffen kann, danken wir herzlich allem Helfern der fmx. 

Interviews wurden von Prof. Katja Schmid auf der fmx 2018 geführt.

Zur Autorin:

Katja Schmid begann als Filmemacherin in den DEFA-Studios für Trickfilme. 1993 erhielt sie ihr Diplom als Kamerafrau von der Hochschule für Film und Fernsehen in Potsdam-Babelsberg. Als Kamerafrau, Digital Artist und Editorin hat sie über 50 Film- und Medienproduktionen mitgestaltet. Seit 2004 ist sie als Professorin für Visual Effects and Postproduction an der HdM tätig. Von 2006-2011 kuratierte sie die Digital Cinema Conference, den Tech Track Stereoskopie sowie die Junior Paper Session der FMX. Von 2014 bis heute ist sie verantwortlich für das VEGA CAMP an der Hochschule der Medien. Ihre Forschungsgebiete sind Lichtfeldtechnologie und Wide Gamut.

Zum Ton:

Peter Ruhrmann trägt den Titel des Ingenieurs für Audio visuelle Medien. Er arbeitet mit Studierenden an VFX Medien Produktionen und zeigt sich verantwortlich für kreative technische Lösungen bei Herausforderung innerhalb der Produktionen. Außerdem entwickelt und wartet er seit 2006 die technische Infrastruktur des VFX Departments an der Hochschule der Medien. Peter Ruhrmann ist zertifizierter Nuke Trainer durch Foundry und fxphd. Seit 2008 unterrichtet er das Fach Compositing.

Fotos, Text, Interview: Katja Schmid

Ton: Peter Ruhrmann

Kamera: Patricia Birnfeld, Studentin der Audiovisuellen Medien an der Hochschule der Medien, Stuttgart.

fmx 2018: From storytelling to storyliving

 

Während die diesjährige FMX in der König-Karl Halle mit der Präsentation von Ben Morris, Mike Mulholland und Jason Wenüber die Visual Effects in Star Wars: The Last Jedi eröffnet wird, läuft nebenan der Konferenz-Track „Social Impact“ mit Sander van der Vegte, Jonathan Yomayuza und Luciana Carvalho Se.

VR – A Force For Good hat Luciana ihren Vortrag genannt und sie kann mit ihrem Enthusiasmus das Publikum begeistern. „Wir leben in einer Zeit, in der wir um Aufmerksamkeit kämpfen müssen. Ständige Ablenkung und Unkonzentriertheit beherrschen unseren Alltag. Die Stärke von Virtual Reality ist die Immersion und die damit verbundene Präsenz der Nutzer. Wenn wir ein Headset aufhaben, dann können wir kein Smartphone benutzen. Somit sind wir fokussiert und engaged in der virtuellen Welt“, meint die Head of Partnerships der London based company REWIND.  Und das sollten sich Content Producer zu Nutzen machen. Luciana Carvalho Se demonstriert mit verschiedenen Beispielen die positiven Auswirkungen von VR-Produktionen auf die Rezipienten.

„Virtual reality may change our memory, attitudes and behaviour.  It has also a long-term impact on our psychology and may evoke neuroreconditioning. VR will become a gamechanger”, erklärt sie während ihres Vortrages.

Eben weil es sich real anfühlt und wahr erscheint, meint Luciana Carvalho Se, werden wir uns mehr miteinander verbunden fühlen, leidenschaftlicher und menschlicher sein. Dieser Gedanke mag dem einen oder anderen angesichts von Headset-verdeckten Gesichtern eher fremd vorkommen. Doch die Argumente Lucianas sprechen für sich.

Zur Autorin:

Katja Schmid begann als Filmemacherin in den DEFA-Studios für Trickfilme. 1993 erhielt sie ihr Diplom als Kamerafrau von der Hochschule für Film und Fernsehen in Potsdam-Babelsberg. Als Kamerafrau, Digital Artist und Editorin hat sie über 50 Film- und Medienproduktionen mitgestaltet. Seit 2004 ist sie als Professorin für Visual Effects and Postproduction an der HdM tätig. Von 2006-2011 kuratierte sie die Digital Cinema Conference, den Tech Track Stereoskopie sowie die Junior Paper Session der FMX. Von 2014 bis heute ist sie verantwortlich für das VEGA CAMP an der Hochschule der Medien. Ihre Forschungsgebiete sind Lichtfeldtechnologie und Wide Gamut.

Zum Ton:

Peter Ruhrmann trägt den Titel des Ingenieurs für Audio visuelle Medien. Er arbeitet mit Studierenden an VFX Medien Produktionen und zeigt sich verantwortlich für kreative technische Lösungen bei Herausforderung innerhalb der Produktionen. Außerdem entwickelt und wartet er seit 2006 die technische Infrastruktur des VFX Departments an der Hochschule der Medien. Peter Ruhrmann ist zertifizierter Nuke Trainer durch Foundry und fxphd. Seit 2008 unterrichtet er das Fach Compositing.

Fotos, Text, Interview: Katja Schmid

Ton: Peter Ruhrmann

Kamera: Patricia Birnfeld

Mimus: Coming face-to-face with our companion species von Madeline Gannon

Mimus ist ein Industrieroboter. Groß und schwer, präzise in den Bewegungen und unaufhaltsam bei der Arbeit. Diesen Maschinen steht nichts im Wege und deshalb sollte man das auch tunlichst unterlassen. Wir haben Respekt vor so großen Maschinen. Dieser Industrieroboter führt nicht nur vorprogrammierte Handlungen und Bewegungen aus. Er bewegt sich autonom. Die Decke ist mit Sensoren versehen, sie erfassen alle Bewegungen im Umfeld des Roboters. Werden Veränderungen wahr genommen, nähert sich der Roboterarm jeweils der Ursache. Werden keine weiteren Bewegungen erkannt, wendet sich der Arm ab und beschäftigt sich selbst.

Bildergalerie:

Präsentiert wird der Roboter nicht live, nur über einen Video. Da steht er in einem Glaskäfig, vor der Scheibe wie im Affenhaus befinden sich die Menschen, Kinder. Sie bewegen sich und sofort ohne Verzögerung reagiert der Roboter und nähert sich an. Das ist ein verrückt anzusehendes Schauspiel. Die Bewegungen wirken so natürlich, so lebendig, so individuell, so gewollt. Und sofort bringen wir dieser Maschine Empathie entgegen. Wir wollen mehr Interaktion, wir wollen spielen, wollen uns mit diesem technischen Tierchen anfreunden und es lieb haben.

Die Gestenerkennungssoftware heißt Quipt. Sie unterstützt neue und intuitivere Wege mit Industrierobotern zu kommunizieren. Mit wearable markers und einem motion capture system vermag Quipt Industrierobotern eine Raumwahrnehmung und -vorstellung zu vermitteln und das lässt sie in großer Nähe mit Anderen interagieren.

Madeline Gannon ist Doktorandin in Computational Design der Carnegie Mellon University. Ausserdem leitet sie das MADLAB.cc.

gesehen auf der Ars Electronica 2017: POST CITY. 

Ars Electronica 2017: At INFINITUM: a parasite that lives of human energys von Patrick Baudiasch, Alexandra Ion, Robert Kovacs, David Lindlbauer, Pedro Lopes

Interaktivität? Es gleicht der menschlichen Kommunikation. Es wird eine Frage gestellt und eine Antwort erwiedert, es wird erneut eine gestellt und wieder kommt es zu einer Antwort. Ein stetes Spiel von wechselseitigem Gedankenaustausch. Wenn es unter Menschen geschieht, kommt es zu Verknüpfungen der Gedanken, sie können Neues hervor bringen, aber das muss nicht sein. Jedoch wird es erwünscht. Der Impuls, die Auseinandersetzung, die zu einem andersartigen Gedanken führt und dies zu einer neuartigen Handlung.

Wenn es unter Rechnern geschieht, dann kann das für Menschen zu einer nicht entschlüsselbaren Kommunikation führen. Es mag wie DADA aussehen, mag wie ein „aneinander vorbei“ Reden erscheinen, es kann alles mögliche sein, aber nicht unbedingt sinnstiftend.

Wenn es zwischen einem Mensch und einem Rechner geschieht, erwarten wir, dass der Mensch der kontrollierende Impulsgeber ist. Er kann einen Prozess in Gang setzten, kann ihn stoppen, kann in jedem Moment abschalten oder aufhalten.

Bei At INFINITUM: a parasite that lives of human energys wird eine andere Situation geschaffen. Die Maschine kontrolliert und steuert die Handlungen des Menschen. Durch seine Produktivität wird Strom und damit Licht erzeugt. Der User legt seinen Arm in eine entsprechend vorbereitete Schiene. Dann senken sich Plexiglasmanschetten an denen Elektroimpulse angebracht sind und halten den Arm fest. Wenn der User nun die Hand senkt und hebt, wird Strom erzeugt und damit Licht. Tut er dies nicht, sondern lässt er seinen Arm in der Schiene entspannt ruhen, stimulieren die Elektroden die Arme und führen sie zu einer Bewegung. Der Mensch verliert die Kontrolle über sein Handeln. Unfreiwillig arbeitet sein Arm. Diese Form der Interaktion liegt nicht in unserem Interesse, aber es ist gut sie durchdacht zu haben. Es weist auf Endzeitphantasien, wo Maschinen die Menschheit übernehmen.