plusinsight

Tag Archives: application

AI DJ Project – A dialog between human and AI through music von Nao Tokui und Shoya Dozono (JO)

 

 

Bei diesem Werk arbeitet eine Artifizielle Intelligenz und ein Mensch unter gleichen Bedingungen zusammen. Beide legen Platten auf, sie sind DJs. Zumindest werden die Bedingungen so gut wie möglich aneinander angeglichen. Denn die artifizielle Intelligenz verwendet den gleichen Plattenspieler und hat sogar eine physische Hand, die diesen Plattenspielertyp bedient. Und so macht es auch der Mensch.

Photo by Yasuhiro Tani, Courtesy of Yamaguchi Center for Arts and Media [YCAM]

Das System hört den unterschiedlichen Tracks des Menschen DJ  zu und ermittelt den Beat, Rhythmus und Art der Musik. Nachdem der Mensch aufgelegt hat, beginnt das artifizielle Intelligenzsystem den nächsten Track aufzulegen. Es fixiert das Tempo des nächsten Tracks und gleicht es dem des menschlichen DJ Tracks an. Es geht dem VR DJ darum, dass beide Tracks einen guten Übergang finden und die Rotationsgeschwindigkeit des Plattenspielers ähnlich ist. Hier kommt der Roboter – Finger zum Tragen, denn er manipuliert durch Berühren der Vinylplatte die Geschwindigkeit der Drehung. Es wird Musik ausgesucht, der Beat wird nahtlos dem neuen Track angepasst,  es wird verglichen und abgeglichen. Als weiteres Feature, wird die Tanzmenge, die vor den DJs steht,  analysiert.

Denn ein guter DJ liest sein Publikum, er schaut auf ihre Vorlieben,  ermittelt was funktioniert und nicht. Er kommuniziert, schaut Tanzenden in die Augen, lacht, tanzt; er fordert sie zum mitgehen auf. Ein schlechter DJ macht das nicht, der schaut auf sein Mischpult und zieht das vorher geübte durch und ab. Er geht nicht auf die Menge ein. Und dann kann es für den Partygänger zu einer wenig stimmungsvollen Nacht kommen.

Photo von MvT

Dieses System, der AI DJ betrachtet die Menge. Eine Kamera nimmt die Daten auf, analysiert sie und gibt den Datensatz, nach einer Bewertung weiter. Auf dieser Basis sucht der AI DJ Tracks, die eine ähnliche Stimmung erzeugen. Das verfolgt die AI so lange, bis die Bewegung der Tanzenden schwächer wird. Dann werden verschiedene Musikstücke ausprobiert und getestet, ob das Publikum weiterhin gelangweilt ist oder wieder mitgroovt.

Der Mensch DJ erlebt sicherlich die ein oder andere Überraschung, wenn der AI DJ ungeahnte Tracks selektiert. Das kann Spaß machen, kann zu Verwirrung gleichermaßen führen. Ebenso hofft der Mensch DJ sicherlich auch, dass der AI DJ seine Ansprüche und Anforderungen erfüllt.  So ein System birgt Ungeahntes in sich.

Photo von MvT

Es ist eine herausragende Arbeit, die eine Kommunikation mit den Menschen und einem artifiziellen Intelligenzsystem ermöglicht. Die Autorin fragt sich, ob dieses System nicht eine Berufsgruppe in Bälde in Pension schickt. Denn der AI DJ kann mehr oder minder all das was auch ein Mensch DJ macht. Vielleicht reicht es, einem AI DJ eine Auswahl an Stücken zu geben und dann geht es los?

Vielleicht aber reagiert ein Mensch besser auf Stimmungsschwankungen im Publikum?

 

Photo von MvT

Aber es kann natürlich ohne weiteres passieren, dass die artifizielle Intelligenz coolere Musik auflegt. Momentan greift das System noch auf 350 vorselektierte Tracks zurück. Aber das könnte sich auch ändern. Wir wissen das nicht. Dieses Projekt in jedem Fall, fasziniert durch Technik und Intelligenz, durch Mensch-Maschine Zusammenarbeit und Funkyness.

Prämiert auf der Ars Electronica mit einer Anerkennung. Hintergrundinformationen gibt es hier. Dieser Beitrag wurde im ÖK, anlässlich der Ars Electronica in Linz gesehen.

Beitrag von Margarete von Trifft.

Life Instinct von Bart Hess (NT) in Collaboration mit Maria Dada (UK) + Marco Collucia (IT)

Kreatur Photographie©MvT

Dieses Kunstwerk oder Experiment wird von den Kuratoren der Ars Electronica unter dem Motto Fashion & Technology ausgestellt. 

Der niederländische Künstler kommt aus der Mode oder aus der Modeindustrie. Dort hat er sich durch verschiedene Aktivitäten einen Namen gemacht, so zum Beispiel Lady Gaga für den Video „born this way“ in Slime getaucht. Er experimentiert mit Material, Oberfläche, mit der Geschlechtslosigkeit. Oftmals sind die Ergebnisse ein bisschen abstoßend, weil sie glitschig, komisch glänzend, merkwürdig bewegt sind. Sie sind nicht von dieser Welt, sie scheinen aus anderen Organismen entstiegen zu sein.

Die Installation auf der Ars Electronica überrascht nicht. Wohl jene, die den Künstler nicht kennen. Deshalb steht der ein oder andere vor dem Tisch auf dem leicht bewegte,  gliedmassenartige Figuren zucken und sich winden. Sie sehen aus wie überdimensionierte Insektenglieder oder Schalentiere. Nur die Oberfläche in einem violetten Hautton, blau schimmernde Anteile lassen alles etwas unterkühlt erscheinen. So könnten vielleicht Wasserleichen aussehen.  Dieser Eindruck wird durch die glänzend und modular ineinander verschachtelte elastische Hülle unterstützt. Die Teile sind in der Größe eines Oberschenkels oder Arms. Aus den Objekten treten ausgefranste Stricke aus.

Der erste Eindruck ist ein frankensteinsches Experiment mit zuckenden Gliedmaßen. Wer sich dem Tisch nähert initiiert Bewegung, die Objekte verändern linkisch ihre Position. Das Tischtreiben ruft sowohl Faszination, als auch einen merkwürdigen Eindruck von Schönheit, verbunden mit Abscheu, hervor.

Maria Dada vom Digital Anthropology Lab der University of London arbeite wahrscheinlich am digitalen Innenleben und die Soundspähren stammen von Treale aka Marco Collucia. Mit dem Namen Life Instinkt trägt diese Installation einen würdigen Namen.

Dr. Margarete von Trifft (MvT)

„Hugo Guerra zu Kommunikation im globalisierten Workspace“ von Mirjam Michutta

Gaming ist ein fester Bestandteil der Kultur und Freizeitbeschäftigung. Games und andere Unterhaltungssegmente wie Filme, Serien oder Comics wachsen zusammen. Das macht die Session von Hugo Guerra deutlich, VFX Spezialist, früherer VFX Supervisor and Head of the Nuke Department bei The Mill (http://www.themill.com); jetzt Inhaber von Hugo´s Desk (http://hugo-guerra.com).

Hugo Guerra zeigt an verschiedenen Beispielen die wichtige Rolle der Kommunikation im Team mit den Klienten.
Sein zentrales Motto: „Business is all about communication.“ Zu Beginn der Selbständigkeit war die Suche nach geeigneten Kommunikationswegen eher Eigennutz: „Muss ich wirklich an einem bestimmten Punkt in der Welt wie etwa London sein um effektiv zu arbeiten?“

Bildquelle: fmx.de/program2018/speaker/2720                     

Stehen für ein Projekt tatsächlich die besten an diesem Ort zur Verfügung? Die Klienten befinden sich nicht zwingend an einem zentralen Punkt. Wie also stellt sich in der heutigen Zeit eine Zusammenarbeit dar, welche Softwaretools unterstützen im Zeitalter der Globalisierung und Deszentralisierung das Arbeiten.

Mit Schmunzeln erzählt er von den Anfängen; es wurde der Datenaustausch über FTP vorgeschlagen. Das sind heutzutage veralterte Methoden. Welche Software unterstützt effektive und strukturierte Teamarbeit der einzelnen Departments und visualisiert gleichzeitig dem Klienten wichtige Entwicklungsschritte?

Er preferiert zum heutigen Zeitpunkt einen Mix aus verschiedenen Kommunikaitonstools:
ftrack (https://www.ftrack.com/en/)
Nuke (https://www.foundry.com/products/nuke)
Skype
Dropbox

Je nach Projektanforderung werden diese Basics durch weitere Tools ergänzt. Mit Best Case Studies untermauert er seine Erkenntnis. Er beginnt mit „The Walking Dead – March to War“.  Die Herausforderung für das Team bestand im Wunsch des Klienten das Spiel im Stil der Comics umzusetzen. Der Look und Feel sollten direkt dem des Comic entsprechen und die Umsetzung ohne live action erfolgen. Ein zeitraubendes Unterfangen.

Startpunkt bildete zunächst ein mit Photoshop erstelltes Concept Art Piece. Unzählige Styles und Szenarien wurden an der Grundszene durchgespielt, mittels ftrack mit dem Klienten abgestimmt, durch Erkenntnisse angereichert, verworfen und erneut versucht. Ftrack half bei der Entscheidungsfindung mit Team und Kunden. Kunden sind oft mit einer inneren Vision unterwegs, die sie durch Anschauung von Entwürfen mit der inneren abgleichen, solange bis eine Einheit hervorgerufen wird. Ftrack ist genau richtig dafür. Auch innerhalb des Teams bietet es eine gute Arbeits- und Austauschplattform. Am besten zusammen mit dem Concept Art Artist, das macht alles leichter. 

Ergänzt wird das Tool Grundpaket je nach Projekt neben Photoshop durch Applikationen wie Maya (https://www.autodesk.de/products/maya/overview), Houdini (https://www.sidefx.com), redshift (https://www.redshift3d.com/product), Modo (https://www.foundry.com/products/modo) und im Fall von „The Walking Dead – March to War“ auch mit unerwarteten Anwendungen wie xbox connect zur Erstellung der Animation der Walkers, wobei die einfache Animation im Falle gerade dieser Figuren einen positiven Effekt erzeugt.

http://hugo-guerra.com/work/?portfolio=the-walking-dead-march-to-war-behind-the-scenes

Das Zusammenspiel der Kommunikations- und Erstellungssoftware schafft ein tragfähiges Workenvironment für das internationale Team wie dem für „The Walking Dead“ mit Mattepainting aus Neuseeland, einem Compositor in Island, dem Head in London, 3d Artist in Deutschland und Storyboard and Mattepainting Artist in Belgien und letzendlich dem Kunden.


Bildquelle: screenshot  aus dem Video: the-walking-dead-march-to war-behind-the-scenes

 Business is all about communication.

Am Ende empfiehlt Hugo Guerra die FMX als networking und recruiting Platform. Die Firmen sind anwensend weil sie rekrutieren. Geht an die Stände, sprecht mit den Leuten, geht mit ihnen essen. Hier sind alle Wichtigen der Welt vertreten. Macht networking. „FMX Stuttgart is THE place.“

Beitrag von Mirjam Michutta, Studentin der Hochschule der Medien, Audiovisuelle Medien.

Mimus: Coming face-to-face with our companion species von Madeline Gannon

Mimus ist ein Industrieroboter. Groß und schwer, präzise in den Bewegungen und unaufhaltsam bei der Arbeit. Diesen Maschinen steht nichts im Wege und deshalb sollte man das auch tunlichst unterlassen. Wir haben Respekt vor so großen Maschinen. Dieser Industrieroboter führt nicht nur vorprogrammierte Handlungen und Bewegungen aus. Er bewegt sich autonom. Die Decke ist mit Sensoren versehen, sie erfassen alle Bewegungen im Umfeld des Roboters. Werden Veränderungen wahr genommen, nähert sich der Roboterarm jeweils der Ursache. Werden keine weiteren Bewegungen erkannt, wendet sich der Arm ab und beschäftigt sich selbst.

Bildergalerie:

Präsentiert wird der Roboter nicht live, nur über einen Video. Da steht er in einem Glaskäfig, vor der Scheibe wie im Affenhaus befinden sich die Menschen, Kinder. Sie bewegen sich und sofort ohne Verzögerung reagiert der Roboter und nähert sich an. Das ist ein verrückt anzusehendes Schauspiel. Die Bewegungen wirken so natürlich, so lebendig, so individuell, so gewollt. Und sofort bringen wir dieser Maschine Empathie entgegen. Wir wollen mehr Interaktion, wir wollen spielen, wollen uns mit diesem technischen Tierchen anfreunden und es lieb haben.

Die Gestenerkennungssoftware heißt Quipt. Sie unterstützt neue und intuitivere Wege mit Industrierobotern zu kommunizieren. Mit wearable markers und einem motion capture system vermag Quipt Industrierobotern eine Raumwahrnehmung und -vorstellung zu vermitteln und das lässt sie in großer Nähe mit Anderen interagieren.

Madeline Gannon ist Doktorandin in Computational Design der Carnegie Mellon University. Ausserdem leitet sie das MADLAB.cc.

gesehen auf der Ars Electronica 2017: POST CITY. 

Ars Electronica 2017: POSTCITY: DUOSKIN vom MIT Media Lab – Living Mobile Group und Microsoft Research Natural Interaction Group

Duoskin ist ein Klebetatoo mit Verbindung zu den Mobilen Geräten. Duoskin steuert durch One Touch Eingabe, Nahfeldkommunikation (Near Field Communication, abgekürzt NFC) und vermittelt thermochrome Anzeigen (Thermochromie bezeichnet man die Eigenschaft bestimmter Substanzen, bei Temperaturänderung die Farbe zu ändern). Diese Tatoos sind aus Blattgold, hauchdünn und werden auf die Haut appliziert. Sie sind relativ robust und haben einen hohen Trage Komfort. Federleicht und dabei mit der Erscheinung eines Schmuckstücks oder dergleichen.

Bildergalerie:

Sie halten einen Tag, dann werden sie abgewaschen und beim Duschen und späteren Abtrocknen entfernt. Es gibt auch welche, die schon fast zwei Wochen auf der Haut sind. Mit einfachen Touchgesten lassen sich Funktionen beim Mobile Phone durchführen: Musik wechseln, lauter, leiser, überspringen. Oder bei Präsentationen braucht es keinen Infrarot Pointer, ein Streichen in einer bestimmten Richtung reicht und die nächste Folie wird angeklickt. Wer smarte Gegenstände im Haus und Hof hat, der steuert diese an: Lampen, Schlüssel, Jalousien, Garagentore, Fenster oder ähnliches.

Diese Version ist bereits im Test, zwar wird noch an Speicher, an Akkuleistung und Microcomputer gearbeitet aber das ist eine absehbare technologische Entwicklung. Wir werden in den nächsten Jahren diese Steuerelement auf der Haut direkt tragen und sollten sie zudem eine hohe ästhetische Wirkung haben dann werden sich diese Art von Minicomputer, on skin electronics durchsetzen.

Der Designer des Interfaces und des Looks für die Tatoos von der Microsoft Research Natural Interaction Group zumindest kann von ersten Einsätzen erzählen und zeigt sich entsprechend überzeugt.