Forschungsprojekt für einen ML-basierten Assistenten zur Komposition, Navigation, Datenanalyse innerhalb von Mazetools

Im Fokus des Projektes steht die Entwicklung eines Assistenten, der kreative Prozesse individuell wie auch kollektiv fördert und die Navigation zwischen großen Mengen von User-Content erleichtert. Dabei werden individuelle, musikalische, technische und emotionale Charakteristika berücksichtigt. Ziel ist es, den kreativen, musikalischen Austausch zu fördern.

Credits 

Stephan Kloß - Entwicklung & Design
Jakob Gruhl - Projektleitung, Forschung & Testing
André Mitschink - Forschung & Programmierung

Das Projekt wird gefördert vom Bundesministerium für Wirtschaft und Klimaschutz.

Halle, 2021-2022

Ziel von Mazetools Assist ist es, Menschen in ihrem Prozess Musik zu machen, sie zu unterstützen, sie mit anderen zu verbinden und dafür Machine Learning Methoden einzusetzen. Dabei ging es um die Frage, den situativen, emotionalen, subjektiven Akt der Kreativität für die Maschine erlernbar zu machen.

Innerhalb des Projekts fand die Weiterentwicklung des Mazetools Anwendungskerns (Maze-Core) für die Einbeziehung Machine Learning Libraries durch die Einbindung von TensorFlow in Unity 3D zur Umsetzung und Anwendung eines Assistenten zur Komposition (Mazetools Assist) statt.

Forschung und Entwicklung erfolgten anhand von Strukturen, Mechanismen und Interfaces zur Datengenerierung für die veröffentlichten Mazetools Anwendungen Mazetools Soniface & Mazetools Mutant. Der Fokus lag auf der Angleichung der musikalischen Systeme und generierten Datenformate an Machine Learning Standards in Verbindung zu Forschungen zu Music Information Retrieval (MIR) und Music Emotion Recognition (MER).

Es wurde festgestellt, dass im Forschungsbereich ein Fokus auf “westliche” Musikwissenschaft existiert, der jedoch nur bedingt dem empirischen Alltag elektronischer Musiker entspricht. Vor allem im Bereich der MER hat dies einerseits zur Folge, dass die Vergabe von Mood-Labels selbst in der Anwendung durch Expertinnen Widersprüche erzeugt, andererseits zeitgenössische elektronische Musik von der Unbestimmtheit ihren Reiz, ihre Energie schöpft. Daraus wurden entsprechende Erkenntnisse gezogen, welche die Struktur der Metadaten des Speicherformats in den Mittelpunkt stellen. Hier liegt ein großes Potenzial, durch die Mazetools Anwendungen einen qualitativen Datensatz aufzubauen, der viele Open Source Libraries übertreffen könnte.

Mit der Entwicklung eines maschinell lesbaren Speichersystems des Maze-Cores und eines flexiblen Tagging Systems entstand die Konzeption, Entwicklung und Design der Mutant Cloud als zentrales Interface zur Speicherung und Vertaggung von mit Mutant erstellten Kompositionen als Prototyp sowie eine interne Online-Anbindung der Mutant Cloud. Das entwickelte Meta-Tagging System ermöglicht in Zukunft die Auswertung der Daten durch auf Musik spezialisierte Machine Learning Libraries. Parallel dazu entstand auf Basis der TensorFlow und MediaPipe Bibliotheken der Prototyp eines Motion Tracking und Capturing Interface. Das Projekt wurde 2022 erfolgreich abgeschlossen.