Siehe Geräusche | MIT-Nachrichten

Als einer der ersten Studenten im Graduiertenprogramm für neue Musiktechnologie und Informatik des MIT untersucht Mariano Salcedo ’25 die Schnittstelle zwischen künstlicher Intelligenz und musikalischer Visualisierung.

Seine Abschlussforschung konzentriert sich insbesondere auf neuronale zelluläre Automaten (NCA), die klassische zelluläre Automaten mit Techniken des maschinellen Lernens verbinden, um sich selbst regenerierende Bilder zu entwickeln.

In Kombination mit einem Reiz wie Musik können diese Bilder Geräusche in Aktion „zeigen“.

„Dieser Ansatz ermöglicht es jedem, musikgesteuerte Visuals zu erstellen und gleichzeitig die ausdrucksstarke und manchmal unvorhersehbare Dynamik selbstorganisierender Systeme zu nutzen“, sagt Salcedo. Über die von Salcedo entwickelte Weboberfläche können Benutzer die Beziehung zwischen Musikenergie und dem NCA-System anpassen, um mit jedem musikalischen Audiostream einzigartige visuelle Darbietungen zu erstellen.

„Ich möchte, dass die visuellen Elemente das Hörerlebnis ergänzen und verbessern“, sagt er.

Letztes Jahr schloss Salcedo, ein Alex-Rigopulos-Stipendiat (’92) in Musiktechnologie und Informatik, seinen Bachelor-Abschluss in künstlicher Intelligenz und Entscheidungsfindung am MIT ab, wo er sich mit der Signalverarbeitung beim maschinellen Lernen befasste und wie ein klassisches Verständnis von Signalen unser Verständnis von KI beeinflussen kann. Er ist nun einer von fünf Masterstudenten im ersten Jahrgang des Graduiertenprogramms Musik- und Computertechnologie.

Das Programm unter der Leitung von Professor für Praxis in Musiktechnologie Eran Egozy ’93, MNG ’95, ist eine Zusammenarbeit zwischen der School of Humanities, Arts and Social Sciences des MIT Music and Theatre Arts und der School of Engineering. Es lädt Praktiker ein, neue computergestützte Ansätze für Musik zu studieren, zu entdecken und zu entwickeln. Es umfasst auch eine Vorlesungsreihe, die Studenten und die breitere MIT-Community mit Fachleuten aus der Musikindustrie, Künstlern, Technologen und anderen Forschern bekannt macht.

Rigopulos ’92, SM ’94, ist ein Videospieldesigner, Musiker und ehemaliger CEO von Harmonix Music Systems, einem Unternehmen, das er 1995 zusammen mit Egozy gründete. Harmonix ist jetzt Teil von Epic Games, wo Rigopulos der Direktor für die Entwicklung von Musikspielen ist.

„Am MIT konnte ich vor einigen Jahrzehnten erstmals meiner Leidenschaft für Musiktechnologie nachgehen, und diese Erfahrung war das Sprungbrett für eine lange und lohnende Karriere“, sagt Rigopulos. „Als das MIT ein Graduiertenprogramm für Musiktechnologie startete, war ich begeistert, ein Stipendium zu finanzieren, um dieses aufregende neue Programm voranzutreiben.“

Egozy ist begeistert von Salcedos Arbeit und seinem Engagement, ihre Möglichkeiten weiter zu erkunden. „Er ist ein großartiges Beispiel für einen multidisziplinären Forscher, der intensiv darüber nachdenkt, wie Technologie am besten genutzt werden kann, um die menschliche Kreativität zu fördern und zu entwickeln“, sagt er.

Salcedo wurde ausgewählt, um die Studentenrede bei der Graduiertenfeier 2026 der Fakultät für Geistes-, Kunst- und Sozialwissenschaften zu halten. „Es ist eine Ehre und einschüchternd“, sagte er. „Es fühlt sich wie eine große Verantwortung an“, sogar eine, die er gerne übernehmen würde. Seine Wahl gefällt auch Egozy. „Ich freue mich sehr, dass Maraino ausgewählt wurde, um die diesjährige Keynote-Rede zu halten“, schwärmt er.

Gang wechseln

Mariano Salcedo wuchs in Mexiko und Texas auf und konnte seiner Leidenschaft für das Schaffen von Musik nur schwer nachgehen. „In mexikanischen öffentlichen Schulen gibt es keine Musikgruppen“, sagt er. Während einige Familien in der Lage waren, Instrumente und Unterricht zu bezahlen, hatten andere, wie die von Salcedo, weniger Glück.

„Ich habe Musik schon immer geliebt“, fährt er fort. „Ich war ein Zuhörer.“

Salcedo begann seine Karriere am MIT als Maschinenbaustudent und bewarb sich über das Questbridge-Programm am MIT. „Ich habe gehört, dass der Besuch des MIT eine gute Wahl wäre, wenn man Technik und Naturwissenschaften mag“, erinnert er sich. „Nerds sind willkommen und herzlich willkommen.“ Während er fleißig daran arbeitete, sein MechE-Programm abzuschließen, kamen Musik und Technologie nach einem zufälligen Treffen mit einem LLM zu ihm.

„Ich habe einen LLM-Chatbot entdeckt und war überwältigt“, erinnert er sich. „Es war etwas, das mich angesprochen hat. Ich war sowohl beeindruckt als auch verängstigt.“ Nach seiner Begegnung mit dem Chatbot wechselte Salcedo sein Hauptfach vom Maschinenbau zu künstlicher Intelligenz und Entscheidungsfindung.

„Im Grunde habe ich wieder angefangen, nachdem ich zwei Drittel des MechE-Programms absolviert hatte“, sagt er. Er lernte die Möglichkeiten der KI kennen, lernte aber auch einige der Herausforderungen kennen, mit denen Forscher und Entwickler konfrontiert sind, darunter ihre potenzielle Leistungsfähigkeit, die Gewährleistung ihres verantwortungsvollen Einsatzes, menschliche Voreingenommenheit, eingeschränkten Zugang zu Menschen aus unterrepräsentierten Gruppen und mangelnde Diversität unter den Entwicklern. Er beschloss, dass er dieses Bild vielleicht ändern könnte.

„Ich dachte, eine weitere Person vor Ort könnte einen Unterschied machen“, sagte er.

Als er sein Grundstudium abschloss, kam Salcedos Liebe zur Musik wieder zum Vorschein. „Ich habe am MIT mit dem DJing angefangen und war begeistert“, sagt er. Obwohl er nicht gelernt hatte, ein traditionelles Instrument zu spielen, entdeckte er, dass er mithilfe von Technologie faszinierende Klanglandschaften schaffen konnte. „Ich habe mir eine digitale Audio-Workstation gekauft, um Musik zu machen“, fährt er fort.

Egozy und Salcedo lernten sich im Jahr 2024 kennen, als Salcedo als Spieleentwickler in Egozys Labor das Undergraduate Research Opportunities Program absolvierte. „Er war unglaublich neugierig und hat sich in kürzester Zeit enorm entwickelt“, erklärt Egozy. Egozy wurde ein informeller, wenn auch wichtiger Mentor für Salcedo. „Er bringt viel Energie und Nachdenklichkeit in seine Arbeit ein und unterstützt andere im (Musik- und Computertechnologie-Absolventen-)Programm“, bemerkt Egozy.

Salcedo belegte außerdem einen Kurs bei Egozy, 21M.385/21M.585/6.4450 (Interaktive Musiksysteme), der seinen Appetit auf die Kreativität weckte, nach der er sich sehnte, und es ihm gleichzeitig ermöglichte, seine Faszination für die Möglichkeiten der Musik auszudrücken. Durch die Nutzung des HASS-Kurses vertiefte er sein Verständnis der Musiktheorie und der damit verbundenen Technologien.

„Ich habe einen Kurs bei Professor Leslie Tilley, 21M.240 (Kritisches Denken in der Musik), besucht, der mir geholfen hat, einen wertvollen Rahmen für das Verständnis des Musizierens zu schaffen“, sagt er, „während ein Kurs wie 6.3000 (Signalverarbeitung) mir geholfen hat, Intuition mit Wissenschaft zu verbinden.“

Arbeiten Sie disziplinübergreifend

Obwohl Salcedo sich leidenschaftlich für seine Musik und Forschung einsetzt, legt er auch großen Wert auf den Aufbau von Beziehungen zu seinen Kommilitonen. Er ist Mitglied der Sigma Nu-Bruderschaft, wo er, wie er sagt, „ein Zuhause und eine Gemeinschaft gefunden“ hat. Außerdem absolvierte er im Sommer 2023 eine MISTI-Reise nach Chile, wo er Forschungen zur Musiktechnologie durchführte. Salcedo lobt die Kameradschaftskultur am MIT und ist dankbar für ihren Einfluss auf seine Arbeit als Wissenschaftler. „Das MIT hat mir beigebracht, wie man lernt“, sagt er.

Professoren ermutigten ihn, seine Forschungen und Erkenntnisse vorzustellen. Er präsentierte seine Arbeit – Artificial Dancing Intelligence: Neural Cellular Automata for Visual Performance of Music – auf der Konferenz der Association for the Advancement of Artificial Intelligence im Januar 2026 in Singapur.

Salcedo glaubt, dass seine Forschung das Potenzial hat, über die Visualisierung von Musik hinauszugehen. „Was wäre, wenn wir die Art und Weise verbessern könnten, wie wir selbstorganisierende Systeme modellieren?“, fragt er. „Das heißt, Systeme wie vielzellige Organismen, Vogelschwärme oder Gesellschaften, die lokal interagieren, aber interessante Verhaltensweisen zeigen.“ Jedes System, sagt Salcedo, bei dem das Ganze mehr ist als die Summe seiner Teile.

Die Entwicklung der Technologie, die zur Gestaltung ihrer Anwendung verwendet wird, kann möglicherweise dazu beitragen, wichtige ethische Fragen im Zusammenhang mit der weiteren Ausbreitung und dem Wachstum der KI zu beantworten. Der Weg zur Weiterentwicklung seiner Arbeit ist sowohl entmutigend als auch einsam, aber diese Herausforderungen beflügeln seine Arbeitsmoral.

„Es ist einschüchternd, diesen Weg einzuschlagen, wenn sich die Akademie derzeit auf LLMs konzentriert“, sagt er. „Aber es ist auch wichtig, die Kerntechnologie zu erklären und zu erkunden, bevor man sich mit differenzierteren Arbeiten befasst, die der Öffentlichkeit helfen können, sie besser zu verstehen.“ Das Wissen, dass er die Unterstützung seiner Lehrer hat, hilft Salcedo, die Begeisterung für seine Ideen aufrechtzuerhalten. „Sie verlangen lediglich, dass wir unsere Interessen auf Forschung stützen“, sagt er.

Seine Untersuchungen wirken sich auf seine Arbeit als Musiker aus. „Meine Musik ist durch den Unterricht, den ich nehme, interessanter geworden“, sagt er. Er möchte auch verstehen, welche Musik die Akademie und die Welt hören, Vorurteile gegenüber westlicher Musik im Kanon erforschen und Möglichkeiten erkunden, Vorurteile in Bezug auf die geschätzten Musikarten abzubauen.

„Die Arbeit, die wir als Technologen leisten, ist viel weniger subjektiv, als wir glauben machen“, glaubt er.

Salcedo ist besonders dankbar für die Unterstützung, die er während seiner Zeit am MIT erhalten hat. „Die Professoren im Programm fördern vielfältige Aktivitäten“, sagt er, „und bitten uns, unsere individuellen Ziele voranzutreiben, anstatt uns auf ihre zu konzentrieren.“ Während seines Graduiertenstudiums stellt er mit Begeisterung fest, wie oft er herausgefordert wurde, seine Ideen zu verfolgen.

Letztendlich möchte Salcedo, dass die Menschen die Freude erleben, die er bei der Arbeit an der Schnittstelle zwischen Geistes- und Naturwissenschaften empfindet. Musik und Technik berühren fast jeden. Das Publikum in sein Labor als Teilnehmer am kreativen und Forschungsprozess einzuladen, verschafft ihm die gleiche Befriedigung, die er empfindet, wenn er einen großartigen Beat kreiert oder eine heikle technische Herausforderung löst. Der Öffentlichkeit zu helfen, den Wert ihrer Arbeit zu verstehen, stärkt ihren Erfolgswillen.

„Ich möchte, dass Benutzer die Bewegung spüren und die Geräusche und ihre Wirkung besser erkunden können“, sagt er.