Onderzoeksproject
Expressie in muziek: Semantiek en emotie
Zowel muziek als taal maken gebruik van geluid, waaronder timing en toonhoogte. Terwijl taal voornamelijk semantische betekenis overbrengt, is dat bij instrumentale muziek niet het geval; deze wordt doorgaans gezien als een uitdrukking van emotie. Dit project onderzoekt aan de hand van metaforen in hoeverre luisteraars de beoogde expressieve gevoelens in muziek herkennen. Het onderzoek draagt bij aan een beter begrip van non-verbale communicatie en kan helpen om door AI gegenereerde muziek expressiever en menselijker te maken.
- Looptijd
- 2025 - 2026
- Contact
- Rebecca Schaefer
- Financiering
- Kiem beurs
Over het project
Communicatie via muziek is gebaseerd op aspecten van de muzikale inhoud, maar ook op expressieve signalen, bijvoorbeeld in timing en dynamiek. We zullen expressief gespeelde melodieën gebruiken om te helpen begrijpen hoe individuele verschillen in beeldvormingsvermogen, cultuur, leeftijd en muzikale achtergrond de emotionele perceptie in muziek beïnvloeden, op basis van een grote online deelnemersgroep. De daaruit voortvloeiende inzichten kunnen worden toegepast op het genereren van expressieve muziek, om te beoordelen of door mensen geproduceerde expressieve signalen kunnen worden gebruikt om de esthetische reactie van de luisteraar op kunstmatig gecreëerde muziek te verbeteren.
Doel van het project
Dit interdisciplinaire onderzoek vergroot ons inzicht in non-verbale communicatie tijdens muzikale uitvoeringen en in de interpretatie daarvan. Bovendien kunnen de resultaten een oplossing bieden voor het huidige vermeende gebrek aan expressiviteit in door AI gegenereerde muziek. Door generatieve modellen te leren hoe ze expressieve signalen kunnen vertalen naar muzikale kenmerken, zou door AI gegenereerde muziek menselijker en emotioneler kunnen worden, met toepassingen die verder reiken dan commerciële muziek, bijvoorbeeld in de gezondheidszorg.
Interdisciplinaire karakter van het project
Dit onderzoek versterkt de interdisciplinaire samenwerking in een vroeg stadium en vormt een basis voor het werven van vervolgfinanciering. Ons team brengt expertise op het gebied van psychologie, muziekcognitie en motorische controle (dr. Schaefer) samen met expertise op het gebied van AI en machine learning, mens-machine-interactie en taalkunde (dr. Verhoef).
Al deze academische disciplines zouden baat hebben bij de onderzoekslijn:
- Cognitieve wetenschap: het verdiepen van ons inzicht in hoe mensen abstracte concepten, zoals beelden en metaforen, kunnen omzetten in concrete handelingen die leiden tot specifieke kenmerken van muzikale uitvoeringen.
- Taalkunde: het onderzoeken van het raakvlak tussen taal en muziek kan licht werpen op de semantiek van non-verbale communicatie. Dit kan ons begrip van metaforische taal en de rol daarvan in de menselijke cognitie en communicatie vergroten.
- Musicologie: het aanbieden van nieuwe methodologieën voor het analyseren van muzikale uitvoeringen en composities, wat bijdraagt aan een rijker begrip van muzikale interpretatie en pedagogiek.
- AI en machine learning: het verbeteren van het ontwerp van algoritmen die muziek genereren of interpreteren. Dit kan de mens-computerinteractie op creatieve gebieden verbeteren.