AA
ну да, я поэтому и думаю больше в сторону анализа АЧХ и корреляций всего подряд, чем напрямую ноты распарсить
тем более что делать, если инструментов больше одного, а сверху еще эффекты хочется прикрутить
тем более что делать, если инструментов больше одного, а сверху еще эффекты хочется прикрутить
я бы начала решать эту задачу как раз с простых примеров - именно с битов хип-хопа по нескольким причинам:
1. микс неплотный
2. количество инструментов не очень большое - их проще отличать по характеру и высоте и потом трекать в ноты
3. легко выделить из микса ударные и от них делить композицию на такты
4. легко выделять из микса лиды, чтобы забирать и анализировать мелодию
это что касается треньки через звуковой поток
но я на 100% уверена, что ни один стартап около написания музыки этим не занимается
все берут миди/гтп файлы и парсят отдельные дорожки, скармливая их нейросеткам-исполнителям
потом (возможно с подготовкой) конвертят весь файл и скармливают нейросетке-композитору, которая сверху может еще выбирать инструменты и их обработку
на выходе нейросетка должна выдать в каком-то виде либо уже партитуры (т.е. готовое миди), либо что-то вроде аккордовых последовательностей с настроением для отдельных инструментов, чтобы они выдали свои миди-дороги.
1. микс неплотный
2. количество инструментов не очень большое - их проще отличать по характеру и высоте и потом трекать в ноты
3. легко выделить из микса ударные и от них делить композицию на такты
4. легко выделять из микса лиды, чтобы забирать и анализировать мелодию
это что касается треньки через звуковой поток
но я на 100% уверена, что ни один стартап около написания музыки этим не занимается
все берут миди/гтп файлы и парсят отдельные дорожки, скармливая их нейросеткам-исполнителям
потом (возможно с подготовкой) конвертят весь файл и скармливают нейросетке-композитору, которая сверху может еще выбирать инструменты и их обработку
на выходе нейросетка должна выдать в каком-то виде либо уже партитуры (т.е. готовое миди), либо что-то вроде аккордовых последовательностей с настроением для отдельных инструментов, чтобы они выдали свои миди-дороги.
