Аудио в ноты: транскрипция мелодии и партитура

Один инструмент за раз, сыгранный чисто, с ясно разделёнными нотами: сольное фортепиано, перебор на гитаре, спетая мелодия без аккомпанемента. Сеть построена, чтобы находить, где начинается каждая нота и какова её высота, и всё, что размывает эти две вещи, стоит точности: реверберация смазывает границу между нотой и следующей, полный состав кладёт четыре инструмента в один частотный диапазон разом, а сильный перегруз добавляет обертоны, которые читаются как лишние ноты. Два инструмента вместе — честный предел: в результате будут оба вперемешку, и понять, какая линия чья, будет нечем. Если партии есть отдельно, разделите заранее; если нет — ждите эскиза, а не партитуры.

Мы её замерили на эталонных записях с известными нотами, а не оценили на глаз. Один инструмент или вокал — 65-80% нот выходят верными. Плотный микс из нескольких инструментов — 10-40%, и выделенная мелодия там скорее набросок, чем напев: для песни вкладка «Аккорды» надёжнее, чем нотные головки.

MIDI — универсальный формат для нот. Открывается в любой DAW (GarageBand, Ableton, FL Studio) или нотном редакторе (MuseScore).

Да. Если в песне поют, мелодию голоса находит отдельная нейросеть прямо в полной записи: на большинстве компьютеров это происходит само после расшифровки, в остальных случаях — по кнопке «Уточнить мелодию». Сверьте её на слух: быстрые распевы могут выйти упрощёнными. У инструментальной песни мелодия получится приблизительной — часть нот может оказаться из аккомпанемента. Все распознанные ноты — под переключателем «Все ноты», гармония — во вкладке «Аккорды»; точнее всего распознаётся один инструмент или голос без музыки.

Да. Вставьте текст песни в блок «Аккорды над словами» под результатом — по строке на строку песни — и отметьте «Показать слова на нотном стане»: слоги встанут под ноты мелодии, аккорды — над нотоносцем, и в таком виде лист уйдёт в PDF и MusicXML. Слова по пению этот инструмент сам не распознаёт; если текста нет под рукой, его можно получить в инструменте «Текст песни из аудио».

MIDI-файл и пианоролл, плюс сгенерированную нотацию, на которую можно посмотреть. Полезное здесь MIDI: он держит ноты как события, а не как картинку, поэтому его примет что угодно музыкальное — нотный редактор, чтобы вычистить и напечатать; DAW, чтобы отдать партию другому инструменту; телефонное приложение, чтобы замедлить. Нотация — это отрисовка тех же данных, и относиться к ней стоит как к подспорью для чтения, а не как к готовой партитуре: превращение исполнения в читаемый ритм требует решений, которые машина принимает плохо — нота, сыгранная чуть позже, становится паузой и пунктирной фигурой. Импортируйте MIDI в нотную программу и квантуйте там: именно там эти решения принадлежат вам.

Да. Откройте вкладку «Аккорды», чтобы увидеть последовательность аккордов по времени, перейти к любому из них и скопировать или скачать. Лучше всего работает на чистых записях одного инструмента.