Какие инструменты звучат в песне

Точность измерена на размеченном датасете OpenMIC-2018 и разная у разных инструментов. Гитара, фортепиано, синтезатор и барабаны определяются уверенно — на проверочной выборке такие ответы верны в 87–97 % случаев. Скрипка, виолончель, саксофон и орган слабее. Вокал, тарелки, аккордеон и ксилофон модель различает плохо, поэтому они никогда не попадают в основной ответ, а показываются как «возможно».

Модель не отличает бас от остальных низких партий надёжно: на проверке она «слышала» бас почти в каждом треке, то есть не различала его, а угадывала. Показывать такой ответ хуже, чем не показывать, поэтому бас исключён. По той же причине не разделяются труба, тромбон, флейта и кларнет, а банджо, мандолина и укулеле обычно попадают в «гитару».

Это два разных порога. В «точно» инструмент попадает, только если на проверочной выборке при такой оценке он действительно присутствовал минимум в 8 случаях из 10. «Возможно» — более низкий порог: там ответ верен примерно в 6–7 случаях из 10, и полагаться на него без прослушивания не стоит.

Этот инструмент определяет, но не разделяет звук. Для извлечения дорожек есть сплиттер стемов, для нотной расшифровки — Audio to Notes.

Модель слушает окнами по 10 секунд, поэтому шаг карты — около 5–10 секунд. Это уровень куплета и припева, а не отдельной ноты. Для нотной точности используйте Audio to Notes.

Та же модель разбирает скользящее десятисекундное окно и обновляет список примерно раз в полторы секунды. Удобно на репетиции и на уроке. Для лучшего результата отключите в браузере шумоподавление.

Жёсткого ограничения нет. Длинные записи разбираются равномерной сеткой окон, число которых ограничено — так разбор остаётся быстрым.