Изображение в звук: сонификация, спектрограмма и vOICe

Популярные сервисы «фото в музыку» (InsMelo, Mubert, Suno, Artlist) сочиняют по фотографии целую песню с помощью ИИ — читают настроение и палитру и пишут трек с мелодией и барабанами. Здесь делается сонификация: данные пикселей переводятся в звук напрямую. Режим «Мелодия» добавляет гамму, чтобы результат звучал музыкально, но это по-прежнему преобразование 1:1, а не сочинённая песня. Если нужна именно музыка от ИИ, ищите инструменты с пометкой «музыка из фото с ИИ».

Переключите источник на «Текст», напишите до трёх строк и скачайте WAV. Слово рисуется прямо в частотах: на осциллограмме его не видно, а в спектрограмме — видно сразу (Audacity в режиме Spectrogram, Spek, Sonic Visualiser или любое приложение-спектроанализатор на телефоне). Переживёт ли оно пересылку, решает один выбор: в «Диапазоне частот» вариант «Переживает пересылку» кладёт текст в узкую полосу ниже среза MP3 и AAC, поэтому мессенджер или видеохостинг, пережав файл, его не сотрут. Контурное начертание читается чётче залитого при низкой детализации.

Мелодия читает каждый срез времени как профиль яркости, сворачивает его на ступени выбранной гаммы и озвучивает все, что выделяются, — до восьми сразу. Мелодично, и звук меняется вместе с картинкой. Raw — аддитивный синтез: каждый пиксель становится синусоидальной составляющей, частота берётся из строки, громкость из яркости, поэтому звук буквально и есть спектрограмма изображения — жёсткий, дроновый, и именно он нужен для спектрограммного арта. vOICe — та же идея, удержанная в одной точной спецификации системы сенсорного замещения с этим названием.

Для этого есть режим vOICe, а живой скан камеры и делает его прибором, а не конвертером: камера читается непрерывно, слева направо, в той самой раскладке, на которой тренируются незрячие, — 500–5000 Гц по экспоненте, шестнадцать ступеней яркости по 2 дБ, чёрный как полная тишина, стереопанорама, чтобы ухо отличало лево от права, и щелчок, отмечающий начало скана. Наушники важны: без них теряется стереопанорама, а это половина того, что делает звуковой пейзаж читаемым. Ничто из этого не заменяет экранный диктор и alt-тексты — это дополнительный способ воспринимать форму и расположение на слух.

Контрастные и с небольшим числом крупных форм. В режиме мелодии лицо, простой предмет или строка текста дают мелодию, которую узнаёшь снова; в Raw самые выразительные текстуры выходят из геометрии, диагоналей и градиентов, ведь звук и есть форма изображения. Почти ничего не даёт обратное: у очень тёмной фотографии нет ярких областей, а у однородной — стены, неба, размытого фона — нечему меняться, и на выходе гудение. Ползунок «Контраст» в разделе «Картинка и цвет» существует ровно для этого, а кадр на экране показывает результат ещё до прослушивания.

«Детализация» задаёт число строк, то есть частотное разрешение: 32, 64, 128 или 192. Число столбцов следует форме вашей картинки, а не втискивает её в фиксированную сетку, и кадр на экране — тот самый, который читает движок, вместе с размерами. Больше строк — чётче картинка в спектрограмме и дольше расчёт; 64 хватает для текста и фигур, 128 и выше — для фотографий.