이미지를 소리로 — 픽셀을 음악 또는 스펙트로그램으로

오늘날 인기 있는 "image to music" 도구 대부분(InsMelo, Mubert, Suno, Artlist)은 AI를 사용하여 사진의 분위기와 팔레트를 분석하고 멜로디와 드럼이 있는 곡을 작곡합니다. 이 도구는 대신 과학적 소니피케이션을 수행합니다: 픽셀 데이터를 직접 소리에 매핑합니다. 음악 모드는 결과가 음악처럼 들리도록 음계를 추가하지만 여전히 이미지의 1:1 변환이지 작곡된 노래가 아닙니다. AI 작곡 음악을 원하면 "AI music from image" 또는 "photo to song with AI"로 표시된 도구를 찾으세요.

음악 모드는 각 시간 슬라이스에서 가장 밝은 픽셀을 선택하고 그 수직 위치를 선택한 음계의 음표에 매핑합니다(단조 펜타토닉, 장조, 단조, 반음계). 결과는 멜로디로 들리고 듣기 좋습니다. Raw 모드는 가산 합성을 수행합니다: 모든 열의 모든 픽셀이 사인파 부분음이 되며 주파수는 행에 따라, 음량은 밝기에 따라 결정됩니다. 오디오는 문자 그대로 이미지의 스펙트로그램입니다 — 거칠고 드론 같지만 vOICe(시각장애인 내비게이션) 및 Photosounder 등의 도구에서 사용되는 고전적인 소니피케이션 방식입니다.

이미지를 왼쪽에서 오른쪽으로 스캔합니다(시간 축). 각 열에서 픽셀은 아래에서 위로 로그 주파수 범위(200–4000Hz)에 매핑됩니다. 픽셀 밝기는 해당 주파수의 음량을 제어합니다 — 밝은 픽셀은 큰 소리, 어두운 픽셀은 무음입니다. 색상은 파형 유형에 영향을 미칩니다: 따뜻한 색은 톱니파, 차가운 색은 사인파, 중성 색은 삼각파를 사용합니다.

음악 모드의 경우 명확한 대비와 몇 개의 뚜렷한 밝은 모양이 있는 모든 이미지가 인식 가능한 멜로디를 생성합니다 — 얼굴, 단순한 물체, 텍스트 사진을 시도하세요. Raw 모드의 경우 단순하고 대비가 높은 패턴(기하학적 모양, 텍스트, 대각선, 그라데이션)이 가장 독특한 스펙트로그램 소리를 만듭니다. 매우 어둡거나 매우 균일한 이미지는 두 모드 모두에서 소리가 거의 나지 않습니다.

네. 이미지 소니피케이션은 시각 정보를 소리로 전달할 수 있습니다 — 예를 들어 이미지에 밝은 영역, 패턴 또는 뚜렷한 영역이 있는지 여부. Raw 모드는 vOICe와 같은 접근성 도구에서 사용되는 표준 방식입니다. 음악 모드는 정보가 적지만 일상적인 청취에 더 편안합니다. 어느 쪽도 스크린 리더나 대체 텍스트를 대체하지 않지만 시각적 콘텐츠를 소리로 인식하는 추가 방법을 제공합니다.