一段音頻可以被編碼為一組數(shù)值的數(shù)組(或者列表),像這樣:
我們可以在數(shù)組中每隔一秒拿掉一秒的值來將這段音頻的速度變成兩倍。
如此我們不僅將音頻的長度減半了,而且我們還將它的頻率翻倍了,這樣使得它擁有比原來更高的音高(pitch)。
相反地,假如我們將數(shù)組中每個值重復(fù)一次,我們將得到一段更慢,周期更長,即音高更低的音頻:
這里提供一個可以按任意系數(shù)改變音頻速度的任意簡單的Python函數(shù):
import numpy as np def speedx(sound_array, factor): """ 將音頻速度乘以任意系數(shù)`factor` """ indices = np.round( np.arange(0, len(snd_array), factor) ) indices = indices[indices < len(snd_array)].astype(int) return sound_array[ indices.astype(int) ]
這個問題更困難的地方在于改變音頻長度的同時保持它的音高(變速,音頻拉伸(sound stretching)),或者在改變音頻的音高的同時保持它的長度(變調(diào)(pitch shifting))。
變速
變速可以通過傳統(tǒng)的相位聲碼器(phase vocoder,感興趣的朋友可以讀一下維基百科的頁面)來實現(xiàn)。首先將音頻分解成重疊的比特,然后將這些比特重新排列使得他們重疊得更多(將縮短聲音的長度)或者更少(將拉伸音頻的長度),如下圖所示:
困難之處在于重新排列的比特可能很嚴(yán)重的互相影響,那么這里就需要用到相位變換來確保它們之間沒有影響。這里有一段Python代碼,取自這個網(wǎng)頁(打不開的話,您懂的?!g者注):
def stretch(sound_array, f, window_size, h): """ 將音頻按系數(shù)`f`拉伸 """ phase = np.zeros(window_size) hanning_window = np.hanning(window_size) result = np.zeros( len(sound_array) /f + window_size) for i in np.arange(0, len(sound_array)-(window_size+h), h*f): # 兩個可能互相重疊的子數(shù)列 a1 = sound_array[i: i + window_size] a2 = sound_array[i + h: i + window_size + h] # 按第一個數(shù)列重新同步第二個數(shù)列 s1 = np.fft.fft(hanning_window * a1) s2 = np.fft.fft(hanning_window * a2) phase = (phase + np.angle(s2/s1)) % 2*np.pi a2_rephased = np.fft.ifft(np.abs(s2)*np.exp(1j*phase)) # 加入到結(jié)果中 i2 = int(i/f) result[i2 : i2 + window_size] += hanning_window*a2_rephased result = ((2**(16-4)) * result/result.max()) # 歸一化 (16bit) return result.astype('int16')
變調(diào)
一旦你實現(xiàn)了變速以后,變調(diào)就不難了。如果需要一個更高的音高,可以先將這段音頻拉伸并保持音高不變,然后再加快它的速度,如此最后得到的音頻將具有原始音頻同樣的長度,更高的頻率,即更高的音高。
把一段音頻的頻率翻倍將把音高提高一個八度,也就是12個半音。因此,要將音高提高n個半音的話,我們需要將頻率乘上系數(shù)2^(n/12):
def pitchshift(snd_array, n, window_size=2**13, h=2**11): """ 將一段音頻的音高提高``n``個半音 """ factor = 2**(1.0 * n / 12.0) stretched = stretch(snd_array, 1.0/factor, window_size, h) return speedx(stretched[window_size:], factor)
小程序:電腦鋼琴
讓我們來玩一下我們的變調(diào)器。我們先敲碗來確定一個“標(biāo)準(zhǔn)音高”:
[youku id="XNzM1NDM2NTky"]
接下來我們基于之前的音頻創(chuàng)造50個變調(diào)的音高,從很低到很高:
from scipy.io import wavfile fps, bowl_sound = wavfile.read("bowl.wav") tones = range(-25,25) transposed = [pitchshift(bowl_sound, n) for n in tones]
接下來根據(jù)這個文件中的順序,我們把每一個音頻匹配到鍵盤的一個鍵位,如下圖所示:
我們只需要在代碼中告訴計算機(jī)當(dāng)一個鍵按下來的時候播放其對應(yīng)的聲音,然后當(dāng)按鍵松開后停止播放就可以了:
import pygame pygame.mixer.init(fps, -16, 1, 512) # 太靈活了 screen = pygame.display.set_mode((640,480)) # 設(shè)置焦點 # 得到鍵盤的鍵位的正確順序的列表 # ``keys`` 如 ['Q','W','E','R' ...] 一樣排列 keys = open('typewriter.kb').read().split(' ') sounds = map(pygame.sndarray.make_sound, transposed) key_sound = dict( zip(keys, sounds) ) is_playing = {k: False for k in keys} while True: event = pygame.event.wait() if event.type in (pygame.KEYDOWN, pygame.KEYUP): key = pygame.key.name(event.key) if event.type == pygame.KEYDOWN: if (key in key_sound.keys()) and (not is_playing[key]): key_sound[key].play(fade_ms=50) is_playing[key] = True elif event.key == pygame.K_ESCAPE: pygame.quit() raise KeyboardInterrupt elif event.type == pygame.KEYUP and key in key_sound.keys(): key_sound[key].fadeout(50) # 停止播放并50ms淡出 is_playing[key] = False
就這樣我們把計算機(jī)變成了一臺鋼琴!至此,讓我為您表演一段土耳其進(jìn)行曲來表達(dá)對您耐心閱讀此文的謝意吧:
[youku id="XNzM1NDQ1MDA4"]
如果想自己試試的話,在這里可以下載你需要的所有文件。因為不是所有的人都用Python,我也用Javascript/HTML5(在這兒)實現(xiàn)了一臺電腦鋼琴,但是不是特別理想。如果有經(jīng)驗豐富的HTML5/JS/elm程序員來改進(jìn)改進(jìn),或者從頭重寫就太好了。
接下來做什么?
更通常的情況下,我發(fā)現(xiàn)計算機(jī)很少被用來進(jìn)行表演性質(zhì)的演奏。我明白使用鋼琴鍵盤或者直接從樂器錄音會容易很多,但是請看看僅僅用一個碗和60行的Python代碼就能做到什么!
即便是很便宜的計算機(jī)也有如此多的控制來實現(xiàn)一個馬馬虎虎的音樂臺:你可以對著麥克風(fēng)唱歌,對著攝像頭做手勢,用鼠標(biāo)來調(diào)制,然后用鍵盤來完成剩下來的玩意兒。有如此多方式來表現(xiàn)自我,而每種方式又有那么一個Python包……有沒有具有藝術(shù)天賦的大神加入呀?
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com