Si può trasformare un vocalizzo nel suono di un violino? Oppure un loop di percussioni in un assolo di tromba? Certo che sì: ci pensa Google!
Magenta, team di ricerca di Google specializzato in machine learning applicato a musica e arti, ha creato Tone Transfer, uno strumento gratuito che consente di manipolare clip audio di qualunque natura, trasformandole nel suono di uno di questi strumenti: flauto, sassofono, tromba o violino.
Google Tone Transfer
La tecnologia di Tone Transfer utilizza un insieme interconnesso di reti neurali, machine learning e una libreria creata ad inizio anno proprio dal team Magenta, la DDSP – Differentiable Digital Signal Processing (elaborazione del segnale digitale differenziabile), combinazione del classico Digital Signal Processing con il deep learning.
In questo video, pubblicato di recente da Google in collaborazione con alcuni musicisti, è possibile ascoltare un assaggio di ciò che Tone Transfer può fare:
Come funziona la tecnologia DDSP
Una somma di elementi di DSP come oscillatori sinusoidali e filtri lineari può creare sinteticamente il suono di violino. Tuttavia controllare manualmente la dinamica realistica di tutte le sfumature timbriche intrinseche è troppo complesso, ragion per cui tale emulazione suonerà sempre piuttosto finta. L’idea dietro il DDSP è lasciare che sia un input esterno (in questo caso parte di un file audio caricato dagli utenti) a modularne alcune caratteristiche attraverso un sistema di reti neurali.
N.d.A. Una rete neurale è un modello matematico/informatico software o hardware che a partire da un input restituisce dei risultati sfruttando una grandissima quantità di interconnessioni fra i dati analizzati, emulando reti neurali biologiche come il sistema nervoso dell’essere umano.
Sbizzarritevi pure sul sito https://sites.research.google/tonetransfer provando in prima persona a caricare le clip audio più strane. I risultati, più o meno realistici e convincenti, saranno di grande ispirazioni per producers e sound designers. O semplicemente folli tanto quanto le idee del team Magenta!
Se immaginavate di esibirvi nell’assolo di sax di Careless Whisper, ci ha giàpensato l’ingegnere Hanoi Hantrakul del team Magenta:
Per saperne di più del progetto Magenta e provare i tools gratuiti che sfruttano tecniche di machine learning applicate alla musica (disponibili in standalone o in versione plugin esclusivamente per Ableton Live) è possibile visitare il sito:
https://magenta.tensorflow.org/studio
Alla prossima puntata!
