Elaborazione del Suono Sound Processing
SPAZIALIZZAZIONE SPATIALIZATION
Percezione Spaziale · Sistemi · Panning Spatial Perception · Systems · Panning
La Spazializzazione Spatialization
E' un parametro compositivo che indica le posizioni nello spazio dei suoni presenti nella mia composizione, sia che si tratti di una composizione elettroacustica che di un live electronics. Possono essere posizioni statiche o posizioni dinamiche. Spatialization is the compositional parameter allowing composers and producers to place and present sounds from positions surrounding the listener. Spatialization allows us to position these sounds statically, or even dynamically, relative to the listener.
Come percepiamo lo spazio? How do we perceive the space?
Riusciamo a percepire la posizione dei suoni grazie all'interazione tra orecchio e cervello. Siamo così in grado di decifrare se un suono viene dall'alto o dal basso, da davanti o da dietro, da destra o da sinistra con un'accuratezza piuttosto alta. We can localize sound, or perceive where sounds are coming from. Our auditory system can decipher whether a sound is coming from above or below, from in front or behind, or from the right or left with fairly high accuracy.
Come percepiamo lo spazio? How do we perceive the space?
Ci sono 3 parametri fondamentali che ci permettono di percepire la spazializzazione di un suono: There are 3 basic parameters that allow us to perceive the space position of a sound:
1) Interaural Time Difference (ITD) 1) Interaural Time Difference (ITD)
Esprime il ritardo con cui un suono raggiunge i due padiglioni auricolari. Per esempio un suono proveniente da destra raggiungerà l'orecchio destro in un tempo minore, quello sinistro in un tempo maggiore. La differenza tra questi due valori è l'ITD. This parameter is defined as the difference in arrival time for a sound to reach our left and right ears. For example, a sound coming to you from your left side will reach your left ear before reaching your right ear, since the sound has to travel around your head to reach your right ear.
Come percepiamo lo spazio? How do we perceive the space?
ITD — Interaural Time Difference ITD — Interaural Time Difference
ITD = 0 ms
ITD ≈ 0,01 ms ITD ≈ 0,2 ms
Come percepiamo lo spazio? How do we perceive the space?
2) Interaural Level Difference (ILD) 2) Interaural Level Difference (ILD)
Esprime la differenza di intensità sonora che raggiunge i due padiglioni auricolari. Per esempio un suono proveniente da destra raggiungerà con maggiore intensità sonora l'orecchio destro rispetto a quello sinistro. La differenza tra questi due valori è l'ILD. ILD is the phenomenon where the amplitude that each ear receives can be different due to the spatial positioning of the sound source. For example, a sound coming from the left will reach the left ear with greater sound intensity than the right ear because of our head's acoustic shadow.
Come percepiamo lo spazio? How do we perceive the space?
ILD — Interaural Level Difference ILD — Interaural Level Difference
ILD = 0 dB
Orecchio sx: 50 dB — Orecchio dx: 50 dB
ILD = 0 dB
Left ear: 50 dB — Right ear: 50 dB
ILD = 2 dB
Orecchio sx: 50 dB — Orecchio dx: 48 dB
ILD = 2 dB
Left ear: 50 dB — Right ear: 48 dB
Come percepiamo lo spazio? How do we perceive the space?
3) Head-related transfer function (HRTF) 3) Head-related transfer function (HRTF)
Esprime il filtraggio del suono da parte di orecchio interno ed esterno ma anche di testa e torso. La forma irregolare dell'orecchio umano permette una differente riflessione e rifrazione da parte del suono, in dipendenza dal fatto se provenga da una direzione o da un'altra, provocandone un filtraggio. Tali modifiche vengono quindi passate al cervello che ne interpreta il contenuto in senso spaziale, analogamente a quanto accade per il tatto o l'olfatto. As sound reaches a listener, the human body itself creates a set of acoustic interactions that results in essentially a frequency filter. The irregular shape of the pinna creates a direction dependent filter, or transfer function, that modifies the sound. These modifications are then passed to the brain, which interprets the content in a spatial sense. For example, if a sound reaches the right ear first, is attenuated by 10 dB at the left ear, and has a 5 dB cut at 6 kHz, due to the head-related transfer function, our brain will perceive that sound source to come from the upper right of the listener.
Come percepiamo lo spazio? How do we perceive the space?
HRTF — Head-related transfer function DDF — Direction Dependent Filter
Nessun filtraggio rilevante No relevant filtering
–5 dB su 6 kHz –5 dB at 10 kHz
Come percepiamo lo spazio? How do we perceive the space?
L'ambiente The environment
Le riverberazioni dovute all'ambiente in cui ascoltiamo il suono giocano un ruolo importante nella localizzazione del suono. The reverberant field of a space can play an important role in how we localize sound.
Per esempio un suono con molta riverberazione viene percepito di solito come lontano. Questo proprio perché un suono lontano fa arrivare al nostro apparato uditivo non solo il suono diretto ma anche quello proveniente dai rimbalzi sulle pareti della stanza dove ci troviamo ad ascoltare. For example, a sound with a lot of reverberation can be perceived as distant because the ratio between the energy of the direct sound and all the sound that bounces off the walls before reaching the listener is small.
Sistemi per Spazializzazione Spatialization systems
Una tecnica di spazializzazione è un sistema che permette di spostare in maniera virtuale una sorgente sonora nello spazio. A spatialization system allows a user to virtually move a sound source through space.
Esistono molti sistemi di spazializzazione con diversi gradi di complessità. Un buon sistema di spazializzazione è un sistema che tiene conto di tutti i parametri descritti nelle slides precedenti: ITD, ILD, HRTF e ambiente. The more realistic spatialization systems consider all the parameters described in the previous slides: ITD, ILD, HRTF, and environment. With all of these parameters, the tradeoff is that for more accurate spatialization, there will be more calculations that the computer has to make.
Sistemi per Spazializzazione Spatialization systems
Macchine dedicate, quindi più costose e meno diffuse. Dedicated machines that are more expensive and less common.
Programmi eseguiti sui computer che permettono di fare spazializzazione. Computer software that performs algorithms that result in spatialization.
Sistemi per Spazializzazione Spatialization systems
La spazializzazione fatta direttamente in cuffia si basa sull'inganno del nostro apparato uditivo lavorando sui parametri percettivi: ILD, ITD, HRTF e riverberazione. È particolarmente usata in sistemi di realtà virtuale con visori 3D e nel gaming. When we spatialize sound directly with headphones into our ears, we essentially trick our auditory system using only two channels of audio to create the illusion of three-dimensional audio. This method is used prevalently with 3D virtual reality systems, and especially in gaming.
Nel proprio studio o in un concerto è possibile fare spazializzazione attraverso un certo numero di speaker. Si possono usare anche 2 soli speaker ma si ottengono buoni risultati a partire da una quadrifonia. In a studio or concert, it is possible to surround the audience with several speakers to achieve audio spatialization. While technically it only takes two speakers to create the effect of localization or spatialization, using four speakers (quad) or more will create more rich spatial sound fields.
Sistemi per Spazializzazione Spatialization systems
Solitamente nella quadrifonia gli speaker sono disposti in questo modo: Usually in quadraphonic systems, speakers are positioned in this way:
4 speaker 4 speaker
Sistemi per Spazializzazione Spatialization systems
8 speaker 8 speaker
Sistemi per Spazializzazione Spatialization systems
12 speaker · 3 ordini 12 speakers · 3 orders
Sistemi per Spazializzazione Spatialization systems
I Bassi Low Frequency Sounds
I bassi (20–100 Hz) sono difficilmente localizzabili nello spazio quindi di solito per i bassi si usa una cassa chiamata subwoofer che può essere posizionata in qualsiasi punto della stanza. The low frequencies of the timbres we want to spatialize deserve a separate discussion. The limitation of spatializing low frequencies is that it is difficult for humans to localize low (20–100 Hz) frequencies. Because of this, it is usually sufficient to use a single speaker called a subwoofer that can be placed anywhere in the room.
Ambisonics Ambisonics
Controllare la Spazializzazione Control Spatialization
Ci sono due modi principali di controllare la spazializzazione: There are two main ways to control spatialization:
In tempo differito Non-real time
Si crea cioè il lavoro in fase di produzione nella DAW, creando tracce separate per ogni speaker o utilizzando un plugin di spazializzazione che gestisce i vari canali. Durante l'esecuzione in concerto si usa un lettore delle tracce che posiziona ogni traccia su un determinato speaker. Questa tecnica è usata spesso per fare brani elettroacustici e concerti elettroacustici. You produce your work ahead of time in a DAW by creating separate tracks for each speaker or using a spatialization plugin that manages the various output channels. During concert performances, a multichannel playback device then distributes the audio to their respective speakers. This track player can be either a standalone hardware device or incorporated into computer software.
Controllare la Spazializzazione Control Spatialization
In tempo reale Real time
Si opera dal vivo per spostare virtualmente i suoni nello spazio. Per farlo si può usare un mixer o superfici di controllo più sofisticate come superfici multitouch (iPad…), joystick o anche sensori. Real time spatialization gives the creator and performer the opportunity to move sounds through space virtually in the present moment. This technique makes use of a mixer or more sophisticated control surfaces such as multi-touch surfaces (tablets, smartphones), joysticks, or even sensors.
Comunicazione via OSC Communicating via OSC
Collegato via Bluetooth Connected via Bluetooth
Il Panning Panning
Il Panning è la regolazione della posizione nello spazio stereofonico di un suono. Indica cioè su quale delle due casse di un sistema stereofonico è posizionato il suono. Panning is the angular placement of a sound in the stereo space of a playback system. Panning is achieved by controlling the ratio of amplitudes that a sound is sent to each speaker in a stereo system. By controlling the ratio of amplitudes, it essentially exploits only one of our perceptual parameters of sound localization: the ILD.
Si regola solitamente tramite un potenziometro (pan pot) presente su tutti i mixer, o con una manopola virtuale nelle DAW. Panning is adjusted by a potentiometer (a pan pot) found on all mixers, or with a virtual knob in DAWs.
Il Panning — Algoritmi Panning — Algorithms
Lineare (Linear pan) Linear (Linear pan)
E' un algoritmo molto semplice che però non trova riscontro realistico col nostro apparato uditivo. Infatti se uso questo algoritmo, quando mi trovo a metà del fronte stereofonico sento un abbassamento di volume generale. Questo perché il nostro apparato uditivo ha una risposta logaritmica al volume (vedi scala dB…). This is the most simple mathematical way to achieve panning, even if it does not necessarily realistically match our auditory apparatus. To achieve linear panning, we rescale the sound by multiplying it by values, corresponding to the potentiometer position, ranging from 0 to 1 on one speaker and the inverse (1 to 0) on the other.
Il Panning — Algoritmi Panning — Algorithms
A Potenza Costante (Constant Power Pan) Constant Power Pan
E' un algoritmo più accurato che permette di localizzare bene il suono. Segue curve logaritmiche quindi non ho il problema di avere abbassamenti quando metto al centro il mio suono. This is an alternate panning algorithm that allows you to localize the sound to match our perceptions better. Instead of a linear relationship of position and amplitude, this technique follows a logarithmic curve instead. To implement this method, instead of using the 0 to 1 scale from before, I will simply take the square root of those same values as my new multiplication factor.
Spazio come parametro compositivo-performativo Space as a compositional-performative parameter
Lo spazio quindi possiamo intenderlo come un vero e proprio parametro compositivo. Il compositore può non solo scegliere la posizione degli strumenti presenti nella sua composizione ma anche assegnare posizioni alle diverse note di un singolo strumento decidendone l'evoluzione nel tempo del brano. We can consider space as a true and proper compositional parameter. The composer can choose the position of the instruments in the composition and also assign positions to the different notes of a single instrument, shaping the piece's evolution over time.
Questi alcune delle posizioni classiche degli strumenti in un mix di un brano Pop, Rock o Jazz: A producer utilizes panning to distribute the various instruments in a stereo space. This way, the listener will hear the track as if they were in the room where the musicians were playing — a typical Pop, Rock, or Jazz mix.
Spazio come parametro compositivo-performativo Space as a compositional-performative parameter
Spatialization is a compositional parameter, whether it is simple panning or a more complex spatialization system.
Posso per esempio fare una sezione del mio brano in cui il suono di un trombone gira attorno all'ascoltatore. For example, I may choose to move the sound of a trombone so that it revolves around the listeners in certain sections.
Spazio come parametro compositivo-performativo Space as a compositional-performative parameter
Oppure far avvicinare e allontanare il suono di un violino nella coda del mio brano. Or have the sound of a violin move closer to or further away from the listener in the coda of my piece.
