CROSSMODAL EFFECTS

The Mcgurk Illusion

Synaesthesia is the word for the correspondence of our senses acting together. In simple terms, a strong impression on one sense can lead to an involuntary experience on another one.

Hearing interacts with all senses like taste, for example. There are several crossmodal effect examples between the two.

Low pitched tones can match bitterness, while high pitched ones may match sweetness.¹

There’s a great experiment with a brand of chips. People had to taste and chew it listening to various types of music. When the music had a boost around 4kHz ( treble frequencies) the chips tasted more crunchy and crispy.

This means that our brain uses a combination of all senses to reinforce the primary sense, in this case, taste.

When we talk about the spoken word, there is a very strong crossmodal correspondence between sight and hearing.

When he listen to someone in front of us, we hear and, at the same time, watch that person's lip movement. The sound has to match what our eyes see, or our brain will feel lost.

While looking at this guy, try to hear what he might be saying.

Then, try again, without looking at the video.

Is it the same words you hear?

Try again...
.
.
.
.
.
.
.
.
.
.

This is called the Mcgurk-Macdonald effect. It was discovered in 1976 by Harry Mcgurk and his assistant John Macdonald.2
Our vision perceives a lip movement that doesn't match the sound caught by our ears. Our brain get's lost and tries to create a solution.

In this video, perhaps, most of you heard DA-DA-DA while looking at him and BA-BA-BA when not looking. In fact the man was filmed saying GA-GA-GA and then overdubbed saying BA-BA-BA. Most of our brains will create the sound DA-DA-DA, in order to solve the crossmodal incongruence.

The most interesting aspect of this illusion is that, even after being told about the solution, after understanding the process, we still cannot hear BA-BA-BA while looking at the lip movement, which brings out again that many of our hearing is non cognitive and unconscious.

1 Prof. Charles Spence, "On Crossmodal Correspondences and the future of Synaesthetic Marketing" . page 44, Audio Branding Academy Yearbook 2012/2013

^{2 Harry Mcgurk - "Hearing Lips and seeing voices", 1976}

 ^{EFEITOS INTERMODAIS}

^{A ilusão de Mcgurk}

^{Sinestésia é a palavra que define a correspondência entre os nossos sentidos, trabalhando em conjunto. Em termos simples, um estímulo intenso num sentido pode levar a uma experiência involuntária noutro.}

^{A audição interage com os outros sentidos, como o gosto, por exemplo. Há vários exemplos  de efeitos intermodais entre os dois.}

^{Sons graves acentuam a sensação de amargo, enquanto sons agudos reforçam o carácter doce}1.

^{Há um bom exemplo com uma marca de batatas fritas. Fizeram-se testes com a presença de música. Nos teste com músicas onde se tinha previamente subido a zona dos 4KHz (sons agudos), as batatas pareciam mais estaladiças.}

^{Aqui, o nosso cérebro usou uma combinação de sentidos para reforçar o sentido principal, neste caso, o gosto.}

^{Quando falamos da palavra, há uma fortíssima correspondência intermodal entre a audição e a visão.}

^{Ouvindo alguém à nossa frente, ao mesmo tempo que escutamos, os nossos olhos estão atentos aos movimentos dos lábios do nosso interlocutor. Se o som não corresponder ao que vemos, o nosso cérebro sente-se perdido.}

Sem tirar os olhos desta pessoa, tente perceber o que ele diz.

Agora repita a operação sem olhar para o vídeo.

Ouve os mesmos fonemas?

Experimente de novo.

.

.

.

.

.

.

.

.

.

.

Esta ilusão é chamada o Efeito de Mcgurk-Macdonald. Foi descoberto em 1976 por Harry Mcgurk e o seu assitente John Macdonald. 2

A nossa visão capta um movimento de lábios que não corresponde com o som que os nossos ouvidos sentiram. O nosso cérebro fica perdido e tenta criar uma solução.

Muitos de vocês devem ter ouvido DA-DA-DA enquanto olhavam para o vídeo e BA-BA-BA sem olhar para ele. De facto, este homem foi filmado a dizer GA-GA-GA e, depois dobrado a dizer BA-BA-BA. O nosso cérebro cria então a percepção de DA-DA-DA para resolver a incongruência intermodal.

Um dos aspectos mais interessantes desta ilusão é que, mesmo depois de sabermos a solução e de compreendermos o processo, não conseguimos ouvir BA-BA-BA quando olhamos para a imagem.

Isto é uma prova que o nosso processo auditivo é inconsciente e não cognitivo.

1 Prof. Charles Spence, "On Crossmodal Correspondences and the future of Synaesthetic Marketing" . pag. 44, Audio Branding Academy Yearbook 2012/2013

^{2 Harry Mcgurk - "Hearing Lips and seeing voices", 1976}

DIGITAL AUDIO 

44.1 Khz / 16 bit. What is this?

Staying away from the difficult terrain of Fourier analysis, we just have to know that sound waves are complex, although they can be represented by a sum of simple sine waves of different frequencies.

One sine wave cycle

When we are young and healthy, we can hear from 20 Hertz to 20.000 Hertz. One Hertz means one cycle per second.

This vibrations are transformed into electric waves by a microphone, and then converted to digital by an Analog-to-Digital Converter, ADC.

As in digital photo, a digital recording of a sound is a series of zeros and ones that represent that sound. The perfection of this recording depends on a lot of factors. Two are more important: Sample Rate and Bit Depth.

First, what is a sample? In simple words is a measure, like a snapshot, taken at a certain time. But sound is movement, so we need a lot of snapshots. The air, stressed by a sound wave, is vibrating very quickly, up to 20.000 times in every second, so is the electric current produced by the microphone.

Harry Nyquist, a swedish scientist born in 1889, explained that we need at least two samples per cycle to be certain of the position of a sine wave.

So, to record up to 20.000 vibrations per second, we will need at least 40.000 samples in every second.

44.100 samples is the rate proposed by Philips in 1979 and used by the Audio CD Industry.

The CD size and playback length was agreed with Sony, in 1980, so that one Audio CD could contain the whole Beethoven's 9^th Symphony.

The video industry, led by Sony, uses a slightly higher sample rate, 48.000 Hz.

A rough digital sample (in grey) of an analog sine wave (in red)

So, this is the sample rate. The number of measurements per second.

Now, let’s talk about the accuracy of those measurements.

An analogy: How tall are you? Let’s measure it with different rulers, of different precisions:

Ruler 1 ( less precise )  5,9 feet.

Ruler 2 (medium)          5,906 feet.

Ruler 3 ( more precise)  5,905724379 feet.

The accuracy of those measurements need space in binary numbers, zeros and ones.

If we just use 4 bit words for that storage, our scale only allows for 16 different values. Quite rough.

                             

The effect of a high and low resolution in a picture 

With 8 bit word, we can go up to 256 values. But with 16 bit, we reach 65.536. And having a 24 bit word, we can have a 16.777.216 scale, which is 256 times more precise and accurate than the 16 bit scale!

So, when you’ll see that a recording is made in 48KHz/24 bit, you will immediately know that it was done with 48.000 samples per second and a precision of 24 bits.

In an Audio CD it will be 44.1KHz at 16 bits. Quite good, I'd say.
Some audio formats go up to 192 KHz / 32 bits. I bet our dogs will love it!

AUDIO DIGITAL

44.1KHZ / 16 BIT. O que é isto?

Sem termos de entrar no território difícil da análise de Fourier, basta-nos saber que as ondas sonoras são complexas, embora possam ser representadas por uma soma de simples ondas sinusoidais de diferentes frequências. 

Um ciclo de uma sinusóide

Quando somos jovens e saudáveis, conseguimos ouvir sons entre os 20 Hertz e os 20.000 Hertz. 
Um Hertz é um ciclo por segundo.

Estas vibrações são transformadas em ondas eléctricas por meio de um microfone e, depois, convertidas em números binários através de um Conversor Analógico Digital, CAD.

Tal como numa foto digital, uma amostra digital é uma série de zeros e uns que representam esse som. A precisão dessa representação depende de uma série de factores. Dois são os mais importantes: Frequência de Amostragem e Número de Bits.

Primeiro, o que é um sample ou amostra? É como se tirássemos uma fotografia, num determinado momento. Mas o som é movimento, por isso, precisamos de muitas fotografias. As ondas sonoras vibram a frequências audíveis até 20.000 ciclos, assim como a corrente produzida pelo microfone.

Harry Nyquist, um cientista sueco nascido em 1889, explicou que são necessárias pelo menos duas amostras por ciclo para conhecermos a posição de um impulso sinusoidal. Assim, para frequências de 20.000 ciclos precisaremos de 40.000 amostras.

A Philips, quando criou o Audio CD em 1979, propôs uma frequência de amostragem de 44.100 Hz. A sua dimensão e capacidade do CD foram calculados em 1980 num acordo com a Sony de forma a permitir incluir a totalidade da 9ª Sinfonia de Beethoven.

A indústria de vídeo usa um pouco mais, 48KHz.

Uma amostragem digital ( a cinza) de uma sinusóide analógica ( a vermelho)

Portanto, isto é a frequência de amostragem. O número de amostras por segundo.

Agora falemos da precisão dessas amostras.

Uma analogia: Qual é a sua altura? Vamos medi-la com réguas de diferente precisão.

Régua 1 ( mais grosseira )  1,8 metros

Régua 2 ( média)               1,8346 metros

Régua 3 ( mais rigorosa )   1,83469875252 metros

A precisão destes valores precisa de espaço em linguagem binária de zeros e uns.

Se tivermos palavras de 4 bits, só temos 16 diferentes valores da escala. Muito grosseiro!

O efeito de alta e baixa resolução numa imagem

Se aumentarmos para 8 bits, teremos 256, bastante melhor.

Com 16 bits temos 65.536 valores e com 24 bits 16.777.216 possibilidades, ou seja, 256 mais rigoroso que a medição com 16 bits.

Assim, quando vir que uma gravação é 48KHz/24 bit já sabe que foram tomadas 48.000 amostras por segundo e que a precisão de medida é de 1/ 16.777.216 da escala.

Num CD Audio será de 44.1KHz a 16 bits. Bem bom, na minha opinião.
Alguns formatos vão até aos 192 KHZ / 32 bits, os nosso cães devem adorar!

1 MONTH OLD!

The Sound Adventure is 1 month old.

During the first month, we had 2476 visits!

The majority of readers are Portuguese (1786) but more than one third come from the US (638).
The 3rd country is Brazil, followed by the UK, Germany and Spain.

This is a living proof that communities are more important than countries and also that sound is a passion for a lot of people.
This brings a great responsibility but also a big desire to continue.
Thank you very much for following.

1 MÊS DE IDADE

The Sound Adventure completa hoje um mês de idade.

Durante este primeiro mês, teve 2476 visitas.

A maioria vem de Portugal (1786) mas mais de um terço vem dos Estados Unidos (638).
O 3º País é o Brasil, seguido do Reino Unido, da Alemanha e da Espanha.

Isto prova que as comunidades são mais importantes do que os Países e também que o som é uma paixão para muita gente.
E traz-nos uma responsabilidade acrescida, mas também uma maior vontade de continuar.
Muito obrigado pelas vossas visitas.

SILENCE AND HOSPITALS

Noise Part 3

The word SILENCE is usually related to Hospitals.

Hospitals should be the places where silence rules. Therefore, they are getting noisier and noisier everyday. A recent study concluded that the difference reaches 10 dB’s, compared to some years ago.

Most hospital rooms have a loudness of 50dB's. Considering that the loudness of a quiet sleeping room should be around 30dB’s, this means that an Hospital room is 4 times noisier than an average decent sleeping room. 4 times!!
Some Intensive Care Units reach easily 57-58dB's, around 7 times louder than the 30dB's of a good bedroom.
How can a patient recover in this ambience?

The suspects are several, but the usual are two: modern architecture with a taste for reflector surfaces, enemies of silence like steal, glass, and polished stone; and a lot of medical electronic gear with plenty of alarms stuffed into the healing bedrooms, where patients are expected to be resting and recovering.

According to a HART¹ study , the consequences are several: greater patient anxiety, longer healing times for patients, most frequent mistakes from health professionals, among others.

Brian Eno was, recently, involved in a traumatizing recovery from a traffic accident, at the Montefiore Hospital. He soon realized this problem. Thus, he created there a Quiet Room where patients and health professionals could rest and recover.

Brian Eno Quiet Room

Other people are trying to make Hospitals quieter. “Resting is Healing” is  the headline for a campaign, “SHHH” Silent Hospitals Help Healing, is another one.

Let us all help Hospitals to turn into quiet places. Sooner or later, we will all need to recover there, someday.

1- HART - Healthcare Acoustics Research Team, 2012

SILÊNCIO E HOSPITAIS

Silêncio Parte 3

A palavra “Silêncio” está associada aos hospitais.

Os Hospitais, locais onde o silêncio devia imperar, estão, cada vez mais ruidosos. Um estudo recente concluiu que a diferença atinge os 10dB’s, ou seja cerca do dobro do volume de há poucos anos atrás.

Alguns quartos hospitalares atingem os 50 dB's. Se um bom quarto de dormir tem cerca de 30dB's de volume, então esses quartos de hospital têm o quádruplo do volume de som ideal! 4 vezes mais alto! 
Algumas unidades de cuidados intensivos atingem os 57-58 dB's, um volume 7 vezes superior aos 30dB's de um bom quarto.
Como é que um doente pode recuperar num ambiente destes?

Os responsáveis são vários, mas os principais suspeitos são dois: uma arquitectura moderna à base de superfícies reflectoras e inimigas do silêncio, como o metal, vidro e pedra polida; e uma série de aparelhos clínicos com inúmeros alarmes sonoros enfiados nas enfermarias onde os doentes recuperam.

As consequências, segundo um estudo do HART¹, são várias: maior ansiedade dos utentes, maior tempo de recuperação dos doentes, erros mais frequentes dos profissionais de saúde, entre outros.

Brian Eno, teve recentemente uma experiência bastante traumatizante no Montefiore Hospital, após um acidente de viação, onde se apercebeu deste problema. Criou, por isso, uma Quiet Room onde os doentes e profissionais se podem refugiar para descansar.

Brian Eno Quiet room

“Resting is Healing”, diz um headline de uma campanha de silêncio nos hospitais.

“Shhh”, Silent Hospitals Help Healing, é outra.

Ajudemos os Hospitais a ficarem mais silenciosos. Mais tarde ou mais cedo, vamos precisar de descansar num deles.

1- HART - Helathcare Acoustics Research Team, 2012