CROSSMODAL EFFECTS

The Mcgurk Illusion

Synaesthesia is the word for the correspondence of our senses acting together. In simple terms, a strong impression on one sense can lead to an involuntary experience on another one.

Hearing interacts with all senses like taste, for example. There are several crossmodal effect examples between the two.

Low pitched tones can match bitterness, while high pitched ones may match sweetness.¹

There’s a great experiment with a brand of chips. People had to taste and chew it listening to various types of music. When the music had a boost around 4kHz ( treble frequencies) the chips tasted more crunchy and crispy.

This means that our brain uses a combination of all senses to reinforce the primary sense, in this case, taste.

When we talk about the spoken word, there is a very strong crossmodal correspondence between sight and hearing.

When he listen to someone in front of us, we hear and, at the same time, watch that person's lip movement. The sound has to match what our eyes see, or our brain will feel lost.

While looking at this guy, try to hear what he might be saying.

Then, try again, without looking at the video.

Is it the same words you hear?

Try again...
.
.
.
.
.
.
.
.
.
.

This is called the Mcgurk-Macdonald effect. It was discovered in 1976 by Harry Mcgurk and his assistant John Macdonald.2
Our vision perceives a lip movement that doesn't match the sound caught by our ears. Our brain get's lost and tries to create a solution.

In this video, perhaps, most of you heard DA-DA-DA while looking at him and BA-BA-BA when not looking. In fact the man was filmed saying GA-GA-GA and then overdubbed saying BA-BA-BA. Most of our brains will create the sound DA-DA-DA, in order to solve the crossmodal incongruence.

The most interesting aspect of this illusion is that, even after being told about the solution, after understanding the process, we still cannot hear BA-BA-BA while looking at the lip movement, which brings out again that many of our hearing is non cognitive and unconscious.

1 Prof. Charles Spence, "On Crossmodal Correspondences and the future of Synaesthetic Marketing" . page 44, Audio Branding Academy Yearbook 2012/2013

^{2 Harry Mcgurk - "Hearing Lips and seeing voices", 1976}

 ^{EFEITOS INTERMODAIS}

^{A ilusão de Mcgurk}

^{Sinestésia é a palavra que define a correspondência entre os nossos sentidos, trabalhando em conjunto. Em termos simples, um estímulo intenso num sentido pode levar a uma experiência involuntária noutro.}

^{A audição interage com os outros sentidos, como o gosto, por exemplo. Há vários exemplos  de efeitos intermodais entre os dois.}

^{Sons graves acentuam a sensação de amargo, enquanto sons agudos reforçam o carácter doce}1.

^{Há um bom exemplo com uma marca de batatas fritas. Fizeram-se testes com a presença de música. Nos teste com músicas onde se tinha previamente subido a zona dos 4KHz (sons agudos), as batatas pareciam mais estaladiças.}

^{Aqui, o nosso cérebro usou uma combinação de sentidos para reforçar o sentido principal, neste caso, o gosto.}

^{Quando falamos da palavra, há uma fortíssima correspondência intermodal entre a audição e a visão.}

^{Ouvindo alguém à nossa frente, ao mesmo tempo que escutamos, os nossos olhos estão atentos aos movimentos dos lábios do nosso interlocutor. Se o som não corresponder ao que vemos, o nosso cérebro sente-se perdido.}

Sem tirar os olhos desta pessoa, tente perceber o que ele diz.

Agora repita a operação sem olhar para o vídeo.

Ouve os mesmos fonemas?

Experimente de novo.

.

.

.

.

.

.

.

.

.

.

Esta ilusão é chamada o Efeito de Mcgurk-Macdonald. Foi descoberto em 1976 por Harry Mcgurk e o seu assitente John Macdonald. 2

A nossa visão capta um movimento de lábios que não corresponde com o som que os nossos ouvidos sentiram. O nosso cérebro fica perdido e tenta criar uma solução.

Muitos de vocês devem ter ouvido DA-DA-DA enquanto olhavam para o vídeo e BA-BA-BA sem olhar para ele. De facto, este homem foi filmado a dizer GA-GA-GA e, depois dobrado a dizer BA-BA-BA. O nosso cérebro cria então a percepção de DA-DA-DA para resolver a incongruência intermodal.

Um dos aspectos mais interessantes desta ilusão é que, mesmo depois de sabermos a solução e de compreendermos o processo, não conseguimos ouvir BA-BA-BA quando olhamos para a imagem.

Isto é uma prova que o nosso processo auditivo é inconsciente e não cognitivo.

1 Prof. Charles Spence, "On Crossmodal Correspondences and the future of Synaesthetic Marketing" . pag. 44, Audio Branding Academy Yearbook 2012/2013

^{2 Harry Mcgurk - "Hearing Lips and seeing voices", 1976}