UNIVERSIDADE DE CAXIAS DO SUL CENTRO DE COMPUTAÇÃO E TECNOLOGIA DA INFORMAÇÃO BACHARELADO EM TECNOLOGIAS DIGITAIS Trabalho de Conclusão de Curso II ÁUDIO ADAPTATIVO BASEADO EM EMOÇÕES: TRILHA SONORA DINÂMICA PARA AMBIENTES VIRTUAIS INTERATIVOS Felipi Medeiros Macedo [email protected] Carlos Eduardo Nery [email protected] Tipo de Trabalho: pesquisa com implementação Caxias do Sul, 17 de julho de 2012. UNIVERSIDADE DE CAXIAS DO SUL CENTRO DE COMPUTAÇÃO E TECNOLOGIA DA INFORMAÇÃO BACHARELADO EM TECNOLOGIAS DIGITAIS Trabalho de Conclusão de Curso II ÁUDIO ADAPTATIVO BASEADO EM EMOÇÕES: TRILHA SONORA DINÂMICA PARA AMBIENTES VIRTUAIS INTERATIVOS Trabalho de Conclusão de Curso para obtenção do Grau de Bacharel em Tecnologias Digitais da Universidade de Caxias do Sul. Felipi Medeiros Macedo [email protected] Carlos Eduardo Nery [email protected] Tipo de Trabalho: pesquisa com implementação Caxias do Sul, 17 de julho de 2012. 2 Principalmente àqueles que gostam de música, mas para os que não gostam também. 3 Agradecimentos Especialmente, aos meus pais, Gelson Luiz Lima Macedo e Márcia Medeiros Macedo, que souberam entender minha fixação por assuntos acadêmicos e minha necessidade de falar sobre isso 24 horas por dia, 7 dias por semana. Igualmente importantes, meus amigos, colegas e familiares, entre eles (mas não somente): Gregori Alves, Gustavo Medeiros Lionço, Carolina Luchese, Tássia Porto, Jéssica Bonatto da Rosa, Aline Corso e Reginaldo Devens Araldi. Agradeço também a todos os professores que me apoiaram, me ajudaram, conversaram bastante e me incentivaram a seguir a vida acadêmica, incluindo mas não limitando-se a: Silvana Boone, João Luis Tavares da Silva, Carlos Eduardo Nery, Ana Mery Sehbe de Carli, Ivana Almeida da Silva e Denison Linus da Motta Tavares. Agradecimentos especiais aos membros das bandas Opeth, Porcupine Tree, Dream Theater, The Mars Volta, The Gathering, Pain of Salvation e Mastodon, porque boa parte da minha produção acadêmica, incluindo este trabalho, surgiu sob influência dessas bandas. E, por fim, Monstro Espaguete Voador, porque sim. 4 Resumo Este trabalho consiste em uma pesquisa teórico-prática sobre áudio adaptativo baseado em emoções, constituindo uma trilha sonora dinâmica para ambientes virtuais interativos. A proposta se situa numa revisão bibliográfica que apresenta brevemente a história do áudio e das trilhas sonoras no cinema e nos jogos eletrônicos, para então mostrar o embasamento teórico tratando a percepção e o sentido do som e da música, seguido de um estudo que relaciona diferentes aspectos musicais a emoções que podem ser induzidas pelos mesmos. Esse embasamento serve como sustentação para a proposta e desenvolvimento de um trabalho prático que consiste de um jogo eletrônico cuja trilha sonora é capaz de adaptar-se às situações do mesmo e induzir diferentes emoções no jogador. Além do processo de criação e desenvolvimento, são apresentadas conclusões referentes aos resultados atingidos. Palavras-chave: áudio, jogos eletrônicos, música e emoção. 5 Abstract This work consists of a theorical-practical research about adaptive audio based on emotions, constituting a dynamic soundtrack for interactive virtual ambients. The proposal situates in a literature review that briefly presents the history of audio and soundtracks in film and video games, and then shows the theoretical foundation dealing with the perception and the sense of sound and music, followed by a study that links different music aspects with emotions that can be induced by them. This foundation serves as support for the proposal and development of a practical work which consists of a video game of which the soundtrack is able to adapt to the its situations and induce different emotions in the player. Besides the process of creation and development, conclusions referring the results attained are presented. Keywords: audio, video games, music and emotion. 6 Lista de Figuras Figura 1 : Mellotron 17 Figura 2 : Exemplo de modelo emocional bidimensional 26 Figura 3 : Captura de tela do jogo desenvolvido 37 Figura 4 : Arquivo plist usado como modelo externo 38 Figura 5 : Exemplo de situação das variáveis no espaço emocional 39 Figura 6 : Trecho de uma das linhas melódicas no software Guitar Pro 42 Figura 7 : Editando as linhas melódicas no software Studio One 43 Figura 8 : Montagem da música dinâmica no aplicativo FMOD Designer. 43 7 Lista de Tabelas Tabela 1 : Relação entre emoções e elementos musicais 27 Tabela 2 : Comparação de motores gráficos 30 8 Sumário 1. Introdução 10 2. Definições em música 12 3. Estado da arte do áudio e das trilhas sonoras 14 4. Da percepção à sensação musical 19 4.1 - A percepção sonora 19 4.2 - A função sonora 21 4.3 - A sensação sonora 22 5. Elementos musicais em modelos emocionais 25 6. Ferramentas de desenvolvimento 29 6.1 - Motores gráficos 29 6.2 - Bibliotecas de áudio 30 6.3 - Ferramentas de música e áudio 31 6.4 - Outras ferramentas 34 7. Desenvolvimento da aplicação 36 7.1 - Concepção 36 7.2 - Programação 39 7.3 - Composição musical 41 7.4 - Testes e validação 44 8. Considerações finais 46 9. Referências Bibliográficas 47 9 1. Introdução O cinema percebeu que a associação sonora permitia dar maior credibilidade às imagens que eram apresentadas. Semelhantemente os jogos eletrônicos também apresentam, desde suas primeiras gerações, efeitos sonoros e músicas que buscam aumentar a imersão do jogador, ou seja, o quanto ele se sente presente no ambiente virtual em que interage, e a credibilidade dos eventos que ocorrem na narrativa. No caso desses jogos, a tecnologia que se dispunha inicialmente dificultava o armazenamento e reprodução de som tal qual era feito no cinema, sendo mais prático produzir os sons sinteticamente. Com o passar do tempo, essas tecnologias avançaram, chegando ao ponto de possibilitarem o uso de áudio de alta qualidade dentro dos jogos. Porém, a composição das músicas pouco mudou com esses avanços (MENEGUETTE, PIRES JÚNIOR e OLIVEIRA, 2008). Berndt e Hartmann (2007) afirmam que, devido à música para jogos ser composta de modo semelhante à música para cinema, alguns problemas podem surgir. Esses autores apontam que a linearidade da música tradicional formam um obstáculo para a união orgânica entre a música e o jogo, pelo fato deste ser dinâmico e interativo. Os autores propõem, para resolver isso, o uso de técnicas de composição que tornem a música adaptativa, podendo acompanhar melhor a dinâmica do jogo. Tanto os jogos eletrônicos, como outros ambientes virtuais interativos similares, podem ampliar suas funções e características fazendo uso do áudio dinâmico, seja como referência a fenômenos semióticos extramusicais (NÖTH, 1995), como ambientações que evocam imagens que não estão presentes e ajudam a localizar o jogador (ADDAMS e ROLLINGS, 2007), estabelecendo o ritmo da narrativa, ou ainda utilizando diferentes elementos de composição e articulação musical para induzir diferentes emoções no usuário (LIVINGSTONE, MUHLBERGER e BROWN, 2010). Considerando toda a gama de possibilidades do uso do áudio dinâmico e da música em jogos eletrônicos e outros ambientes virtuais interativos, este trabalho tem como objetivo focar o estudo da psicologia da música, dos tipos de emoção e das características musicais, com o intuito de descobrir como a incorporação desses elementos pode aumentar a ligação emocional, imersão e 10