Initial commit

This commit is contained in:
Martin Potier 2012-07-31 09:27:46 +02:00
commit 280bd3ea61
22 changed files with 1327 additions and 0 deletions

BIN
.CMakeLists.txt.swp Normal file

Binary file not shown.

Binary file not shown.

Binary file not shown.

BIN
.catalog.tex.swp Normal file

Binary file not shown.

BIN
.content.tex.swp Normal file

Binary file not shown.

BIN
.memoire.tex.swp Normal file

Binary file not shown.

27
CMakeLists.txt Normal file
View file

@ -0,0 +1,27 @@
################################################################################
# You need to install UseLATEX.cmake(http://www.itk.org/Wiki/CMakeUserUseLATEX)
# To build latex pdf, you need an out-of-source build:
# 1, create a build dir in the dir contains CMakeLists.txt and tex files
# : mkdir build
# 2, go into the build dir
# : cd build
# 3, building now
# : cmake .. && make
################################################################################
project(main)
cmake_minimum_required(VERSION 2.8)
set(CMAKE_MODULE_PATH ${CMAKE_ROOT}/Modules)
message("CMAKE ROOT is ${CMAKE_ROOT}")
message("CMAKE MODULE PATH is ${CMAKE_MODULE_PATH}")
include(${CMAKE_MODULE_PATH}/UseLATEX.cmake)
set(PDFLATEX_COMPILER xelatex)
ADD_LATEX_DOCUMENT(memoire.tex
INPUTS content.tex catalog.tex
BIBFILES StageSonification2012.bib SonificationHandbook.bib
IMAGE_DIRS img
DEFAULT_PDF
)

370
SonificationHandbook.bib Normal file
View file

@ -0,0 +1,370 @@
@incollection{hermann_introduction_2011,
address = {Berlin, Germany},
title = {Introduction},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter1/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {16}
},
@incollection{walker_theory_2011,
address = {Berlin, Germany},
title = {Theory of Sonification},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter2/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Walker, Bruce N. and Nees, Michael A.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {939}
},
@incollection{carlile_psychoacoustics_2011,
address = {Berlin, Germany},
title = {Psychoacoustics},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter3/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Carlile, Simon},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {4161}
},
@incollection{neuhoff_perception_2011,
address = {Berlin, Germany},
title = {Perception, Cognition and Action in Auditory Display},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter4/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Neuhoff, John G.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {6385}
},
@incollection{serafin_sonic_2011,
address = {Berlin, Germany},
title = {Sonic Interaction Design},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter5/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Serafin, Stefania and Franinović, Karmen and Hermann, Thomas and Lemaitre, Guillaume and Rinott, Michal and Rocchesso, Davide},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {87110}
},
@incollection{bonebright_evaluation_2011,
address = {Berlin, Germany},
title = {Evaluation of Auditory Display},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter6/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Bonebright, Terri L. and Flowers, John H.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {111144}
},
@incollection{barrass_sonification_2011,
address = {Berlin, Germany},
title = {Sonification Design and Aesthetics},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter7/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Barrass, Stephen and Vickers, Paul},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {145171}
},
@incollection{ferguson_statistical_2011,
address = {Berlin, Germany},
title = {Statistical Sonification for Exploratory Data Analysis},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter8/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Ferguson, Sam and Martens, William L. and Cabrera, Densil},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {175196}
},
@incollection{cook_sound_2011,
address = {Berlin, Germany},
title = {Sound Synthesis for Auditory Display},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter9/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Cook, Perry R.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {197235}
},
@incollection{bovermann_laboratory_2011,
address = {Berlin, Germany},
title = {Laboratory Methods for Experimental Sonification},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter10/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Bovermann, Till and Rohrhuber, Julian and Campo, Alberto de},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {237272}
},
@incollection{hunt_interactive_2011,
address = {Berlin, Germany},
title = {Interactive Sonification},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter11/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Hunt, Andy and Hermann, Thomas},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {273298}
},
@incollection{dombois_audification_2011,
address = {Berlin, Germany},
title = {Audification},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter12/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Dombois, Florian and Eckel, Gerhard},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {301324}
},
@incollection{brazil_auditory_2011,
address = {Berlin, Germany},
title = {Auditory Icons},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter13/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Brazil, Eoin and Fernström, Mikael},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {325338}
},
@incollection{mcgookin_earcons_2011,
address = {Berlin, Germany},
title = {Earcons},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter14/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {{McGookin}, David and Brewster, Stephen},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {339361}
},
@incollection{grond_parameter_2011,
address = {Berlin, Germany},
title = {Parameter Mapping Sonification},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter15/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Grond, Florian and Berger, Jonathan},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {363397}
},
@incollection{hermann_model-based_2011,
address = {Berlin, Germany},
title = {Model-Based Sonification},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter16/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Hermann, Thomas},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {399427}
},
@incollection{edwards_auditory_2011,
address = {Berlin, Germany},
title = {Auditory Display in Assistive Technology},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter17/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Edwards, Alistair D. N.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {431453}
},
@incollection{vickers_sonification_2011,
address = {Berlin, Germany},
title = {Sonification for Process Monitoring},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter18/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Vickers, Paul},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {455491}
},
@incollection{guillaume_intelligent_2011,
address = {Berlin, Germany},
title = {Intelligent auditory alarms},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter19/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Guillaume, Anne},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {493508}
},
@incollection{brazil_navigation_2011,
address = {Berlin, Germany},
title = {Navigation of Data},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter20/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Brazil, Eoin and Fernström, Mikael},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {509523}
},
@incollection{honer_aiding_2011,
address = {Berlin, Germany},
title = {Aiding Movement with Sonification in {“Exercise}, Play and Sport”},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter21/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Höner, Oliver and Hunt, Andy and Pauletto, Sandra and Röber, Niklas and Hermann, Thomas and Effenberg, Alfred O.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
note = {Höner, O. (chapter ed.)},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {525553}
},
@incollection{honer_multidisciplinary_2011,
address = {Berlin, Germany},
title = {Multidisciplinary Applications of Sonification in the Field of {“Exercise}, Play and Sport”},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter21/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Höner, Oliver},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
note = {Höner, O. (chapter ed.), references on pp 551-553},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {525527}
},
@incollection{hunt_use_2011,
address = {Berlin, Germany},
title = {Use of Sound for Physiotherapy Analysis and Feedback},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter21/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Hunt, Andy and Pauletto, Sandra},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
note = {Höner, O. (chapter ed.), references on pp 551-553},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {528531}
},
@incollection{rober_interaction_2011,
address = {Berlin, Germany},
title = {Interaction with Sound in auditory computer games},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter21/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Röber, Niklas},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
note = {Höner, O. (chapter ed.), references on pp 551-553},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {532537}
},
@incollection{honer_sonification-based_2011,
address = {Berlin, Germany},
title = {Sonification-based Sport games and Performance Tests in Adapted Physical Activity},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter21/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Höner, Oliver and Hermann, Thomas},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
note = {Höner, O. (chapter ed.), references on pp 551-553},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {538546}
},
@incollection{effenberg_enhancing_2011,
address = {Berlin, Germany},
title = {Enhancing Motor Control and Learning by Additional Movement Sonification},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook/chapters/chapter21/},
booktitle = {The Sonification Handbook},
publisher = {Logos Publishing House},
author = {Effenberg, Alfred O.},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
note = {Höner, O. (chapter ed.), references on pp 551-553},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User},
pages = {547550}
}

214
StageSonification2012.bib Normal file
View file

@ -0,0 +1,214 @@
@inproceedings{eckel_sound_1995,
title = {Sound synthesis by physical modelling with Modalys},
url = {http://iem.at/~eckel/publications/eckel95b.html},
booktitle = {Proceedings of the International Symposium of Music Acoustics},
author = {Eckel, G. and Iovino, F. and Caussé, R.},
year = {1995},
keywords = {modal-synthesis, physical-modeling}
},
@inproceedings{vickers_sonification_2006,
title = {Sonification abstraite/sonification concrete: An Æsthetic perspective space for classifying auditory displays in the ars musica domain},
shorttitle = {Sonification abstraite/sonification concrete},
booktitle = {International Conference on Auditory Display {(ICAD2006)}, London, {UK}},
author = {Vickers, P. and Hogg, B.},
year = {2006}
},
@article{giavitto_computational_2002,
title = {Computational Models for Integrative and Developmental Biology},
author = {Giavitto, Jean-Louis and Godin, Christophe and Michel, Olivier and Prusinkiewicz, Przemyslaw},
year = {2002}
},
@inproceedings{puckette_low-dimensional_2004,
title = {Low-dimensional parameter mapping using spectral envelopes},
booktitle = {Proceedings, International Computer Music Conference, Miami},
author = {Puckette, M.},
year = {2004}
},
@inproceedings{curry_capability_2003,
title = {Capability of the human visual system},
volume = {5080},
booktitle = {Proc. {SPIE}},
author = {Curry, D. G and Martinsen, G. and Hopper, D. G},
year = {2003},
pages = {5869}
},
@book{hermann_taxonomy_2008,
title = {Taxonomy and Definitions for Sonification and Auditory Display},
url = {http://pub.uni-bielefeld.de/publication/2017235},
publisher = {{IRCAM}},
author = {Hermann, Thomas},
year = {2008},
note = {Sonification is still a young research field and many terms such as sonification, auditory display, auralization, audification have been used without a precise definition. Recent developments such as the introduction of Model-based Sonification, the establishing of interactive sonification and the increased interest in sonification from arts have raised the issue of revisiting the definitions towards a clearer terminology. This paper introduces a new definition for sonification and auditory display that emphasize necessary and sufficient conditions for organized sound to be called sonification. It furthermore suggests a taxonomy, and discusses the relation between visualization and sonification. A hierarchy of closed-loop interactions is furthermore introduced. This paper aims at initiating vivid discussions towards the establishing of a deeper theory of sonification and auditory display.},
keywords = {ddc:004}
},
@article{kramer_sonification_1999,
title = {The Sonification Report: Status of the Field and Research Agenda. Report prepared for the National Science Foundation by members of the International Community for Auditory Display},
url = {http://icad.org/node/400},
journal = {International Community for Auditory Display {(ICAD)}, Santa Fe, {NM}},
author = {Kramer, G. and Walker, {BN} and Bonebright, T. and Cook, P. and Flowers, J. and Miner, N. and Neuhoff, J. and Bargar, R. and Barrass, S. and Berger, J. and others},
year = {1999}
},
@book{rahn_basic_1987,
address = {New York; London},
title = {Basic atonal theory},
isbn = {0028731603 9780028731605},
publisher = {Schirmer Books ; Collier Macmillan},
author = {Rahn, John},
year = {1987}
},
@book{forte_structure_1973,
address = {New Haven},
title = {The structure of atonal music},
isbn = {0300016107 9780300016109 0300021208 9780300021202},
abstract = {Describes and cites examples of pitch-class sets and relations in atonal music.},
publisher = {Yale University Press},
author = {Forte, Allen},
year = {1973}
},
@inproceedings{walker_sonification_2003,
title = {Sonification Sandbox: A graphical toolkit for auditory graphs},
volume = {3},
shorttitle = {Sonification Sandbox},
booktitle = {Proc. {ICAD}},
author = {Walker, {B.N.} and Cothran, {J.T.}},
year = {2003}
},
@article{gaver_sonicfinder:_1989,
title = {The {SonicFinder:} An Interface That Uses Auditory Icons},
volume = {4},
url = {http://www.tandfonline.com/doi/abs/10.1207/s15327051hci0401_3},
doi = {10.1207/s15327051hci0401_3},
number = {1},
journal = {Human Computer Interaction},
author = {Gaver, William W.},
year = {1989},
pages = {67--94}
},
@techreport{axen_topological_1998,
address = {Champaign, {IL}, {USA}},
title = {Topological Analysis Using Morse Theory and Auditory Display},
institution = {University of Illinois at Urbana-Champaign},
author = {Axen, Ulrike},
year = {1998}
},
@inproceedings{raaij_listening_2004,
title = {Listening to the Mind Listening},
booktitle = {International Conference on Auditory Display},
author = {Raaij, Hans Van},
year = {2004}
},
@article{adhitya_audio-assisted_2011,
title = {Audio-assisted {VisualizationSonification} of Complex Urban Systems with the {SUM} tool},
author = {Adhitya, S.},
year = {2011}
},
@article{hermann_listen_1999,
title = {Listen to your Data: Model-Based Sonification for Data Analysis},
location = {http://www.scientificcommons.org/42945728},
url = {http://citeseerx.ist.psu.edu/viewdoc/summary?doi=?doi=10.1.1.42.7970},
abstract = {Sonification is the use of non-speech audio to convey information. We are developing tools for interactive data exploration, which make use of sonification for data presentation. In this paper, model-based sonification is presented as a concept to design auditory displays. Two designs are described: (1) particle trajectories in a \"data potential\" is a sonification model to reveal information about the clustering of vectorial data and (2) \"data-sonograms\" is a sonification for data from a classification problem to reveal information about the mixing of distinct classes.},
author = {Hermann, T. and Ritter, H.},
year = {1999},
keywords = {Acoustics, Cluster Analysis, Exploratory Data Analysis, Sonification}
},
@article{hermann_sonification_2002,
title = {Sonification for exploratory data analyis},
location = {http://www.scientificcommons.org/34743641},
url = {http://worldcat.org/oclc/76495716},
abstract = {Bielefeld, Techn. University, Diss., 2002.},
author = {Hermann, Thomas.},
year = {2002},
keywords = {Mensch-Maschine-Kommunikation}
},
@phdthesis{vogt_sonification_2010,
address = {Graz},
title = {Sonification of Simulations in Computational Physics},
school = {Karl-Franzens-University},
author = {Vogt, Katharina},
year = {2010}
},
@article{puckette_using_2002,
title = {Using Pd as a score language},
author = {Puckette, Miller},
year = {2002}
},
@article{michel_theres_2007,
title = {There's Plenty of Room for Unconventional Programming Languages, or, Declarative Simulations of Dynamical Systems (with a Dynamical Structure)},
author = {Michel, Olivier and Giavitto, Jean-louis},
year = {2007}
},
@inproceedings{monro_what_2004,
title = {What Are You Really Thinking?},
booktitle = {International Conference on Auditory Display},
author = {Monro, Gordon},
year = {2004}
},
@book{hermann_sonification_2011,
address = {Berlin, Germany},
title = {The Sonification Handbook},
isbn = {978-3-8325-2819-5},
url = {http://sonification.de/handbook},
abstract = {This book is a comprehensive introductory presentation of the key research areas in the interdisciplinary fields of sonification and auditory display. Chapters are written by leading experts, providing a wide-range coverage of the central issues, and can be read from start to finish, or dipped into as required (like a smorgasbord menu). Sonification conveys information by using non-speech sounds. To listen to data as sound and noise can be a surprising new experience with diverse applications ranging from novel interfaces for visually impaired people to data analysis problems in many scientific fields. This book gives a solid introduction to the field of auditory display, the techniques for sonification, suitable technologies for developing sonification algorithms, and the most promising application areas. The book is accompanied by the online repository of sound examples.},
publisher = {Logos Publishing House},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}
},
@inproceedings{colloque_autour_de_la_set_theory_actes_2008,
address = {{[Paris];} {[Sampzon]} {(Le} Vallier, 07120)},
title = {Actes du Colloque Autour de la set theory : rencontre musicologique franco-américaine, Ircam, 15-16 octobre 2003...},
isbn = {2752100302 9782752100306 9782844264008 {284426400X}},
shorttitle = {Actes du Colloque Autour de la set theory},
publisher = {Ircam-Centre Pompidou ; Delatour France},
author = {{{Colloque} Autour de la set theory} and Andreatta, Moreno and Bardez, Jean-Michel and Rahn, John and {{Institut} de recherche et coordination acoustique musique {(Paris)}}},
year = {2008}
},
@incollection{albini_hamiltonian_2009,
series = {Communications in Computer and Information Science},
title = {Hamiltonian Cycles in the Topological Dual of the Tonnetz},
volume = {38},
isbn = {978-3-642-02394-1},
url = {http://dx.doi.org/10.1007/978-3-642-02394-1_1},
abstract = {The Hamiltonian cycles in the topological dual of the Tonnetz (i.e. the successions of triads connected only through {PLR-transformations} which visit every minor and major triad only once) will be introduced, enumerated on, studied, and classified both from a theoretical and analytical point of view.},
booktitle = {Mathematics and Computation in Music},
publisher = {Springer Berlin Heidelberg},
author = {Albini, Giovanni and Antonini, Samuele},
editor = {Chew, Elaine and Childs, Adrian and Chuan, Ching-Hua},
year = {2009},
note = {10.1007/978-3-642-02394-1\_1},
keywords = {Computer, Science},
pages = {1--10}
},
@book{drake_galileo_1990,
address = {Toronto; Buffalo},
title = {Galileo : pioneer scientist},
isbn = {0802027253 9780802027252},
shorttitle = {Galileo},
publisher = {University of Toronto Press},
author = {Drake, Stillman},
year = {1990}
}

53
catalog.tex Normal file
View file

@ -0,0 +1,53 @@
\section{Les processus sonores et musicaux}
Notre objectif est de pouvoir générer des mappings qui soient les plus
informatifs possibles et pour ce faire il nous faut une vue claire sur les
paramètres à notre disposition ainsi que leurs interactions. Nous parlons ici
du son qui comporte une forte composante perceptive ; ceci implique que lesdits
paramètres auront des caractéristiques perçues variant avec les individus
sujets à leur écoute.
\subsection{Catalogue}
La distinction entre processus sonores et musicaux n'est pas claire, cependant
elle peut être vue comme le groupement des caractéristiques microscopiques et
macroscopiques du son en général dans le sens de la dualité signe/signal, les
premières étant incluses et distinguables au sein des secondes. Autrement dit,
les processus sonores se rattachent aux caractéristiques du signal alors que
les processus musicaux se conçoivent au niveau symbolique.
\subsubsection{Les processus sonores}
Timbre, Hauteur, Intensité sonore
\subsubsection{Les processus musicaux}
Rythme, Mélodie, Localisation Spatiale
\subsection{Interactions}
Dans le but d'encoder un maximum d'information, il est important de connaître
quels paramètres peuvent être mappé simultanéments, la table \ref{table:interactions}
récapitule ces interactions.
\medskip
Tout d'abord, et comme nous l'explique \ref{Peretz-Coltheart-2003}, le
traitement de la hauteur et du rythme s'effectue en parallèle sur le plan
perceptif, donc on pourrait simultanément traiter une séquence musicale à la
fois en tant que succession de hauteurs qu'en tant que rythme, ce qui nous
semble naturel :
\begin{quote}
The musical input modules are organized in two parallel and largely independent
subsystems whose functions are to specify, respectively, the pitch content (the
melodic contour and the tonal functions of the successive pitch intervals) and
the temporal content, by representing the metric organization as well as the
rhythmic structure of the successive durations.
\end{quote}
\section{Exemples de « mappings »}
\subsection{Le timbre comme indice de l'ordre}
\clearpage
% --------------------------------------------------------------------
\section{Sujet de thèse}
\fbox{\pgfimage[width=\textwidth,page=1]{img/SSMSC1}}
\clearpage
\fbox{\pgfimage[width=\textwidth,page=2]{img/SSMSC2}}
\clearpage
\fbox{\pgfimage[width=\textwidth,page=3]{img/SSMSC3}}
% --------------------------------------------------------------------

582
content.tex Normal file
View file

@ -0,0 +1,582 @@
% Intro
% Méthodologie
% Résultats
% A?rmoire
% Discussion
\section{Introduction}
\setcounter{page}{1}
% Kickstart
Ce mémoire est issu de la rencontre entre l'\ircam\ (Institut de Recherche et
Coordination Acoustique/Musique) et le \lps\ (Laboratoire de Physique des
Solides) autour d'un sujet de recherche sur sonification/musification de
mousses liquides. Ce dernier, rédigé en conclusion d'un stage de recherche de
Master 2 au \mpri, présente le cadre interdisciplinaire et les pistes de
réflexion empruntées lors de ce travail très exploratoire.
Les mousses sont un sujet d'étude du \lps\ et l'usage du son pour détecter des
propriétés des mousses liquides est une approche novatrice dans ce domaine.
L'équipe RepMus (\ircam) possède les outils informatiques et
\emph{mathémusicaux} pour élaborer un environnement de sonification apte à
démontrer son intéret. La découverte du/des paramètre(s) décrivant au mieux le
comportement du système est une question non triviale, ce/ces dernier(s) étant
noyé(s) dans de multiples mesures portant sur de nombreux autres paramètres.
% De quoi on va parler
\medskip
Nous commencerons par présenter succintement le domaine de la sonification
scientifique, son lien avec la musification, avec le système étudié et
quelques notions nécessaires se rapportant à la musique contemporaine. Nous
aborderons ensuite les liens entre tonnetz et graphe de Cayley et nous
exposerons quelques mappings mis en œuvre pendant ces quelques mois. Nous
continuerons avec des détails sur l'implementation de ces mappings, puis
nous parlerons de la validation des données obtenues pour clore sur les
perspectives de ce stage et leurs implications.
\subsection[De la sonification scientifique]{De la sonification
scientifique\ldots}
\label{subsec:sonification}
Quelle loi gouverne la chute d'un corps ? D'après \cite{drake_galileo_1990},
Galilée aurait construit et utilisé une rampe (Fig. \ref{fig:rampe-full})
inclinée dotée de clochettes montées sur des portails munis de marteaux, afin
de mettre en évidence une loi quadratique. Sur cette rampe on laisse librement
rouler une bille qui, pendant sa descente, fait sonner les clochettes (Fig.
\ref{fig:rampe-detail}) : la phrase rythmique entendue dépend de la position de
chaque portail sur la rampe. En déplaçant les portails de telle manière à ce
que la phrase rythmique soit la plus régulière possible, on peut déterminer
l'accélération de la bille en mesurant leurs positions sur la rampe.
Cette expérience pratique utilisant le son comme descripteur d'un phénomène
fait partie de la sonification scientifique. On peut citer d'autres outils
scientifiques actuels reposant sur le même principe : le compteur Geiger, le
radar de recul (avec des « bip » de plus en plus rapprochés quand la distance à
l'obstacle diminue).
\begin{figure}[ht]
\centering
\subfloat[Ensemble]{
\includegraphics[height=.25\textheight]{img/galileo-inclined-plane.jpg}
\label{fig:rampe-full}}
\qquad
\subfloat[Détail]{
\includegraphics[height=.25\textheight]{img/galileo-inclined-plane-detail.jpg}
\label{fig:rampe-detail}}
\caption{Rampe de Galileo Galilei (au Museo Galileo de Florence)}
\label{fig:rampe}
\end{figure}
La sonification scientifique est un domaine en plein développement depuis les
vingt dernières années, notamment grâce à la création de la conférence
\textsc{Icad} (pour \emph{International Community for Auditory Display}) en
1992 présidée par Gregory Kramer. Ce champ de recherche intrinsèquement
pluridisciplinaire est à mettre en parallèle de la visualisation scientifique
et est définie dans \cite{kramer_sonification_1999} en ces termes :
\begin{quote}
Sonification is the transformation of data relations into perceived relations
in an acoustic signal for the purposes of facilitating communication or
interpretation.
\end{quote}
Pour faire le lien entre données et son, quelques techniques ont été
référencées dans~\cite{hermann_sonification_2011} :
\begin{itemize}
\item{l'\textbf{Audification}} consiste à écouter le signal brut ou déformé par
traitement analogique (filtrage passif, accélération, ralentissement, \ldots) ;
\item{les \textbf{Auditory Icons} et \textbf{Earcons}} sont des sons discrets
utilisés pour les évènements discrets (comme les alarmes), le premier consiste
à jouer des sons préenregistrés et second peut être l'agencement de séquences
synthétisées connues pour former des « mots » ;
\item{la \textbf{Model Based Sonification}} consiste à créer un \emph{modèle}
issu des données du système et d'ensuite interagir avec ledit modèle et écouter
en temps réel afin de tirer des informations du système et
\item{la \textbf{Parameter Mapping Sonification}}.
\end{itemize}
Notre travail s'inscrit dans la dernière catégorie. Traditionnellement, un
paramètre contrôlant la production d'un son est \emph{lié} à un des paramètre
du système étudié. Par exemple, nous pourrions relier un paramètre sonore comme
la fréquence d'un son à un paramètre de notre système comme le nombre de bulles
évoluant dans le temps. La variation des fréquences perçues nous renseignent
ainsi sur l'évolution du nombre de bulles au cours du temps. Cette méthode
plutôt intuitive souffre d'un défaut : il existe beaucoup de mappings possibles
($a.n^n$, où $n$ est le nombre de paramètres du système et $a$ le nombre de
paramètres contrôlant la production sonore). En restreignant la production
sonore au paramètres musicaux, nous pourrions aussi réduire l'espace des
valeurs de $a$, mais ce n'est pas le seul avantage que nous gagnerions à
\emph{musifier}.
%\begin{quote}
%Therein lies both power and problem. Specifically, the enormous range of
%interpretive mapping decisions provides equally enormous opportunities to
%create an appropriate auditory display for a particular desired purpose.
%However, the wide variety of mapping possibilities poses a challenge in terms
%of consistency and comprehensibility, a challenge that has, for visual data
%mapping, been attenuated by evolution and the a-temporal nature of the display.
%\hfill{\ref{soha-pmson}}
%\end{quote}
\subsection[À la musification]{\ldots\ à la musification}
Une approche de notre problème par les techniques de sonification classiques
nous semble limité car elle passe outre la forte composante \emph{strucurelle}
de la musique. Nous explorons la voie de la \emph{musification}, une extension
naturelle de la sonification par Parameter Mapping. C'est une approche
géométrico-algébrique qui cherche à combler le manque de géométrie dans les
techniques de sonification usuelles, donnée pourtant intéressante lors de
l'étude de systèmes physiques complexes ayant une organisation spatiale.
La formalisation musicale s'est accentuée à la fin du XX\ieme\ siècle avec
l'utilisation de la théorie des ensembles pour décrire les classes
d'intervalles (voir §~\ref{subsec:music}) : la \emph{set-theory}
\cite{forte_structure_1973} \cite{rahn_basic_1987}
\cite{colloque_autour_de_la_set_theory_actes_2008}. En rajoutant des opérations
algébriques à l'espace des hauteurs on obtient un couple (ensemble, structure)
nous ouvrant l'accès à la théorie des groupes. Les opérations ensemblistes et
algébriques sont disponibles : union et intersection, utilisation de la loi
interne, etc.
C'est tout un univers formel qui vient se greffer au Parameter Mapping et nous
permet de \emph{raisonner} de manière systématique sur la sonification.
\subsection{Système étudié : les mousses liquides}
\label{subsec:mousses}
\begin{figure}[ht]
\centering
\subfloat[Désordonnée]{
\includegraphics[width=.3\textwidth]{img/foam1}
\label{fig:desordonnee}}
\quad
\subfloat[Partiellement désordonnée]{
\includegraphics[width=.3\textwidth]{img/foam2}}
\quad
\subfloat[Régulière]{
\includegraphics[width=.3\textwidth]{img/foam3}
\label{fig:reguliere}}
\caption{Différentes organisations spatiales d'une mousse en deux dimensions}
\label{fig:mousses-space}
\end{figure}
Notre objet d'étude est un système complexe relativement bien connu des
physiciens du \lps\ d'Orsay : il s'agit des mousses liquides en deux dimensions
(Fig.~\ref{fig:mousses-space} et Fig.~\ref{fig:mousses-time}). Il n'en a pas
toujours été ainsi et il a fallut plusieurs années de recherche pour isoler le
«~bon~» paramètre parmis tous, c'est à dire celui le plus à même de décrire le
comportement du système. Nous émettons l'hyptohèse que cette recherche peut
être menée plus efficacement grâce à la musification du système.
\begin{figure}[ht]
\includegraphics[width=\textwidth]{img/foam-coarsening}
\begin{tikzpicture}[xscale=\textwidth/2cm]
\draw[|-to] (0,0) -- node[midway,fill=white] {temps} (2cm,0);
\end{tikzpicture}
\caption{Différents états de l'évolution temporelle d'une mousse en deux
dimensions à partir d'un état de type désordonnée (Fig.~\ref{fig:desordonnee})}
\label{fig:mousses-time}
\end{figure}
Deux questions se posent alors :
\begin{enumerate}
\item Comment écouter le degré d'ordre de l'organisation spatiale du
système ?
\item Comment écouter les épisodes catastrophiques lors de l'évolution
temporelle du système ?
\end{enumerate}
Ces deux questions ont orienté notre exploration lors de la
sonification/musification du système. La première est illustrée par
les trois états de la figure \ref{fig:mousses-space} et la seconde par les
états en fonction du temps de la figure \ref{fig:mousses-time}.
Nous opérons en aveugle, sans \emph{a priori} forts sur les mousses et leurs
agencements. Nous avons tout de même connaissance des quatres lois de Plateau
(des observations du physicien belge J. Plateau) :
\begin{enumerate}
\item tout film enfermant des bulles se compose d'éléments de surface lisses,
\item la courbure moyenne de chacun de ces éléments est constante (ce ne sont
pas forcément des sphères),
\item lorsque trois éléments de surface se rejoignent, ils se raccordent selon
une courbe régulière en tout point de laquelle leurs plans tangents forment des
angles de 120°,
\item lorsque ces lignes de raccordement se rejoignent, elles le font quatre
par quatre et prennent alors, au point de rencontre, les quatre directions
tétraédriques (comme les quatre segments qui joignent le centre d'un tétraèdre
régulier à ses sommets, et dont chacun forme avec les autres des angles
d'environ 109°).
\end{enumerate}
En deux dimensions, la 3\ieme\ loi nous intéresse et on peut l'observer sur une
mousse régulière (Fig.~\ref{fig:mousses-space}\subref{fig:reguliere}) car on
retrouve un agencement hexagonal (où chaque intersetion de trois bulles
présente trois angles de 120°). Ceci implique que chaque bulle possède six
voisinnes. C'est le point de départ des techniques géométriques mises en place
dans ce mémoire (voir notamment §~\ref{subsec:music} et
§~\ref{subsec:tonnetz-cayley}).
Cette étude en deux dimension a pour but premier de valider le bon
fonctionnement des techniques mises en place pour pouvoir ensuite attaquer un
domaine moins bien connu : les mousses en trois dimensions.
\medskip
C'est avec ces quelques indices que nous commençons la musification du système
en nous basant sur la théorie musicale contemporaine.
\subsection{Une vue sur la théorie musicale contemporaine}
\label{subsec:music}
Nous resterons très général sur les théories musicales. La notion importante
utilisée tout au long de ce mémoire est celle d'\emph{intervalle} : c'est la
«~distance~» entre deux notes. Le plus petit intervalle considéré est le
demi-ton. Il y a 12 demi-tons dans la gamme occidentale et ils sont répartis
sur 7 notes (Fig. \ref{fig:gamme}). On peut altérer la hauteur d'une note, donc
l'intervalle ayant pour une de ses bornes cette note, en la faisant précéder
d'une altération : ♯ (dièse, +1 demi-ton) ou ♭ (bémol, -1 demi-ton).
\begin{figure}[ht]
\centering
\begin{tikzpicture}[note/.style={draw,black,circle},bend left=-40]
\node[note] (C) {Do};
\node[note,right=of C] (D) {};
\node[note,right=of D] (E) {Mi};
\node[note,right=of E] (F) {Fa};
\node[note,right=of F] (G) {Sol};
\node[note,right=of G] (A) {La};
\node[note,right=of A] (B) {Si};
\node[note,right=of B,gray,dashed] (C2) {Do};
\draw[->] (C.south east) to node[above,midway] {+2} (D.south west);
\draw[->] (D.south east) to node[above,midway] {+2} (E.south west);
\draw[->] (E.south east) to node[above,midway] {+1} (F.south west);
\draw[->] (F.south east) to node[above,midway] {+2} (G.south west);
\draw[->] (G.south east) to node[above,midway] {+2} (A.south west);
\draw[->] (A.south east) to node[above,midway] {+2} (B.south west);
\draw[->] (B.south east) to node[above,midway] {+1} (C2.south west);
\end{tikzpicture}
\caption{Répartition des demi-tons dans la gamme de Do Majeur}
\label{fig:gamme}
\end{figure}
En utilisant la réduction à l'octave (l'intervalle de Do$_i$ à Do$_{i+1}$), on
réduit l'espace combinatoire en 12 intervalles qui sont les 12 classes de
résidus modulo 12 de $\mathbb{Z}_{12}$. Chacun de ces intervalles a un nom et
on peut utiliser une représentation circulaire comme support visuel pour des
opérations algébriques élémentaires entre autres :
\begin{itemize}
\item la transposition (rotation sur le cercle, fig. \ref{fig:transposition}),
\item l'inversion (symétrie sur le cercle, fig. \ref{fig:inversion}),
\end{itemize}
qui constituent une première formalisation algébrique.
\begin{figure}[ht]
\hfill
\subfloat[Transposition : $x \rightarrow x + k \bmod 12$]{
\begin{tikzpicture}[scale=.3\textwidth/2cm,delta angle=-30,radius=1.06cm]
\draw (0cm,0cm) circle (1cm);
\foreach \i/\j in
{90/0,60/1,30/2,0/3,330/4,300/5,270/6,240/7,210/8,180/9,150/10,120/11} {
\node[fill,circle,inner sep=.5mm] (\j) at (\i:1cm) {};
\node at (\i:1.2cm) {\j};
}
\draw (0) -- (3) -- (7) -- (0);
\draw[gray] (1) -- (4) -- (8) -- (1);
\draw[gray,dashed,->] (0,0) +(90:1.06cm) arc [start angle=90];
\end{tikzpicture}
\label{fig:transposition}}
\hfill
\subfloat[Inversion : $x \rightarrow -x \bmod 12 $.]{
\begin{tikzpicture}[scale=.3\textwidth/2cm]
\draw (0cm,0cm) circle (1cm);
\foreach \i/\j in
{90/0,60/1,30/2,0/3,330/4,300/5,270/6,240/7,210/8,180/9,150/10,120/11} {
\node[fill,circle,inner sep=.5mm] (\j) at (\i:1cm) {};
\node at (\i:1.2cm) {\j};
}
\draw[dashed,gray] (0,-1.3cm) -- (0,1.3cm);
\draw (0) -- (3) -- (7) -- (0);
\draw[gray] (0) -- (5) -- (9) -- (0);
\end{tikzpicture}
\label{fig:inversion}}
\hfill~
\caption{Intervalles et opérations algébriques sur un cercle}
\end{figure}
Une autre représentation qui nous intéresse est l'organisation spatiale des
intervalles au sein d'un \emph{tonnetz} (Fig.~\ref{fig:tonnetz}), décrit en
premier par Leonhard Euler. Ce dernier a choisi une disposition spatiale
compacte valorisant les intervalles\footnote{% (((-----------------------------
L. Euler utilise une notation allemande où le $H$ correspond au $B$ anglo-saxon
et le $B$ correspond à $A\#$. Cette notation vient du système de notation
\textsc{Bach}. Voir la page \url{http://en.wikipedia.org/wiki/H_(musical_note)}
pour de plus amples détails.}% )))---------------------------------------------
~de tierce majeure (4 demi-tons, vers la droite) et de quinte juste (7
demi-tons, vers le bas). Cette représentation est équivalente à la donnée d'un
groupe cyclique d'ordre 12 (comme précédemment) mais exprimé sous forme d'un
graphe planaire. Ces deux intervalles sont les plus consonnants (après
l'octave) ; il est donc agréable et pratique de pouvoir passer d'une note à une
autre en les privilégiants.
\begin{figure}[ht]
\centering
\subfloat[Tonnetz de L. Euler (1739)]{
\includegraphics[width=.45\textwidth]{img/eulers-tonnetz}
\label{fig:tonnetz}}
\subfloat[Tonnetz de L. Euler vu comme une partie du graphe de Cayley du groupe
$\mathbb{Z}_{12}$ avec pour partie génératrice $\{4,7\}$]{
\begin{tikzpicture}
[note/.style={draw,black,circle,inner sep=2mm},
label distance=-1mm,label position=below left,
double distance=.5mm]
\node[note,double] (C) [label=Do ] {};
\node[note,left=of C] (F) [label=Fa ] {};
\node[note,right=of C] (G) [label=Sol ] {};
\node[note,right=of G] (D) [label=Ré ] {};
\node[note,above=of F] (A) [label=La ] {};
\node[note,right=of A] (E) [label=Mi ] {};
\node[note,right=of E] (B) [label=Si ] {};
\node[note,right=of B] (Fd) [label= Fa♯] {};
\node[note,above=of A] (Cd) [label= Do♯] {};
\node[note,right=of Cd] (Gd) [label=Sol♯] {};
\node[note,right=of Gd] (Dd) [label= Ré♯] {};
\node[note,right=of Dd] (Ad) [label= La♯] {};
\draw (F) -- (C) -- node[above,midway] {+7} (G) -- (D);
\draw (A) -- (E) -- (B) -- (Fd);
\draw (Cd) -- (Gd) -- (Dd) -- (Ad);
\draw (F) -- (A) -- (Cd);
\draw (C) -- node[right,midway] {+4} (E) -- (Gd);
\draw (G) -- (B) -- (Dd);
\draw (D) -- (Fd) -- (Ad);
\draw[dashed] (Cd.north) -- +(0cm ,6mm );
\draw[dashed] (Gd.north) -- +(0cm ,6mm );
\draw[dashed] (Dd.north) -- +(0cm ,6mm );
\draw[dashed] (Ad.north) -- +(0cm ,6mm );
\draw[dashed] (F.south) -- +(0cm ,-6mm);
\draw[dashed] (C.south) -- +(0cm ,-6mm);
\draw[dashed] (G.south) -- +(0cm ,-6mm);
\draw[dashed] (D.south) -- +(0cm ,-6mm);
\draw[dashed] (F.west) -- +(-6mm,0cm );
\draw[dashed] (A.west) -- +(-6mm,0cm );
\draw[dashed] (Cd.west) -- +(-6mm,0cm );
\draw[dashed] (Ad.east) -- +(6mm ,0cm );
\draw[dashed] (Fd.east) -- +(6mm ,0cm );
\draw[dashed] (D.east) -- +(6mm ,0cm );
\end{tikzpicture}
\label{fig:cayley}}
\caption{Répartition spatiale des intervalles en tant que
tonnetz~\subref{fig:tonnetz} et en tant que graphe de
Cayley~\subref{fig:cayley}}
\end{figure}
Le musicologue Hugo Riemann explorera ensuite ce mode de représentation des
relations intervaliques entre notes influençant toute la musicologie à venir.
En gardant cet agencement et en récupérant une triangulation de l'espace
comme sur la figure~\ref{fig:trig}, on obtient immédiatement toutes
les triades Majeures et mineures de la gamme ainsi que les tonalités voisinnes,
comme Do Majeur (La mineur) est la tonalité relative Majeure (mineure) à La
mineur (Do Majeur) respectivement.
\begin{figure}[ht]
\centering
\begin{tikzpicture}
[note/.style={draw,black,circle,inner sep=2mm},
label distance=-1mm,label position=below left,
double distance=.5mm]
\node[note,double] (C) [label=Do ] {};
\node[note,left=of C] (F) [label=Fa ] {};
\node[note,right=of C] (G) [label=Sol ] {};
\node[note,right=of G] (D) [label=Ré ] {};
\node[note,above=of F] (A) [label=La ] {};
\node[note,right=of A] (E) [label=Mi ] {};
\node[note,right=of E] (B) [label=Si ] {};
\node[note,right=of B] (Fd) [label= Fa♯] {};
\node[note,above=of A] (Cd) [label= Do♯] {};
\node[note,right=of Cd] (Gd) [label=Sol♯] {};
\node[note,right=of Gd] (Dd) [label= Ré♯] {};
\node[note,right=of Dd] (Ad) [label= La♯] {};
\draw (F) -- (C) -- (G) -- (D);
\draw (A) -- (E) -- (B) -- (Fd);
\draw (Cd) -- (Gd) -- (Dd) -- (Ad);
\draw (F) -- (A) -- (Cd);
\draw (C) -- (E) -- (Gd);
\draw (G) -- (B) -- (Dd);
\draw (D) -- (Fd) -- (Ad);
\begin{scope}[fill=black!50]
\filldraw (C) -- (E) -- (G) -- cycle; % DOM
\filldraw (A) -- (Cd) -- (E) -- cycle; % LAm
\end{scope}
\draw[dashed] (Cd.north) -- +(0cm ,6mm );
\draw[dashed] (Gd.north) -- +(0cm ,6mm );
\draw[dashed] (Dd.north) -- +(0cm ,6mm );
\draw[dashed] (Ad.north) -- +(0cm ,6mm );
\draw[dashed] (F.south) -- +(0cm ,-6mm);
\draw[dashed] (C.south) -- +(0cm ,-6mm);
\draw[dashed] (G.south) -- +(0cm ,-6mm);
\draw[dashed] (D.south) -- +(0cm ,-6mm);
\draw[dashed] (F.west) -- +(-6mm,0cm );
\draw[dashed] (A.west) -- +(-6mm,0cm );
\draw[dashed] (Cd.west) -- +(-6mm,0cm );
\draw[dashed] (Ad.east) -- +(6mm ,0cm );
\draw[dashed] (Fd.east) -- +(6mm ,0cm );
\draw[dashed] (D.east) -- +(6mm ,0cm );
\end{tikzpicture}
\caption{Triangulation d'accords sur un graphe de Cayley}
\label{fig:trig}
\end{figure}
\section{Formalisation}
\subsection{Un tonnetz comme graphe de Cayley}
\label{subsec:tonnetz-cayley}
%(thèse de julien cohen)
Le graphe de Cayley d'un groupe G permet de visualiser les éléments de G et
leur relation de voisinnage. Soit G un groupe et S une partie génératrice de
G~:
\begin{itemize}
\item chaque sommet $V_i$ représente un élément du groupe $G$,
\item chaque arc $e_i$ est étiqueté par un générateur de $S$,
\item un arc étiqueté $e$ setrouve entre les sommets $U$ et $V$ si $U + e = V$.
\end{itemize}
Un tonnetz peut être vu comme le graphe de Cayley du groupe cyclique
$\mathbb{Z}_{12}$ des 12 demi-tons de la gamme occidentale muni de l'addition
comme loi commutative et d'une partie génératrice $S$ ; pour garder l'analogie
dans la figure \ref{fig:cayley}, nous utilisons deux générateurs libres : la
tierce Majeur et la quinte juste. Le sommet à l'origine du graphe de Cayley est
l'élément \emph{neutre} du groupe.
Chemins hamiltoniens dans le tonnetz \cite{albini_hamiltonian_2009}.
\subsection{Quelques mappings}
Pour apporter des éléments de réponse aux questions des physiciens (§~%
\ref{subsec:mousses}), nous proposons les mappings suivants. Le premier porte
sur l'aspect signal et entre de ce fait complètement dans le cadre de la
sonification classique, les trois suivantes tirent partie des théories
musicales néo-Riemanniennes et portent sur des études rythmiques et mélodiques.
\subsubsection{Synthèse modale}
Un objet physique vibre librement après avoir été excité et présente des modes
propres de vibration dépendant entre autres de sa géométrie et des matériaux le
constituant. Ces modes peuvent être observés sur le spectre des fréquences du
signal émis et sont utilisés par \modalys\ pour sauvegarder l'empreinte sonore
d'un objet physique. Le signal émis est un timbre particulier que notre système
auditif \emph{reconnaît} et associe à l'objet qui l'a émis. Par exemple, une
cuiller en bois tombant au sol a un son caractéristique et facilement
différenciable d'une cuiller en métal.
Nous utilisons cette capacité de reconnaissance pour reconnaître et
différencier différentes organisations spatiales des bulles dans une mousse en
deux dimensions et plus tard reconnaître leur évolution.
\subsubsection{Organisation rythmique}
À l'image d'un exemple de sonification du §~\ref{subsec:sonification}, le
compteur Geiger, nous pouvons utiliser le rythme comme lien à l'organisation
spatiale des bulles d'une mousse liquide en deux dimensions.
On parcours par balayage le long d'une segment de droite $(\Delta)$ l'image
d'une mousse en sélectionnant tous les centre de bulle étant à une distance $d$
de la droite. Ces échantillons récoltés sont ensuites projetés orthogonalement
sur $(\Delta)$. On sonifie ensuite la distance entre chaque point projeté pour
obtenir un motif rythmique.
Cette technique est mise en pratique par S. Adhitya dans \textsc{Sum}
\cite{adhitya_audio-assisted_2011}, un outil permettant de sonifier
l'organisation urbaine à partir de plans surimposés.
\subsubsection{Chemins sonores}
Les mappings précédents omettent la dimension musicale du son ; de plus, ils se
concentrent trop sur une approche globale de l'ordre alors que nous pourrions
être intéressés par des variations au niveau local, afin par exemple de trouver
des zones d'ordre parmis un désordre moyen.
Pour ce faire, nous utilisons le lien mis en lumière précédemment
(§~\ref{subsec:tonnetz-cayley}) entre tonnetz et graphe de Cayley afin de
\emph{musifier} des parcours dans une mousse plus ou moins régulière. Un chemin
dans une mousse est une suite de sauts entre bulles voisinnes. Nous numérotons
de manière unique le voisinnage de chaque bulle et nous indiquons ainsi un
chemin par une suite d'entiers correspondant aux directions à prendre.
Dans le graphe de Cayley du groupe $\mathbb{Z}_{12}$, chaque élément a six
voisins, en prenant les directions \texttt{a}, \texttt{b}, \texttt{a+b},
\texttt{-a}, \texttt{-b} et \texttt{-(a+b)}. Plongé dans un tonnetz, ceci
correspond à une suite de notes.
\subsubsection{Chemins sonores augmentés}
Nous avons rajouté des extensions au dessus des chemins sonores tels que
décrits dans la section précédente : accords, mélodies plus complexes et
rythme.
L'usage d'accords nous permet de comparer immédiatement deux parcours
simultanés, les mélodies nous permettent de déformer des thèmes connus (par
exemple la comptine Frère Jacques) et le rythme rajoute une information sur les
différences de distance entre le parcours dans un espace \emph{régulier} et
déformé.
\section{Implementation}
Tous les mappings ont été implémentés grâce aux outils présents à
l'\ircam, notamment \modalys, pour la synthèse modale, et
\openmusic\ comme environnement de programmation principal.
D'autres outils ont été employés pour les tests mais n'ont été utilisés
pour l'implémentation finale : Max et \textsc{Mgs}.
\subsection{Modalys}
\modalys\ (anciennement appelé Mosaïc) est un outil de synthèse modale par
modèle physique basée sur \lisp\ \cite{eckel_sound_1995}. Cet outil permet
de modéliser un objet physique et
une (ou des) interaction(s) avec ce dernier .
\modalys\ simule les modes de vibration de cet objet et calcul le signal reçu à
un point donné de l'espace. Par exemple, le chevalet d'un violon alto et
l'archer frottant sur la corde pourraient être respectivement l'objet modélisé
et l'interaction.
Le profil vibratoire (??) d'un objet modélisé peut être sauvegardé comme une
liste de modes propres de vibration (fréquence, bande passante, amplitude).
\subsection{OpenMusic}
Environnement de programmation visuelle et fonctionnelle basée sur
\lisp\ (LispWorks). Développé par G. Assayag et C. Agon.
La programmation s'effectue à base de patch, que l'on peut connecter à l'aide
de liens en sortie et en entrée pour passer des valeurs, un patch pouvant faire
office de fonction anonyme à passer à un autre patch ou à une fonction écrite
en \lisp\ directement. Plusieurs primitives de \modalys\ sont directement
accessibles dans \openmusic.
\section{Validation}
Chaque mapping a été testé avec différents paramètres et sur différents
échantillons de départ.
\subsection{Un protocole pour la validation}
Nous proposons ici un modeste protocole pour la validation des données
\subsection{Écoutes préliminaires}
Détection d'ordre changeant fortement lors d'un épisode catastrophique,
données de simulation, identification de battements.
\section{Perspectives}
De part la courte durée du stage et de part le côté fortement exploratoire du
sujet, certaines parties n'ont été que partiellement traitées et d'autres n'ont
été qu'entrevues. Voici quelques explications sur les points insuffisamment
abordés.
\subsection{Une amélioration des mapping}
comparaison delaunay / voisin mousse
Un meilleur traitement local/global (id Laurent)
\subsection{Une validation approfondie}
Écoutes beaucoup sujets, statistiques
\subsection{Développement d'un cadre général}
Fait l'objet d'un sujet de thèse à l'\textsc{Édite} de Paris VI.

BIN
img/SSMSC1.pdf Normal file

Binary file not shown.

BIN
img/SSMSC2.pdf Normal file

Binary file not shown.

BIN
img/SSMSC3.pdf Normal file

Binary file not shown.

BIN
img/eulers-tonnetz.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 30 KiB

BIN
img/foam-coarsening.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 438 KiB

BIN
img/foam1.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 184 KiB

BIN
img/foam2.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 175 KiB

BIN
img/foam3.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 8.1 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 140 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 140 KiB

81
memoire.tex Normal file
View file

@ -0,0 +1,81 @@
%\documentclass[a4paper,11pt,twoside=semi,draft]{scrartcl}
\documentclass[a4paper,11pt,twoside=semi]{scrartcl}
\usepackage{xunicode}% for XeTex!
\usepackage{fontspec}% for XeTex!
\usepackage{xltxtra} % for XeTex!
\usepackage{amsfonts}% for Z12
\usepackage[french]{babel}
\usepackage{url}
\usepackage{tikz}
\usetikzlibrary{positioning}
\usepackage[lofdepth,lotdepth]{subfig}% replaces subfigure
\usepackage{scrtime}
%\usepackage{hyperref}
\defaultfontfeatures{Scale=MatchLowercase}
\setromanfont[Mapping=textext]{Linux Libertine O}
\setsansfont [Mapping=textext]{Linux Biolinum O}
\setmonofont [Mapping=textext]{Inconsolata}
\newcommand{\ircam}{\textsc{Ircam}}
\newcommand{\lps}{\textsc{Lps}}
\newcommand{\lisp}{\textsc{Lisp}}
\newcommand{\modalys}{\textbf{Modalys}}
\newcommand{\openmusic}{\textbf{OpenMusic}}
\newcommand{\mpri}{\textsc{Mpri}}
\newcommand{\todo}{\fbox{\texttt{todo}}}
\hyphenation{con-cen-trent}
\begin{document}
\titlehead{{\Large\ircam\hfill\lps}\\%
UMR 9912 - STMS \hfill Orsay \\%
1 place Igor Stravinsky \\%
75004 Paris}
\subject{Mémoire de M2}
\title{De la sonification à la « musification » des systèmes complexes}
\author{Martin \sc Potier}
\date{6 septembre 2012}
\publishers{\sc mpri}
\maketitle
\vfill
Stage encadré par :
\begin{itemize}
\item Moreno \textsc{Andreatta} (\ircam)
\item Wiebke \textsc{Drenckhan} (\lps)
\end{itemize}
\bigskip
Rapporteur :
\begin{itemize}
\item Gilles \textsc{Schaeffer}
\end{itemize}
\vfill
\hfill{\small Document compilé le \today\ à \thistime}
\thispagestyle{empty}
\cleardoublepage
% 2 pages
%\begin{abstract}
%Your abstract goes here...
%\end{abstract}
%\cleardoublepage
\tableofcontents
\thispagestyle{empty}
\cleardoublepage
% Content
\include{content}
\bibliographystyle{plain}
\bibliography{SonificationHandbook,StageSonification2012}
\appendix
\include{catalog}
\end{document}