commit 280bd3ea61c871bd2639154e33adaf411e869c04 Author: Martin Potier Date: Tue Jul 31 09:27:46 2012 +0200 Initial commit diff --git a/.CMakeLists.txt.swp b/.CMakeLists.txt.swp new file mode 100644 index 0000000..2bc8212 Binary files /dev/null and b/.CMakeLists.txt.swp differ diff --git a/.SonificationHandbook.bib.swp b/.SonificationHandbook.bib.swp new file mode 100644 index 0000000..137cde2 Binary files /dev/null and b/.SonificationHandbook.bib.swp differ diff --git a/.StageSonification2012.bib.swp b/.StageSonification2012.bib.swp new file mode 100644 index 0000000..70d5854 Binary files /dev/null and b/.StageSonification2012.bib.swp differ diff --git a/.catalog.tex.swp b/.catalog.tex.swp new file mode 100644 index 0000000..ad5b4a8 Binary files /dev/null and b/.catalog.tex.swp differ diff --git a/.content.tex.swp b/.content.tex.swp new file mode 100644 index 0000000..6433069 Binary files /dev/null and b/.content.tex.swp differ diff --git a/.memoire.tex.swp b/.memoire.tex.swp new file mode 100644 index 0000000..15a6ba6 Binary files /dev/null and b/.memoire.tex.swp differ diff --git a/CMakeLists.txt b/CMakeLists.txt new file mode 100644 index 0000000..8325dca --- /dev/null +++ b/CMakeLists.txt @@ -0,0 +1,27 @@ +################################################################################ +# You need to install UseLATEX.cmake(http://www.itk.org/Wiki/CMakeUserUseLATEX) +# To build latex pdf, you need an out-of-source build: +# 1, create a build dir in the dir contains CMakeLists.txt and tex files +# : mkdir build +# 2, go into the build dir +# : cd build +# 3, building now +# : cmake .. && make +################################################################################ +project(main) +cmake_minimum_required(VERSION 2.8) + +set(CMAKE_MODULE_PATH ${CMAKE_ROOT}/Modules) +message("CMAKE ROOT is ${CMAKE_ROOT}") +message("CMAKE MODULE PATH is ${CMAKE_MODULE_PATH}") +include(${CMAKE_MODULE_PATH}/UseLATEX.cmake) + +set(PDFLATEX_COMPILER xelatex) + +ADD_LATEX_DOCUMENT(memoire.tex + INPUTS content.tex catalog.tex + BIBFILES StageSonification2012.bib SonificationHandbook.bib + IMAGE_DIRS img + DEFAULT_PDF +) + diff --git a/SonificationHandbook.bib b/SonificationHandbook.bib new file mode 100644 index 0000000..91a95a2 --- /dev/null +++ b/SonificationHandbook.bib @@ -0,0 +1,370 @@ + +@incollection{hermann_introduction_2011, + address = {Berlin, Germany}, + title = {Introduction}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter1/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {1–6} +}, + +@incollection{walker_theory_2011, + address = {Berlin, Germany}, + title = {Theory of Sonification}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter2/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Walker, Bruce N. and Nees, Michael A.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {9–39} +}, + +@incollection{carlile_psychoacoustics_2011, + address = {Berlin, Germany}, + title = {Psychoacoustics}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter3/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Carlile, Simon}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {41–61} +}, + +@incollection{neuhoff_perception_2011, + address = {Berlin, Germany}, + title = {Perception, Cognition and Action in Auditory Display}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter4/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Neuhoff, John G.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {63–85} +}, + +@incollection{serafin_sonic_2011, + address = {Berlin, Germany}, + title = {Sonic Interaction Design}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter5/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Serafin, Stefania and Franinović, Karmen and Hermann, Thomas and Lemaitre, Guillaume and Rinott, Michal and Rocchesso, Davide}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {87–110} +}, + +@incollection{bonebright_evaluation_2011, + address = {Berlin, Germany}, + title = {Evaluation of Auditory Display}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter6/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Bonebright, Terri L. and Flowers, John H.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {111–144} +}, + +@incollection{barrass_sonification_2011, + address = {Berlin, Germany}, + title = {Sonification Design and Aesthetics}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter7/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Barrass, Stephen and Vickers, Paul}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {145–171} +}, + +@incollection{ferguson_statistical_2011, + address = {Berlin, Germany}, + title = {Statistical Sonification for Exploratory Data Analysis}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter8/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Ferguson, Sam and Martens, William L. and Cabrera, Densil}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {175–196} +}, + +@incollection{cook_sound_2011, + address = {Berlin, Germany}, + title = {Sound Synthesis for Auditory Display}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter9/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Cook, Perry R.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {197–235} +}, + +@incollection{bovermann_laboratory_2011, + address = {Berlin, Germany}, + title = {Laboratory Methods for Experimental Sonification}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter10/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Bovermann, Till and Rohrhuber, Julian and Campo, Alberto de}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {237–272} +}, + +@incollection{hunt_interactive_2011, + address = {Berlin, Germany}, + title = {Interactive Sonification}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter11/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Hunt, Andy and Hermann, Thomas}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {273–298} +}, + +@incollection{dombois_audification_2011, + address = {Berlin, Germany}, + title = {Audification}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter12/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Dombois, Florian and Eckel, Gerhard}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {301–324} +}, + +@incollection{brazil_auditory_2011, + address = {Berlin, Germany}, + title = {Auditory Icons}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter13/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Brazil, Eoin and Fernström, Mikael}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {325–338} +}, + +@incollection{mcgookin_earcons_2011, + address = {Berlin, Germany}, + title = {Earcons}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter14/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {{McGookin}, David and Brewster, Stephen}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {339–361} +}, + +@incollection{grond_parameter_2011, + address = {Berlin, Germany}, + title = {Parameter Mapping Sonification}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter15/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Grond, Florian and Berger, Jonathan}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {363–397} +}, + +@incollection{hermann_model-based_2011, + address = {Berlin, Germany}, + title = {Model-Based Sonification}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter16/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Hermann, Thomas}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {399–427} +}, + +@incollection{edwards_auditory_2011, + address = {Berlin, Germany}, + title = {Auditory Display in Assistive Technology}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter17/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Edwards, Alistair D. N.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {431–453} +}, + +@incollection{vickers_sonification_2011, + address = {Berlin, Germany}, + title = {Sonification for Process Monitoring}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter18/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Vickers, Paul}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {455–491} +}, + +@incollection{guillaume_intelligent_2011, + address = {Berlin, Germany}, + title = {Intelligent auditory alarms}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter19/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Guillaume, Anne}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {493–508} +}, + +@incollection{brazil_navigation_2011, + address = {Berlin, Germany}, + title = {Navigation of Data}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter20/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Brazil, Eoin and Fernström, Mikael}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {509–523} +}, + +@incollection{honer_aiding_2011, + address = {Berlin, Germany}, + title = {Aiding Movement with Sonification in {“Exercise}, Play and Sport”}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter21/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Höner, Oliver and Hunt, Andy and Pauletto, Sandra and Röber, Niklas and Hermann, Thomas and Effenberg, Alfred O.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + note = {Höner, O. (chapter ed.)}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {525–553} +}, + +@incollection{honer_multidisciplinary_2011, + address = {Berlin, Germany}, + title = {Multidisciplinary Applications of Sonification in the Field of {“Exercise}, Play and Sport”}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter21/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Höner, Oliver}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + note = {Höner, O. (chapter ed.), references on pp 551-553}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {525–527} +}, + +@incollection{hunt_use_2011, + address = {Berlin, Germany}, + title = {Use of Sound for Physiotherapy Analysis and Feedback}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter21/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Hunt, Andy and Pauletto, Sandra}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + note = {Höner, O. (chapter ed.), references on pp 551-553}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {528–531} +}, + +@incollection{rober_interaction_2011, + address = {Berlin, Germany}, + title = {Interaction with Sound in auditory computer games}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter21/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Röber, Niklas}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + note = {Höner, O. (chapter ed.), references on pp 551-553}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {532–537} +}, + +@incollection{honer_sonification-based_2011, + address = {Berlin, Germany}, + title = {Sonification-based Sport games and Performance Tests in Adapted Physical Activity}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter21/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Höner, Oliver and Hermann, Thomas}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + note = {Höner, O. (chapter ed.), references on pp 551-553}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {538–546} +}, + +@incollection{effenberg_enhancing_2011, + address = {Berlin, Germany}, + title = {Enhancing Motor Control and Learning by Additional Movement Sonification}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook/chapters/chapter21/}, + booktitle = {The Sonification Handbook}, + publisher = {Logos Publishing House}, + author = {Effenberg, Alfred O.}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + note = {Höner, O. (chapter ed.), references on pp 551-553}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}, + pages = {547–550} +} diff --git a/StageSonification2012.bib b/StageSonification2012.bib new file mode 100644 index 0000000..912cb9f --- /dev/null +++ b/StageSonification2012.bib @@ -0,0 +1,214 @@ + +@inproceedings{eckel_sound_1995, + title = {Sound synthesis by physical modelling with Modalys}, + url = {http://iem.at/~eckel/publications/eckel95b.html}, + booktitle = {Proceedings of the International Symposium of Music Acoustics}, + author = {Eckel, G. and Iovino, F. and Caussé, R.}, + year = {1995}, + keywords = {modal-synthesis, physical-modeling} +}, + +@inproceedings{vickers_sonification_2006, + title = {Sonification abstraite/sonification concrete: An ‘Æsthetic perspective space’ for classifying auditory displays in the ars musica domain}, + shorttitle = {Sonification abstraite/sonification concrete}, + booktitle = {International Conference on Auditory Display {(ICAD2006)}, London, {UK}}, + author = {Vickers, P. and Hogg, B.}, + year = {2006} +}, + +@article{giavitto_computational_2002, + title = {Computational Models for Integrative and Developmental Biology}, + author = {Giavitto, Jean-Louis and Godin, Christophe and Michel, Olivier and Prusinkiewicz, Przemyslaw}, + year = {2002} +}, + +@inproceedings{puckette_low-dimensional_2004, + title = {Low-dimensional parameter mapping using spectral envelopes}, + booktitle = {Proceedings, International Computer Music Conference, Miami}, + author = {Puckette, M.}, + year = {2004} +}, + +@inproceedings{curry_capability_2003, + title = {Capability of the human visual system}, + volume = {5080}, + booktitle = {Proc. {SPIE}}, + author = {Curry, D. G and Martinsen, G. and Hopper, D. G}, + year = {2003}, + pages = {58–69} +}, + +@book{hermann_taxonomy_2008, + title = {Taxonomy and Definitions for Sonification and Auditory Display}, + url = {http://pub.uni-bielefeld.de/publication/2017235}, + publisher = {{IRCAM}}, + author = {Hermann, Thomas}, + year = {2008}, + note = {Sonification is still a young research field and many terms such as sonification, auditory display, auralization, audification have been used without a precise definition. Recent developments such as the introduction of Model-based Sonification, the establishing of interactive sonification and the increased interest in sonification from arts have raised the issue of revisiting the definitions towards a clearer terminology. This paper introduces a new definition for sonification and auditory display that emphasize necessary and sufficient conditions for organized sound to be called sonification. It furthermore suggests a taxonomy, and discusses the relation between visualization and sonification. A hierarchy of closed-loop interactions is furthermore introduced. This paper aims at initiating vivid discussions towards the establishing of a deeper theory of sonification and auditory display.}, + keywords = {ddc:004} +}, + +@article{kramer_sonification_1999, + title = {The Sonification Report: Status of the Field and Research Agenda. Report prepared for the National Science Foundation by members of the International Community for Auditory Display}, + url = {http://icad.org/node/400}, + journal = {International Community for Auditory Display {(ICAD)}, Santa Fe, {NM}}, + author = {Kramer, G. and Walker, {BN} and Bonebright, T. and Cook, P. and Flowers, J. and Miner, N. and Neuhoff, J. and Bargar, R. and Barrass, S. and Berger, J. and others}, + year = {1999} +}, + +@book{rahn_basic_1987, + address = {New York; London}, + title = {Basic atonal theory}, + isbn = {0028731603 9780028731605}, + publisher = {Schirmer Books ; Collier Macmillan}, + author = {Rahn, John}, + year = {1987} +}, + +@book{forte_structure_1973, + address = {New Haven}, + title = {The structure of atonal music}, + isbn = {0300016107 9780300016109 0300021208 9780300021202}, + abstract = {Describes and cites examples of pitch-class sets and relations in atonal music.}, + publisher = {Yale University Press}, + author = {Forte, Allen}, + year = {1973} +}, + +@inproceedings{walker_sonification_2003, + title = {Sonification Sandbox: A graphical toolkit for auditory graphs}, + volume = {3}, + shorttitle = {Sonification Sandbox}, + booktitle = {Proc. {ICAD}}, + author = {Walker, {B.N.} and Cothran, {J.T.}}, + year = {2003} +}, + +@article{gaver_sonicfinder:_1989, + title = {The {SonicFinder:} An Interface That Uses Auditory Icons}, + volume = {4}, + url = {http://www.tandfonline.com/doi/abs/10.1207/s15327051hci0401_3}, + doi = {10.1207/s15327051hci0401_3}, + number = {1}, + journal = {Human‚ Computer Interaction}, + author = {Gaver, William W.}, + year = {1989}, + pages = {67--94} +}, + +@techreport{axen_topological_1998, + address = {Champaign, {IL}, {USA}}, + title = {Topological Analysis Using Morse Theory and Auditory Display}, + institution = {University of Illinois at Urbana-Champaign}, + author = {Axen, Ulrike}, + year = {1998} +}, + +@inproceedings{raaij_listening_2004, + title = {Listening to the Mind Listening}, + booktitle = {International Conference on Auditory Display}, + author = {Raaij, Hans Van}, + year = {2004} +}, + +@article{adhitya_audio-assisted_2011, + title = {Audio-assisted {Visualization–Sonification} of Complex Urban Systems with the {SUM} tool}, + author = {Adhitya, S.}, + year = {2011} +}, + +@article{hermann_listen_1999, + title = {Listen to your Data: Model-Based Sonification for Data Analysis}, + location = {http://www.scientificcommons.org/42945728}, + url = {http://citeseerx.ist.psu.edu/viewdoc/summary?doi=?doi=10.1.1.42.7970}, + abstract = {Sonification is the use of non-speech audio to convey information. We are developing tools for interactive data exploration, which make use of sonification for data presentation. In this paper, model-based sonification is presented as a concept to design auditory displays. Two designs are described: (1) particle trajectories in a \"data potential\" is a sonification model to reveal information about the clustering of vectorial data and (2) \"data-sonograms\" is a sonification for data from a classification problem to reveal information about the mixing of distinct classes.}, + author = {Hermann, T. and Ritter, H.}, + year = {1999}, + keywords = {Acoustics, Cluster Analysis, Exploratory Data Analysis, Sonification} +}, + +@article{hermann_sonification_2002, + title = {Sonification for exploratory data analyis}, + location = {http://www.scientificcommons.org/34743641}, + url = {http://worldcat.org/oclc/76495716}, + abstract = {Bielefeld, Techn. University, Diss., 2002.}, + author = {Hermann, Thomas.}, + year = {2002}, + keywords = {Mensch-Maschine-Kommunikation} +}, + +@phdthesis{vogt_sonification_2010, + address = {Graz}, + title = {Sonification of Simulations in Computational Physics}, + school = {Karl-Franzens-University}, + author = {Vogt, Katharina}, + year = {2010} +}, + +@article{puckette_using_2002, + title = {Using Pd as a score language}, + author = {Puckette, Miller}, + year = {2002} +}, + +@article{michel_theres_2007, + title = {There's Plenty of Room for Unconventional Programming Languages, or, Declarative Simulations of Dynamical Systems (with a Dynamical Structure)}, + author = {Michel, Olivier and Giavitto, Jean-louis}, + year = {2007} +}, + +@inproceedings{monro_what_2004, + title = {What Are You Really Thinking?}, + booktitle = {International Conference on Auditory Display}, + author = {Monro, Gordon}, + year = {2004} +}, + +@book{hermann_sonification_2011, + address = {Berlin, Germany}, + title = {The Sonification Handbook}, + isbn = {978-3-8325-2819-5}, + url = {http://sonification.de/handbook}, + abstract = {This book is a comprehensive introductory presentation of the key research areas in the interdisciplinary fields of sonification and auditory display. Chapters are written by leading experts, providing a wide-range coverage of the central issues, and can be read from start to finish, or dipped into as required (like a smorgasbord menu). Sonification conveys information by using non-speech sounds. To listen to data as sound and noise can be a surprising new experience with diverse applications ranging from novel interfaces for visually impaired people to data analysis problems in many scientific fields. This book gives a solid introduction to the field of auditory display, the techniques for sonification, suitable technologies for developing sonification algorithms, and the most promising application areas. The book is accompanied by the online repository of sound examples.}, + publisher = {Logos Publishing House}, + editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.}, + year = {2011}, + keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User} +}, + +@inproceedings{colloque_autour_de_la_set_theory_actes_2008, + address = {{[Paris];} {[Sampzon]} {(Le} Vallier, 07120)}, + title = {Actes du Colloque Autour de la set theory : rencontre musicologique franco-américaine, Ircam, 15-16 octobre 2003...}, + isbn = {2752100302 9782752100306 9782844264008 {284426400X}}, + shorttitle = {Actes du Colloque Autour de la set theory}, + publisher = {Ircam-Centre Pompidou ; Delatour France}, + author = {{{Colloque} Autour de la set theory} and Andreatta, Moreno and Bardez, Jean-Michel and Rahn, John and {{Institut} de recherche et coordination acoustique musique {(Paris)}}}, + year = {2008} +}, + +@incollection{albini_hamiltonian_2009, + series = {Communications in Computer and Information Science}, + title = {Hamiltonian Cycles in the Topological Dual of the Tonnetz}, + volume = {38}, + isbn = {978-3-642-02394-1}, + url = {http://dx.doi.org/10.1007/978-3-642-02394-1_1}, + abstract = {The Hamiltonian cycles in the topological dual of the Tonnetz (i.e. the successions of triads connected only through {PLR-transformations} which visit every minor and major triad only once) will be introduced, enumerated on, studied, and classified both from a theoretical and analytical point of view.}, + booktitle = {Mathematics and Computation in Music}, + publisher = {Springer Berlin Heidelberg}, + author = {Albini, Giovanni and Antonini, Samuele}, + editor = {Chew, Elaine and Childs, Adrian and Chuan, Ching-Hua}, + year = {2009}, + note = {10.1007/978-3-642-02394-1\_1}, + keywords = {Computer, Science}, + pages = {1--10} +}, + +@book{drake_galileo_1990, + address = {Toronto; Buffalo}, + title = {Galileo : pioneer scientist}, + isbn = {0802027253 9780802027252}, + shorttitle = {Galileo}, + publisher = {University of Toronto Press}, + author = {Drake, Stillman}, + year = {1990} +} diff --git a/catalog.tex b/catalog.tex new file mode 100644 index 0000000..d20535b --- /dev/null +++ b/catalog.tex @@ -0,0 +1,53 @@ +\section{Les processus sonores et musicaux} +Notre objectif est de pouvoir générer des mappings qui soient les plus +informatifs possibles et pour ce faire il nous faut une vue claire sur les +paramètres à notre disposition ainsi que leurs interactions. Nous parlons ici +du son qui comporte une forte composante perceptive ; ceci implique que lesdits +paramètres auront des caractéristiques perçues variant avec les individus +sujets à leur écoute. + +\subsection{Catalogue} +La distinction entre processus sonores et musicaux n'est pas claire, cependant +elle peut être vue comme le groupement des caractéristiques microscopiques et +macroscopiques du son en général dans le sens de la dualité signe/signal, les +premières étant incluses et distinguables au sein des secondes. Autrement dit, +les processus sonores se rattachent aux caractéristiques du signal alors que +les processus musicaux se conçoivent au niveau symbolique. + +\subsubsection{Les processus sonores} +Timbre, Hauteur, Intensité sonore + +\subsubsection{Les processus musicaux} +Rythme, Mélodie, Localisation Spatiale + +\subsection{Interactions} +Dans le but d'encoder un maximum d'information, il est important de connaître +quels paramètres peuvent être mappé simultanéments, la table \ref{table:interactions} +récapitule ces interactions. + +\medskip +Tout d'abord, et comme nous l'explique \ref{Peretz-Coltheart-2003}, le +traitement de la hauteur et du rythme s'effectue en parallèle sur le plan +perceptif, donc on pourrait simultanément traiter une séquence musicale à la +fois en tant que succession de hauteurs qu'en tant que rythme, ce qui nous +semble naturel : +\begin{quote} +The musical input modules are organized in two parallel and largely independent +subsystems whose functions are to specify, respectively, the pitch content (the +melodic contour and the tonal functions of the successive pitch intervals) and +the temporal content, by representing the metric organization as well as the +rhythmic structure of the successive durations. +\end{quote} + +\section{Exemples de « mappings »} +\subsection{Le timbre comme indice de l'ordre} +\clearpage +% -------------------------------------------------------------------- + +\section{Sujet de thèse} +\fbox{\pgfimage[width=\textwidth,page=1]{img/SSMSC1}} +\clearpage +\fbox{\pgfimage[width=\textwidth,page=2]{img/SSMSC2}} +\clearpage +\fbox{\pgfimage[width=\textwidth,page=3]{img/SSMSC3}} +% -------------------------------------------------------------------- diff --git a/content.tex b/content.tex new file mode 100644 index 0000000..8d0e144 --- /dev/null +++ b/content.tex @@ -0,0 +1,582 @@ +% Intro +% Méthodologie +% Résultats +% A?rmoire +% Discussion + +\section{Introduction} +\setcounter{page}{1} +% Kickstart +Ce mémoire est issu de la rencontre entre l'\ircam\ (Institut de Recherche et +Coordination Acoustique/Musique) et le \lps\ (Laboratoire de Physique des +Solides) autour d'un sujet de recherche sur sonification/musification de +mousses liquides. Ce dernier, rédigé en conclusion d'un stage de recherche de +Master 2 au \mpri, présente le cadre interdisciplinaire et les pistes de +réflexion empruntées lors de ce travail très exploratoire. + +Les mousses sont un sujet d'étude du \lps\ et l'usage du son pour détecter des +propriétés des mousses liquides est une approche novatrice dans ce domaine. +L'équipe RepMus (\ircam) possède les outils informatiques et +\emph{mathémusicaux} pour élaborer un environnement de sonification apte à +démontrer son intéret. La découverte du/des paramètre(s) décrivant au mieux le +comportement du système est une question non triviale, ce/ces dernier(s) étant +noyé(s) dans de multiples mesures portant sur de nombreux autres paramètres. + +% De quoi on va parler +\medskip +Nous commencerons par présenter succintement le domaine de la sonification +scientifique, son lien avec la musification, avec le système étudié et +quelques notions nécessaires se rapportant à la musique contemporaine. Nous +aborderons ensuite les liens entre tonnetz et graphe de Cayley et nous +exposerons quelques mappings mis en œuvre pendant ces quelques mois. Nous +continuerons avec des détails sur l'implementation de ces mappings, puis +nous parlerons de la validation des données obtenues pour clore sur les +perspectives de ce stage et leurs implications. + +\subsection[De la sonification scientifique]{De la sonification +scientifique\ldots} +\label{subsec:sonification} +Quelle loi gouverne la chute d'un corps ? D'après \cite{drake_galileo_1990}, +Galilée aurait construit et utilisé une rampe (Fig. \ref{fig:rampe-full}) +inclinée dotée de clochettes montées sur des portails munis de marteaux, afin +de mettre en évidence une loi quadratique. Sur cette rampe on laisse librement +rouler une bille qui, pendant sa descente, fait sonner les clochettes (Fig. +\ref{fig:rampe-detail}) : la phrase rythmique entendue dépend de la position de +chaque portail sur la rampe. En déplaçant les portails de telle manière à ce +que la phrase rythmique soit la plus régulière possible, on peut déterminer +l'accélération de la bille en mesurant leurs positions sur la rampe. + +Cette expérience pratique utilisant le son comme descripteur d'un phénomène +fait partie de la sonification scientifique. On peut citer d'autres outils +scientifiques actuels reposant sur le même principe : le compteur Geiger, le +radar de recul (avec des « bip » de plus en plus rapprochés quand la distance à +l'obstacle diminue). + +\begin{figure}[ht] +\centering +\subfloat[Ensemble]{ + \includegraphics[height=.25\textheight]{img/galileo-inclined-plane.jpg} + \label{fig:rampe-full}} +\qquad +\subfloat[Détail]{ + \includegraphics[height=.25\textheight]{img/galileo-inclined-plane-detail.jpg} + \label{fig:rampe-detail}} +\caption{Rampe de Galileo Galilei (au Museo Galileo de Florence)} +\label{fig:rampe} +\end{figure} + +La sonification scientifique est un domaine en plein développement depuis les +vingt dernières années, notamment grâce à la création de la conférence +\textsc{Icad} (pour \emph{International Community for Auditory Display}) en +1992 présidée par Gregory Kramer. Ce champ de recherche intrinsèquement +pluridisciplinaire est à mettre en parallèle de la visualisation scientifique +et est définie dans \cite{kramer_sonification_1999} en ces termes : + +\begin{quote} +Sonification is the transformation of data relations into perceived relations +in an acoustic signal for the purposes of facilitating communication or +interpretation. +\end{quote} + +Pour faire le lien entre données et son, quelques techniques ont été +référencées dans~\cite{hermann_sonification_2011} : +\begin{itemize} +\item{l'\textbf{Audification}} consiste à écouter le signal brut ou déformé par +traitement analogique (filtrage passif, accélération, ralentissement, \ldots) ; +\item{les \textbf{Auditory Icons} et \textbf{Earcons}} sont des sons discrets +utilisés pour les évènements discrets (comme les alarmes), le premier consiste +à jouer des sons préenregistrés et second peut être l'agencement de séquences +synthétisées connues pour former des « mots » ; +\item{la \textbf{Model Based Sonification}} consiste à créer un \emph{modèle} +issu des données du système et d'ensuite interagir avec ledit modèle et écouter +en temps réel afin de tirer des informations du système et +\item{la \textbf{Parameter Mapping Sonification}}. +\end{itemize} +Notre travail s'inscrit dans la dernière catégorie. Traditionnellement, un +paramètre contrôlant la production d'un son est \emph{lié} à un des paramètre +du système étudié. Par exemple, nous pourrions relier un paramètre sonore comme +la fréquence d'un son à un paramètre de notre système comme le nombre de bulles +évoluant dans le temps. La variation des fréquences perçues nous renseignent +ainsi sur l'évolution du nombre de bulles au cours du temps. Cette méthode +plutôt intuitive souffre d'un défaut : il existe beaucoup de mappings possibles +($a.n^n$, où $n$ est le nombre de paramètres du système et $a$ le nombre de +paramètres contrôlant la production sonore). En restreignant la production +sonore au paramètres musicaux, nous pourrions aussi réduire l'espace des +valeurs de $a$, mais ce n'est pas le seul avantage que nous gagnerions à +\emph{musifier}. + +%\begin{quote} +%Therein lies both power and problem. Specifically, the enormous range of +%interpretive mapping decisions provides equally enormous opportunities to +%create an appropriate auditory display for a particular desired purpose. +%However, the wide variety of mapping possibilities poses a challenge in terms +%of consistency and comprehensibility, a challenge that has, for visual data +%mapping, been attenuated by evolution and the a-temporal nature of the display. +%\hfill{\ref{soha-pmson}} +%\end{quote} + +\subsection[À la musification]{\ldots\ à la musification} +Une approche de notre problème par les techniques de sonification classiques +nous semble limité car elle passe outre la forte composante \emph{strucurelle} +de la musique. Nous explorons la voie de la \emph{musification}, une extension +naturelle de la sonification par Parameter Mapping. C'est une approche +géométrico-algébrique qui cherche à combler le manque de géométrie dans les +techniques de sonification usuelles, donnée pourtant intéressante lors de +l'étude de systèmes physiques complexes ayant une organisation spatiale. + +La formalisation musicale s'est accentuée à la fin du XX\ieme\ siècle avec +l'utilisation de la théorie des ensembles pour décrire les classes +d'intervalles (voir §~\ref{subsec:music}) : la \emph{set-theory} +\cite{forte_structure_1973} \cite{rahn_basic_1987} +\cite{colloque_autour_de_la_set_theory_actes_2008}. En rajoutant des opérations +algébriques à l'espace des hauteurs on obtient un couple (ensemble, structure) +nous ouvrant l'accès à la théorie des groupes. Les opérations ensemblistes et +algébriques sont disponibles : union et intersection, utilisation de la loi +interne, etc. + +C'est tout un univers formel qui vient se greffer au Parameter Mapping et nous +permet de \emph{raisonner} de manière systématique sur la sonification. + +\subsection{Système étudié : les mousses liquides} +\label{subsec:mousses} + +\begin{figure}[ht] +\centering + +\subfloat[Désordonnée]{ +\includegraphics[width=.3\textwidth]{img/foam1} +\label{fig:desordonnee}} +\quad +\subfloat[Partiellement désordonnée]{ +\includegraphics[width=.3\textwidth]{img/foam2}} +\quad +\subfloat[Régulière]{ +\includegraphics[width=.3\textwidth]{img/foam3} +\label{fig:reguliere}} + +\caption{Différentes organisations spatiales d'une mousse en deux dimensions} +\label{fig:mousses-space} +\end{figure} + +Notre objet d'étude est un système complexe relativement bien connu des +physiciens du \lps\ d'Orsay : il s'agit des mousses liquides en deux dimensions +(Fig.~\ref{fig:mousses-space} et Fig.~\ref{fig:mousses-time}). Il n'en a pas +toujours été ainsi et il a fallut plusieurs années de recherche pour isoler le +«~bon~» paramètre parmis tous, c'est à dire celui le plus à même de décrire le +comportement du système. Nous émettons l'hyptohèse que cette recherche peut +être menée plus efficacement grâce à la musification du système. + +\begin{figure}[ht] +\includegraphics[width=\textwidth]{img/foam-coarsening} +\begin{tikzpicture}[xscale=\textwidth/2cm] +\draw[|-to] (0,0) -- node[midway,fill=white] {temps} (2cm,0); +\end{tikzpicture} +\caption{Différents états de l'évolution temporelle d'une mousse en deux +dimensions à partir d'un état de type désordonnée (Fig.~\ref{fig:desordonnee})} +\label{fig:mousses-time} +\end{figure} + +Deux questions se posent alors : +\begin{enumerate} +\item Comment écouter le degré d'ordre de l'organisation spatiale du +système ? +\item Comment écouter les épisodes catastrophiques lors de l'évolution +temporelle du système ? +\end{enumerate} + +Ces deux questions ont orienté notre exploration lors de la +sonification/musification du système. La première est illustrée par +les trois états de la figure \ref{fig:mousses-space} et la seconde par les +états en fonction du temps de la figure \ref{fig:mousses-time}. + +Nous opérons en aveugle, sans \emph{a priori} forts sur les mousses et leurs +agencements. Nous avons tout de même connaissance des quatres lois de Plateau +(des observations du physicien belge J. Plateau) : +\begin{enumerate} +\item tout film enfermant des bulles se compose d'éléments de surface lisses, +\item la courbure moyenne de chacun de ces éléments est constante (ce ne sont +pas forcément des sphères), +\item lorsque trois éléments de surface se rejoignent, ils se raccordent selon +une courbe régulière en tout point de laquelle leurs plans tangents forment des +angles de 120°, +\item lorsque ces lignes de raccordement se rejoignent, elles le font quatre +par quatre et prennent alors, au point de rencontre, les quatre directions +tétraédriques (comme les quatre segments qui joignent le centre d'un tétraèdre +régulier à ses sommets, et dont chacun forme avec les autres des angles +d'environ 109°). +\end{enumerate} + +En deux dimensions, la 3\ieme\ loi nous intéresse et on peut l'observer sur une +mousse régulière (Fig.~\ref{fig:mousses-space}\subref{fig:reguliere}) car on +retrouve un agencement hexagonal (où chaque intersetion de trois bulles +présente trois angles de 120°). Ceci implique que chaque bulle possède six +voisinnes. C'est le point de départ des techniques géométriques mises en place +dans ce mémoire (voir notamment §~\ref{subsec:music} et +§~\ref{subsec:tonnetz-cayley}). + +Cette étude en deux dimension a pour but premier de valider le bon +fonctionnement des techniques mises en place pour pouvoir ensuite attaquer un +domaine moins bien connu : les mousses en trois dimensions. + +\medskip +C'est avec ces quelques indices que nous commençons la musification du système +en nous basant sur la théorie musicale contemporaine. + +\subsection{Une vue sur la théorie musicale contemporaine} +\label{subsec:music} +Nous resterons très général sur les théories musicales. La notion importante +utilisée tout au long de ce mémoire est celle d'\emph{intervalle} : c'est la +«~distance~» entre deux notes. Le plus petit intervalle considéré est le +demi-ton. Il y a 12 demi-tons dans la gamme occidentale et ils sont répartis +sur 7 notes (Fig. \ref{fig:gamme}). On peut altérer la hauteur d'une note, donc +l'intervalle ayant pour une de ses bornes cette note, en la faisant précéder +d'une altération : ♯ (dièse, +1 demi-ton) ou ♭ (bémol, -1 demi-ton). + +\begin{figure}[ht] +\centering +\begin{tikzpicture}[note/.style={draw,black,circle},bend left=-40] +\node[note] (C) {Do}; +\node[note,right=of C] (D) {Ré}; +\node[note,right=of D] (E) {Mi}; +\node[note,right=of E] (F) {Fa}; +\node[note,right=of F] (G) {Sol}; +\node[note,right=of G] (A) {La}; +\node[note,right=of A] (B) {Si}; +\node[note,right=of B,gray,dashed] (C2) {Do}; + +\draw[->] (C.south east) to node[above,midway] {+2} (D.south west); +\draw[->] (D.south east) to node[above,midway] {+2} (E.south west); +\draw[->] (E.south east) to node[above,midway] {+1} (F.south west); +\draw[->] (F.south east) to node[above,midway] {+2} (G.south west); +\draw[->] (G.south east) to node[above,midway] {+2} (A.south west); +\draw[->] (A.south east) to node[above,midway] {+2} (B.south west); +\draw[->] (B.south east) to node[above,midway] {+1} (C2.south west); +\end{tikzpicture} +\caption{Répartition des demi-tons dans la gamme de Do Majeur} +\label{fig:gamme} +\end{figure} + +En utilisant la réduction à l'octave (l'intervalle de Do$_i$ à Do$_{i+1}$), on +réduit l'espace combinatoire en 12 intervalles qui sont les 12 classes de +résidus modulo 12 de $\mathbb{Z}_{12}$. Chacun de ces intervalles a un nom et +on peut utiliser une représentation circulaire comme support visuel pour des +opérations algébriques élémentaires entre autres : +\begin{itemize} +\item la transposition (rotation sur le cercle, fig. \ref{fig:transposition}), +\item l'inversion (symétrie sur le cercle, fig. \ref{fig:inversion}), +\end{itemize} +qui constituent une première formalisation algébrique. + +\begin{figure}[ht] +\hfill +\subfloat[Transposition : $x \rightarrow x + k \bmod 12$]{ + \begin{tikzpicture}[scale=.3\textwidth/2cm,delta angle=-30,radius=1.06cm] + \draw (0cm,0cm) circle (1cm); + \foreach \i/\j in + {90/0,60/1,30/2,0/3,330/4,300/5,270/6,240/7,210/8,180/9,150/10,120/11} { + \node[fill,circle,inner sep=.5mm] (\j) at (\i:1cm) {}; + \node at (\i:1.2cm) {\j}; + } + \draw (0) -- (3) -- (7) -- (0); + \draw[gray] (1) -- (4) -- (8) -- (1); + \draw[gray,dashed,->] (0,0) +(90:1.06cm) arc [start angle=90]; + \end{tikzpicture} + \label{fig:transposition}} + \hfill +\subfloat[Inversion : $x \rightarrow -x \bmod 12 $.]{ + \begin{tikzpicture}[scale=.3\textwidth/2cm] + \draw (0cm,0cm) circle (1cm); + \foreach \i/\j in + {90/0,60/1,30/2,0/3,330/4,300/5,270/6,240/7,210/8,180/9,150/10,120/11} { + \node[fill,circle,inner sep=.5mm] (\j) at (\i:1cm) {}; + \node at (\i:1.2cm) {\j}; + } + \draw[dashed,gray] (0,-1.3cm) -- (0,1.3cm); + \draw (0) -- (3) -- (7) -- (0); + \draw[gray] (0) -- (5) -- (9) -- (0); + \end{tikzpicture} + \label{fig:inversion}} +\hfill~ +\caption{Intervalles et opérations algébriques sur un cercle} +\end{figure} + +Une autre représentation qui nous intéresse est l'organisation spatiale des +intervalles au sein d'un \emph{tonnetz} (Fig.~\ref{fig:tonnetz}), décrit en +premier par Leonhard Euler. Ce dernier a choisi une disposition spatiale +compacte valorisant les intervalles\footnote{% (((----------------------------- +L. Euler utilise une notation allemande où le $H$ correspond au $B$ anglo-saxon +et le $B$ correspond à $A\#$. Cette notation vient du système de notation +\textsc{Bach}. Voir la page \url{http://en.wikipedia.org/wiki/H_(musical_note)} +pour de plus amples détails.}% )))--------------------------------------------- +~de tierce majeure (4 demi-tons, vers la droite) et de quinte juste (7 +demi-tons, vers le bas). Cette représentation est équivalente à la donnée d'un +groupe cyclique d'ordre 12 (comme précédemment) mais exprimé sous forme d'un +graphe planaire. Ces deux intervalles sont les plus consonnants (après +l'octave) ; il est donc agréable et pratique de pouvoir passer d'une note à une +autre en les privilégiants. + +\begin{figure}[ht] +\centering + +\subfloat[Tonnetz de L. Euler (1739)]{ +\includegraphics[width=.45\textwidth]{img/eulers-tonnetz} +\label{fig:tonnetz}} +\subfloat[Tonnetz de L. Euler vu comme une partie du graphe de Cayley du groupe +$\mathbb{Z}_{12}$ avec pour partie génératrice $\{4,7\}$]{ +\begin{tikzpicture} +[note/.style={draw,black,circle,inner sep=2mm}, +label distance=-1mm,label position=below left, +double distance=.5mm] +\node[note,double] (C) [label=Do ] {}; +\node[note,left=of C] (F) [label=Fa ] {}; +\node[note,right=of C] (G) [label=Sol ] {}; +\node[note,right=of G] (D) [label=Ré ] {}; + +\node[note,above=of F] (A) [label=La ] {}; +\node[note,right=of A] (E) [label=Mi ] {}; +\node[note,right=of E] (B) [label=Si ] {}; +\node[note,right=of B] (Fd) [label= Fa♯] {}; + +\node[note,above=of A] (Cd) [label= Do♯] {}; +\node[note,right=of Cd] (Gd) [label=Sol♯] {}; +\node[note,right=of Gd] (Dd) [label= Ré♯] {}; +\node[note,right=of Dd] (Ad) [label= La♯] {}; + +\draw (F) -- (C) -- node[above,midway] {+7} (G) -- (D); +\draw (A) -- (E) -- (B) -- (Fd); +\draw (Cd) -- (Gd) -- (Dd) -- (Ad); + +\draw (F) -- (A) -- (Cd); +\draw (C) -- node[right,midway] {+4} (E) -- (Gd); +\draw (G) -- (B) -- (Dd); +\draw (D) -- (Fd) -- (Ad); + +\draw[dashed] (Cd.north) -- +(0cm ,6mm ); +\draw[dashed] (Gd.north) -- +(0cm ,6mm ); +\draw[dashed] (Dd.north) -- +(0cm ,6mm ); +\draw[dashed] (Ad.north) -- +(0cm ,6mm ); +\draw[dashed] (F.south) -- +(0cm ,-6mm); +\draw[dashed] (C.south) -- +(0cm ,-6mm); +\draw[dashed] (G.south) -- +(0cm ,-6mm); +\draw[dashed] (D.south) -- +(0cm ,-6mm); +\draw[dashed] (F.west) -- +(-6mm,0cm ); +\draw[dashed] (A.west) -- +(-6mm,0cm ); +\draw[dashed] (Cd.west) -- +(-6mm,0cm ); +\draw[dashed] (Ad.east) -- +(6mm ,0cm ); +\draw[dashed] (Fd.east) -- +(6mm ,0cm ); +\draw[dashed] (D.east) -- +(6mm ,0cm ); +\end{tikzpicture} +\label{fig:cayley}} +\caption{Répartition spatiale des intervalles en tant que +tonnetz~\subref{fig:tonnetz} et en tant que graphe de +Cayley~\subref{fig:cayley}} +\end{figure} + +Le musicologue Hugo Riemann explorera ensuite ce mode de représentation des +relations intervaliques entre notes influençant toute la musicologie à venir. +En gardant cet agencement et en récupérant une triangulation de l'espace +comme sur la figure~\ref{fig:trig}, on obtient immédiatement toutes +les triades Majeures et mineures de la gamme ainsi que les tonalités voisinnes, +comme Do Majeur (La mineur) est la tonalité relative Majeure (mineure) à La +mineur (Do Majeur) respectivement. + +\begin{figure}[ht] +\centering +\begin{tikzpicture} +[note/.style={draw,black,circle,inner sep=2mm}, +label distance=-1mm,label position=below left, +double distance=.5mm] +\node[note,double] (C) [label=Do ] {}; +\node[note,left=of C] (F) [label=Fa ] {}; +\node[note,right=of C] (G) [label=Sol ] {}; +\node[note,right=of G] (D) [label=Ré ] {}; + +\node[note,above=of F] (A) [label=La ] {}; +\node[note,right=of A] (E) [label=Mi ] {}; +\node[note,right=of E] (B) [label=Si ] {}; +\node[note,right=of B] (Fd) [label= Fa♯] {}; + +\node[note,above=of A] (Cd) [label= Do♯] {}; +\node[note,right=of Cd] (Gd) [label=Sol♯] {}; +\node[note,right=of Gd] (Dd) [label= Ré♯] {}; +\node[note,right=of Dd] (Ad) [label= La♯] {}; + +\draw (F) -- (C) -- (G) -- (D); +\draw (A) -- (E) -- (B) -- (Fd); +\draw (Cd) -- (Gd) -- (Dd) -- (Ad); + +\draw (F) -- (A) -- (Cd); +\draw (C) -- (E) -- (Gd); +\draw (G) -- (B) -- (Dd); +\draw (D) -- (Fd) -- (Ad); + +\begin{scope}[fill=black!50] +\filldraw (C) -- (E) -- (G) -- cycle; % DOM +\filldraw (A) -- (Cd) -- (E) -- cycle; % LAm +\end{scope} + +\draw[dashed] (Cd.north) -- +(0cm ,6mm ); +\draw[dashed] (Gd.north) -- +(0cm ,6mm ); +\draw[dashed] (Dd.north) -- +(0cm ,6mm ); +\draw[dashed] (Ad.north) -- +(0cm ,6mm ); +\draw[dashed] (F.south) -- +(0cm ,-6mm); +\draw[dashed] (C.south) -- +(0cm ,-6mm); +\draw[dashed] (G.south) -- +(0cm ,-6mm); +\draw[dashed] (D.south) -- +(0cm ,-6mm); +\draw[dashed] (F.west) -- +(-6mm,0cm ); +\draw[dashed] (A.west) -- +(-6mm,0cm ); +\draw[dashed] (Cd.west) -- +(-6mm,0cm ); +\draw[dashed] (Ad.east) -- +(6mm ,0cm ); +\draw[dashed] (Fd.east) -- +(6mm ,0cm ); +\draw[dashed] (D.east) -- +(6mm ,0cm ); +\end{tikzpicture} + +\caption{Triangulation d'accords sur un graphe de Cayley} +\label{fig:trig} +\end{figure} + +\section{Formalisation} +\subsection{Un tonnetz comme graphe de Cayley} +\label{subsec:tonnetz-cayley} +%(thèse de julien cohen) +Le graphe de Cayley d'un groupe G permet de visualiser les éléments de G et +leur relation de voisinnage. Soit G un groupe et S une partie génératrice de +G~: +\begin{itemize} +\item chaque sommet $V_i$ représente un élément du groupe $G$, +\item chaque arc $e_i$ est étiqueté par un générateur de $S$, +\item un arc étiqueté $e$ setrouve entre les sommets $U$ et $V$ si $U + e = V$. +\end{itemize} + +Un tonnetz peut être vu comme le graphe de Cayley du groupe cyclique +$\mathbb{Z}_{12}$ des 12 demi-tons de la gamme occidentale muni de l'addition +comme loi commutative et d'une partie génératrice $S$ ; pour garder l'analogie +dans la figure \ref{fig:cayley}, nous utilisons deux générateurs libres : la +tierce Majeur et la quinte juste. Le sommet à l'origine du graphe de Cayley est +l'élément \emph{neutre} du groupe. + +Chemins hamiltoniens dans le tonnetz \cite{albini_hamiltonian_2009}. + +\subsection{Quelques mappings} +Pour apporter des éléments de réponse aux questions des physiciens (§~% +\ref{subsec:mousses}), nous proposons les mappings suivants. Le premier porte +sur l'aspect signal et entre de ce fait complètement dans le cadre de la +sonification classique, les trois suivantes tirent partie des théories +musicales néo-Riemanniennes et portent sur des études rythmiques et mélodiques. + +\subsubsection{Synthèse modale} +Un objet physique vibre librement après avoir été excité et présente des modes +propres de vibration dépendant entre autres de sa géométrie et des matériaux le +constituant. Ces modes peuvent être observés sur le spectre des fréquences du +signal émis et sont utilisés par \modalys\ pour sauvegarder l'empreinte sonore +d'un objet physique. Le signal émis est un timbre particulier que notre système +auditif \emph{reconnaît} et associe à l'objet qui l'a émis. Par exemple, une +cuiller en bois tombant au sol a un son caractéristique et facilement +différenciable d'une cuiller en métal. + +Nous utilisons cette capacité de reconnaissance pour reconnaître et +différencier différentes organisations spatiales des bulles dans une mousse en +deux dimensions et plus tard reconnaître leur évolution. + +\subsubsection{Organisation rythmique} +À l'image d'un exemple de sonification du §~\ref{subsec:sonification}, le +compteur Geiger, nous pouvons utiliser le rythme comme lien à l'organisation +spatiale des bulles d'une mousse liquide en deux dimensions. + +On parcours par balayage le long d'une segment de droite $(\Delta)$ l'image +d'une mousse en sélectionnant tous les centre de bulle étant à une distance $d$ +de la droite. Ces échantillons récoltés sont ensuites projetés orthogonalement +sur $(\Delta)$. On sonifie ensuite la distance entre chaque point projeté pour +obtenir un motif rythmique. + +Cette technique est mise en pratique par S. Adhitya dans \textsc{Sum} +\cite{adhitya_audio-assisted_2011}, un outil permettant de sonifier +l'organisation urbaine à partir de plans surimposés. + +\subsubsection{Chemins sonores} +Les mappings précédents omettent la dimension musicale du son ; de plus, ils se +concentrent trop sur une approche globale de l'ordre alors que nous pourrions +être intéressés par des variations au niveau local, afin par exemple de trouver +des zones d'ordre parmis un désordre moyen. + +Pour ce faire, nous utilisons le lien mis en lumière précédemment +(§~\ref{subsec:tonnetz-cayley}) entre tonnetz et graphe de Cayley afin de +\emph{musifier} des parcours dans une mousse plus ou moins régulière. Un chemin +dans une mousse est une suite de sauts entre bulles voisinnes. Nous numérotons +de manière unique le voisinnage de chaque bulle et nous indiquons ainsi un +chemin par une suite d'entiers correspondant aux directions à prendre. + +Dans le graphe de Cayley du groupe $\mathbb{Z}_{12}$, chaque élément a six +voisins, en prenant les directions \texttt{a}, \texttt{b}, \texttt{a+b}, +\texttt{-a}, \texttt{-b} et \texttt{-(a+b)}. Plongé dans un tonnetz, ceci +correspond à une suite de notes. + +\subsubsection{Chemins sonores augmentés} +Nous avons rajouté des extensions au dessus des chemins sonores tels que +décrits dans la section précédente : accords, mélodies plus complexes et +rythme. + +L'usage d'accords nous permet de comparer immédiatement deux parcours +simultanés, les mélodies nous permettent de déformer des thèmes connus (par +exemple la comptine Frère Jacques) et le rythme rajoute une information sur les +différences de distance entre le parcours dans un espace \emph{régulier} et +déformé. + +\section{Implementation} +Tous les mappings ont été implémentés grâce aux outils présents à +l'\ircam, notamment \modalys, pour la synthèse modale, et +\openmusic\ comme environnement de programmation principal. + +D'autres outils ont été employés pour les tests mais n'ont été utilisés +pour l'implémentation finale : Max et \textsc{Mgs}. + +\subsection{Modalys} +\modalys\ (anciennement appelé Mosaïc) est un outil de synthèse modale par +modèle physique basée sur \lisp\ \cite{eckel_sound_1995}. Cet outil permet +de modéliser un objet physique et +une (ou des) interaction(s) avec ce dernier . +\modalys\ simule les modes de vibration de cet objet et calcul le signal reçu à +un point donné de l'espace. Par exemple, le chevalet d'un violon alto et +l'archer frottant sur la corde pourraient être respectivement l'objet modélisé +et l'interaction. + +Le profil vibratoire (??) d'un objet modélisé peut être sauvegardé comme une +liste de modes propres de vibration (fréquence, bande passante, amplitude). + +\subsection{OpenMusic} +Environnement de programmation visuelle et fonctionnelle basée sur +\lisp\ (LispWorks). Développé par G. Assayag et C. Agon. + +La programmation s'effectue à base de patch, que l'on peut connecter à l'aide +de liens en sortie et en entrée pour passer des valeurs, un patch pouvant faire +office de fonction anonyme à passer à un autre patch ou à une fonction écrite +en \lisp\ directement. Plusieurs primitives de \modalys\ sont directement +accessibles dans \openmusic. + +\section{Validation} +Chaque mapping a été testé avec différents paramètres et sur différents +échantillons de départ. + +\subsection{Un protocole pour la validation} +Nous proposons ici un modeste protocole pour la validation des données + +\subsection{Écoutes préliminaires} +Détection d'ordre changeant fortement lors d'un épisode catastrophique, +données de simulation, identification de battements. + +\section{Perspectives} +De part la courte durée du stage et de part le côté fortement exploratoire du +sujet, certaines parties n'ont été que partiellement traitées et d'autres n'ont +été qu'entrevues. Voici quelques explications sur les points insuffisamment +abordés. + +\subsection{Une amélioration des mapping} +comparaison delaunay / voisin mousse + +Un meilleur traitement local/global (id Laurent) + +\subsection{Une validation approfondie} +Écoutes beaucoup sujets, statistiques + +\subsection{Développement d'un cadre général} +Fait l'objet d'un sujet de thèse à l'\textsc{Édite} de Paris VI. diff --git a/img/SSMSC1.pdf b/img/SSMSC1.pdf new file mode 100644 index 0000000..b161b10 Binary files /dev/null and b/img/SSMSC1.pdf differ diff --git a/img/SSMSC2.pdf b/img/SSMSC2.pdf new file mode 100644 index 0000000..ae6e80d Binary files /dev/null and b/img/SSMSC2.pdf differ diff --git a/img/SSMSC3.pdf b/img/SSMSC3.pdf new file mode 100644 index 0000000..ac25c7f Binary files /dev/null and b/img/SSMSC3.pdf differ diff --git a/img/eulers-tonnetz.png b/img/eulers-tonnetz.png new file mode 100644 index 0000000..75c6c4a Binary files /dev/null and b/img/eulers-tonnetz.png differ diff --git a/img/foam-coarsening.png b/img/foam-coarsening.png new file mode 100644 index 0000000..a38a176 Binary files /dev/null and b/img/foam-coarsening.png differ diff --git a/img/foam1.png b/img/foam1.png new file mode 100644 index 0000000..45be0d1 Binary files /dev/null and b/img/foam1.png differ diff --git a/img/foam2.png b/img/foam2.png new file mode 100644 index 0000000..936611c Binary files /dev/null and b/img/foam2.png differ diff --git a/img/foam3.png b/img/foam3.png new file mode 100644 index 0000000..38faf09 Binary files /dev/null and b/img/foam3.png differ diff --git a/img/galileo-inclined-plane-detail.jpg b/img/galileo-inclined-plane-detail.jpg new file mode 100644 index 0000000..b8e6db7 Binary files /dev/null and b/img/galileo-inclined-plane-detail.jpg differ diff --git a/img/galileo-inclined-plane.jpg b/img/galileo-inclined-plane.jpg new file mode 100644 index 0000000..fca27fe Binary files /dev/null and b/img/galileo-inclined-plane.jpg differ diff --git a/memoire.tex b/memoire.tex new file mode 100644 index 0000000..ff21bce --- /dev/null +++ b/memoire.tex @@ -0,0 +1,81 @@ +%\documentclass[a4paper,11pt,twoside=semi,draft]{scrartcl} +\documentclass[a4paper,11pt,twoside=semi]{scrartcl} + +\usepackage{xunicode}% for XeTex! +\usepackage{fontspec}% for XeTex! +\usepackage{xltxtra} % for XeTex! + +\usepackage{amsfonts}% for Z12 +\usepackage[french]{babel} +\usepackage{url} +\usepackage{tikz} +\usetikzlibrary{positioning} +\usepackage[lofdepth,lotdepth]{subfig}% replaces subfigure +\usepackage{scrtime} +%\usepackage{hyperref} + +\defaultfontfeatures{Scale=MatchLowercase} +\setromanfont[Mapping=tex−text]{Linux Libertine O} +\setsansfont [Mapping=tex−text]{Linux Biolinum O} +\setmonofont [Mapping=tex−text]{Inconsolata} + +\newcommand{\ircam}{\textsc{Ircam}} +\newcommand{\lps}{\textsc{Lps}} +\newcommand{\lisp}{\textsc{Lisp}} +\newcommand{\modalys}{\textbf{Modalys}} +\newcommand{\openmusic}{\textbf{OpenMusic}} +\newcommand{\mpri}{\textsc{Mpri}} + +\newcommand{\todo}{\fbox{\texttt{todo}}} + +\hyphenation{con-cen-trent} + +\begin{document} +\titlehead{{\Large\ircam\hfill\lps}\\% +UMR 9912 - STMS \hfill Orsay \\% +1 place Igor Stravinsky \\% +75004 Paris} +\subject{Mémoire de M2} +\title{De la sonification à la « musification » des systèmes complexes} +\author{Martin \sc Potier} +\date{6 septembre 2012} +\publishers{\sc mpri} +\maketitle + +\vfill +Stage encadré par : +\begin{itemize} +\item Moreno \textsc{Andreatta} (\ircam) +\item Wiebke \textsc{Drenckhan} (\lps) +\end{itemize} + +\bigskip +Rapporteur : +\begin{itemize} +\item Gilles \textsc{Schaeffer} +\end{itemize} +\vfill + +\hfill{\small Document compilé le \today\ à \thistime} +\thispagestyle{empty} +\cleardoublepage + +% 2 pages +%\begin{abstract} +%Your abstract goes here... +%\end{abstract} +%\cleardoublepage + +\tableofcontents +\thispagestyle{empty} +\cleardoublepage + +% Content +\include{content} + +\bibliographystyle{plain} +\bibliography{SonificationHandbook,StageSonification2012} + +\appendix +\include{catalog} +\end{document}