mpo/master-thesis
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

Last commit

Browse source
This commit is contained in:
Martin Potier 2012-08-24 17:35:13 +02:00
parent af70cbe1ed
commit 48a71257ab
4 changed files with 190 additions and 227 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

117
StageSonification2012.bib
View file

@ -18,7 +18,7 @@
@article{giavitto_computational_2002,
title = {Computational Models for Integrative and Developmental Biology},
author = {Giavitto, Jean-Louis and Godin, Christophe and Michel, Olivier and Prusinkiewicz, Przemyslaw},
author = {Giavitto, J.-L. and Godin, C. and Michel, O. and Prusinkiewicz, P.},
year = {2002}
},
@ -42,7 +42,7 @@
title = {Taxonomy and Definitions for Sonification and Auditory Display},
url = {http://pub.uni-bielefeld.de/publication/2017235},
publisher = {{IRCAM}},
author = {Hermann, Thomas},
author = {Hermann, T.},
year = {2008},
note = {Sonification is still a young research field and many terms such as sonification, auditory display, auralization, audification have been used without a precise definition. Recent developments such as the introduction of Model-based Sonification, the establishing of interactive sonification and the increased interest in sonification from arts have raised the issue of revisiting the definitions towards a clearer terminology. This paper introduces a new definition for sonification and auditory display that emphasize necessary and sufficient conditions for organized sound to be called sonification. It furthermore suggests a taxonomy, and discusses the relation between visualization and sonification. A hierarchy of closed-loop interactions is furthermore introduced. This paper aims at initiating vivid discussions towards the establishing of a deeper theory of sonification and auditory display.},
keywords = {ddc:004}
@ -61,7 +61,7 @@
title = {Basic atonal theory},
isbn = {0028731603 9780028731605},
publisher = {Schirmer Books ; Collier Macmillan},
author = {Rahn, John},
author = {Rahn, J.},
year = {1987}
},
@ -71,7 +71,7 @@
isbn = {0300016107 9780300016109 0300021208 9780300021202},
abstract = {Describes and cites examples of pitch-class sets and relations in atonal music.},
publisher = {Yale University Press},
author = {Forte, Allen},
author = {Forte, A.},
year = {1973}
},
@ -91,7 +91,7 @@
doi = {10.1207/s15327051hci0401_3},
number = {1},
journal = {Human‚ Computer Interaction},
author = {Gaver, William W.},
author = {Gaver, W.},
year = {1989},
pages = {67--94}
},
@ -100,14 +100,14 @@
address = {Champaign, {IL}, {USA}},
title = {Topological Analysis Using Morse Theory and Auditory Display},
institution = {University of Illinois at Urbana-Champaign},
author = {Axen, Ulrike},
author = {Axen, U.},
year = {1998}
},
@inproceedings{raaij_listening_2004,
title = {Listening to the Mind Listening},
booktitle = {International Conference on Auditory Display},
author = {Raaij, Hans Van},
author = {Raaij, H. V.},
year = {2004}
},
@ -132,7 +132,7 @@
location = {http://www.scientificcommons.org/34743641},
url = {http://worldcat.org/oclc/76495716},
abstract = {Bielefeld, Techn. University, Diss., 2002.},
author = {Hermann, Thomas.},
author = {Hermann, T.},
year = {2002},
keywords = {Mensch-Maschine-Kommunikation}
},
@ -141,26 +141,26 @@
address = {Graz},
title = {Sonification of Simulations in Computational Physics},
school = {Karl-Franzens-University},
author = {Vogt, Katharina},
author = {Vogt, K.},
year = {2010}
},
@article{puckette_using_2002,
title = {Using Pd as a score language},
author = {Puckette, Miller},
author = {Puckette, M.},
year = {2002}
},
@article{michel_theres_2007,
title = {There's Plenty of Room for Unconventional Programming Languages, or, Declarative Simulations of Dynamical Systems (with a Dynamical Structure)},
author = {Michel, Olivier and Giavitto, Jean-louis},
author = {Michel, O. and Giavitto, J.-L.},
year = {2007}
},
@inproceedings{monro_what_2004,
title = {What Are You Really Thinking?},
booktitle = {International Conference on Auditory Display},
author = {Monro, Gordon},
author = {Monro, G.},
year = {2004}
},
@ -171,7 +171,7 @@
url = {http://sonification.de/handbook},
abstract = {This book is a comprehensive introductory presentation of the key research areas in the interdisciplinary fields of sonification and auditory display. Chapters are written by leading experts, providing a wide-range coverage of the central issues, and can be read from start to finish, or dipped into as required (like a smorgasbord menu). Sonification conveys information by using non-speech sounds. To listen to data as sound and noise can be a surprising new experience with diverse applications ranging from novel interfaces for visually impaired people to data analysis problems in many scientific fields. This book gives a solid introduction to the field of auditory display, the techniques for sonification, suitable technologies for developing sonification algorithms, and the most promising application areas. The book is accompanied by the online repository of sound examples.},
publisher = {Logos Publishing House},
editor = {Hermann, Thomas and Hunt, Andy and Neuhoff, John G.},
editor = {Hermann, T. and Hunt, A. and Neuhoff, J.},
year = {2011},
keywords = {Auditory, Computer, Computing;, Display;, Human, Interaction;, Interfaces;, Sonification, Sound, User}
},
@ -182,7 +182,7 @@
isbn = {2752100302 9782752100306 9782844264008 {284426400X}},
shorttitle = {Actes du Colloque Autour de la set theory},
publisher = {{Ircam/Delatour} France},
author = {Andreatta, Moreno and Bardez, Jean-Michel and Rahn, John},
author = {Andreatta, M. and Bardez, J.-M. and Rahn, J.},
year = {2008}
},
@ -195,7 +195,7 @@
abstract = {The Hamiltonian cycles in the topological dual of the Tonnetz (i.e. the successions of triads connected only through {PLR-transformations} which visit every minor and major triad only once) will be introduced, enumerated on, studied, and classified both from a theoretical and analytical point of view.},
booktitle = {Mathematics and Computation in Music},
publisher = {Springer Berlin Heidelberg},
author = {Albini, Giovanni and Antonini, Samuele},
author = {Albini, G. and Antonini, S.},
editor = {Chew, Elaine and Childs, Adrian and Chuan, Ching-Hua},
year = {2009},
note = {10.1007/978-3-642-02394-1\_1},
@ -209,7 +209,7 @@
isbn = {0802027253 9780802027252},
shorttitle = {Galileo},
publisher = {University of Toronto Press},
author = {Drake, Stillman},
author = {Drake, S.},
year = {1990}
},
@ -218,7 +218,7 @@
location = {http://www.scientificcommons.org/1423336},
url = {http://htpprints.yorku.ca/archive/00000124/},
abstract = {The graphic portrayal of quantitative information has deep roots. These roots reach into histories of thematic cartography, statistical graphics, and data visualization, which are intertwined with each other. They also connect with the rise of statistical thinking up through the 19th century, and developments in technology into the 20th century. From above ground, we can see the current fruit; we must look below to see the its pedigree and germination. There certainly have been many new things in the world of visualization; but unless you know its history, everything might seem novel.},
author = {Friendly, Michael and Denis, Daniel J.},
author = {Friendly, M. and Denis, D.},
year = {2002},
keywords = {17th Century, 18th Century, 19th Century, 20th Century, Europe, Instruments, Intellectual, North America, Statistics}
},
@ -229,14 +229,14 @@
url = {http://www.icad.org/websiteV2.0/Conferences/ICAD2004/papers/pauletto_hunt.pdf},
abstract = {This paper describes work-in-progress on an Interactive Sonification Toolkit which has been developed in order to aid the analysis of general data sets. The toolkit allows the designer to process and scale data sets, then rapidly change the sonification method. The human user can then interact with the data in a fluid manner, continually controlling the position within the set. The interface used by default is the computer mouse, but we also describe plans for multiparametric interfaces which will allow real-time control of many aspects of the data. Early results of interactive sonic analysis of two example domains are described, but extensive user tests are being planned.},
booktitle = {Proc. Intl. Conf. Auditory Display {(ICAD)}},
author = {Pauletto, Sandra and Hunt, Andy},
author = {Pauletto, S. and Hunt, A.},
year = {2004},
keywords = {enterface07, interactive-sonification, missing-details, missing-month, missing-pages, pure-data, Sonification}
},
@book{candey_xsonify_2006,
title = {{xSonify} sonification tool for space physics},
author = {Candey, Robert M. and Schertenleib, Anton M.},
author = {Candey, R. and Schertenleib, A.},
year = {2006}
},
@ -248,87 +248,24 @@
doi = {10.1121/1.1908843},
number = {7},
journal = {The Journal of the Acoustical Society of America},
author = {Speeth, Sheridan Dauster},
author = {Speeth, S. D.},
year = {1961},
pages = {909}
},
@article{schmoldt_digitoxin_1975,
title = {Digitoxin metabolism by rat liver microsomes},
volume = {24},
issn = {0006-2952},
url = {http://www.ncbi.nlm.nih.gov/pubmed/10},
number = {17},
journal = {Biochemical pharmacology},
author = {Schmoldt, A and Benthe, H F and Haberland, G},
month = sep,
year = {1975},
note = {{PMID:} 10},
keywords = {Animals, Chromatography, Thin Layer, Digitoxigenin, Digitoxin, Hydroxylation, Male, Microsomes, Liver, {NADP}, Rats, Time Factors},
pages = {1639--1641}
},
@article{makar_formate_1975,
title = {Formate assay in body fluids: application in methanol poisoning},
volume = {13},
issn = {0006-2944},
shorttitle = {Formate assay in body fluids},
url = {http://www.ncbi.nlm.nih.gov/pubmed/1},
number = {2},
journal = {Biochemical medicine},
author = {Makar, A B and {McMartin}, K E and Palese, M and Tephly, T R},
month = jun,
year = {1975},
note = {{PMID:} 1},
keywords = {Aldehyde Oxidoreductases, Animals, Body Fluids, Carbon Dioxide, Formates, Haplorhini, Humans, Hydrogen-Ion Concentration, Kinetics, Methanol, Methods, Pseudomonas},
pages = {117--126}
},
@article{makar_formate_1975-1,
title = {Formate assay in body fluids: application in methanol poisoning},
volume = {13},
issn = {0006-2944},
shorttitle = {Formate assay in body fluids},
url = {http://www.ncbi.nlm.nih.gov/pubmed/1},
number = {2},
journal = {Biochemical medicine},
author = {Makar, A B and {McMartin}, K E and Palese, M and Tephly, T R},
month = jun,
year = {1975},
note = {{PMID:} 1},
keywords = {Aldehyde Oxidoreductases, Animals, Body Fluids, Carbon Dioxide, Formates, Haplorhini, Humans, Hydrogen-Ion Concentration, Kinetics, Methanol, Methods, Pseudomonas},
pages = {117--126}
},
@article{duggleby_competitive_1975,
title = {A competitive labeling method for the determination of the chemical properties of solitary functional groups in proteins},
volume = {14},
issn = {0006-2960},
url = {http://www.ncbi.nlm.nih.gov/pubmed/42},
abstract = {The properties of the functional groups in a protein can be used as built-in-probes of the structure of the protein. We have developed a general procedure whereby the ionization constant and chemical reactivity of solitary functional groups in proteins may be determined. The method may be applied to the side chain of histidine, tyrosine, lysine, and cysteine, as well as to the amino terminus of the protein. The method, which is an extension of the competitive labeling technique using {[3H]-} and {[14C]1-fluoro-2},4-dinitrobenzene {(N2ph-F)} in a double-labeling procedure, is rapid and sensitive. Advantage is taken of the fact that after acid hydrolysis of a dinitrophenylated protein, a derivative is obtained which must be derived from a unique position in the protein. The method has been applied to the solitary histidine residue of lysozyme, alpha-lytic protease, and Streptomyces griseus {(S.G.)} trypsin, as well as to the amino terminus of the latter protein. The following parameters were obtained for reaction with N2ph-F at 20 degrees C in 0.1 N {KCl:} the histidine of hen egg-white lysozyme, {pKa} of 6.4 and second-order velocity constant of 0.188 M-1 min-1; the histidine of alpha-lytic protease, {pKa} of 6.5 and second-order velocity constant of 0.0235 M-1 min-1; the histidine of {S.G.} trypsin, {pKa} of 6.5 and second-order velocity constant of 0.0328 M-1 min-1; the valyl amino terminus of {S.G.} trypsin, {pKa} of 8.1 and second-order velocity constant of 0.403 M-1 min-1. In addition, the results obtained provide clues as to the microenvironments of these functional groups, and indicate that the proteins studied undergo {pH-dependent} conformational changes which affect the microenvironment, and hence the chemical reactivity of these groups.},
number = {23},
journal = {Biochemistry},
author = {Duggleby, R G and Kaplan, H},
month = nov,
year = {1975},
note = {{PMID:} 42},
keywords = {Binding, Competitive, Binding Sites, Dinitrofluorobenzene, Histidine, Hydrogen-Ion Concentration, Kinetics, Muramidase, Peptide Hydrolases, Protein Binding, Streptomyces griseus, Trypsin, Valine},
pages = {5168--5175}
},
@book{isenberg_science_1992,
address = {New York},
title = {The science of soap films and soap bubbles},
isbn = {0486269604 9780486269603},
publisher = {Dover Publications},
author = {Isenberg, Cyril},
author = {Isenberg, C.},
year = {1992}
},
@misc{drenckhan_seminaire_2012,
address = {Ircam, Paris},
title = {Séminaire interne de l'équipe Représentation Musicales},
author = {Drenckhan, Wiebke},
title = {A presentation on liquid foam, Séminaire interne de l'équipe Représentations Musicales},
author = {Drenckhan, W.},
year = {2012}
},
@ -337,7 +274,7 @@
title = {{MGS:} a Programming Language for the Transformations of Topological Collections},
lccn = {0038},
institution = {Laboratoire de Méthodes Informatiques},
author = {Giavitto, Jean-Louis and Michel, Olivier},
author = {Giavitto, J.-L. and Michel, O.},
year = {2001},
keywords = {ds2, mgs, tissue\_modelling}
},
@ -351,7 +288,7 @@
abstract = {For centuries, scientists have attempted to identify and document analytical laws that underlie physical phenomena in nature. Despite the prevalence of computing power, the process of finding natural laws and their corresponding equations has resisted automation. A key challenge to finding analytic relations automatically is defining algorithmically what makes a correlation in observed data important and insightful. We propose a principle for the identification of nontriviality. We demonstrated this approach by automatically searching motion-tracking data captured from various physical systems, ranging from simple harmonic oscillators to chaotic double-pendula. Without any prior knowledge about physics, kinematics, or geometry, the algorithm discovered Hamiltonians, Lagrangians, and other laws of geometric and momentum conservation. The discovery rate accelerated as laws found for simpler systems were used to bootstrap explanations for more complex systems, gradually uncovering the “alphabet” used to describe those systems.},
number = {5923},
journal = {Science},
author = {Schmidt, Michael and Lipson, Hod},
author = {Schmidt, M. and Lipson, H.},
year = {2009},
pages = {81--85}
},
@ -366,7 +303,7 @@
doi = {10.1023/B:TRUC.0000021806.17516.d0},
number = {1/2},
journal = {Instructional Science},
author = {Paas, Fred and Renkl, Alexander and Sweller, John},
author = {Paas, F. and Renkl, A. and Sweller, J.},
month = jan,
year = {2004},
pages = {1--8}
@ -395,6 +332,6 @@
url = {http://articles.ircam.fr/textes/Bigo11c/},
booktitle = {Mathematics and Computation in Music},
publisher = {Springer},
author = {Bigo, Louis and Giavitto, Jean-Louis and Spicher, Antoine},
author = {Bigo, L. and Giavitto, J.-L. and Spicher, A.},
year = {2011}
}

193
content.tex
View file

@ -166,11 +166,11 @@ musification)}
En général on ne peut pas passer facilement des observables d'un système
aux lois les régissant et même si au moins une méthode automatique existe
\cite{schmidt_distilling_2009}, elle reste pour l'instant limitée à des cas
particuliers. Il est alors intéressant de passer par une sonification du système
(figure~\ref{fig:dico}). En utilisant la PMS, on donne une représentation sonore
aux observables de notre système qui est perçue par le système auditif comme un
objet sonore dont on peut extraire des caractéristiques ou des relations. Ces
relations sonores sont un lien direct avec les lois du système.
particuliers. Il est alors intéressant de passer par une sonification du
système. En utilisant la PMS, on donne une représentation sonore aux observables
de notre système qui est perçue par le système auditif comme un objet sonore
dont on peut extraire des caractéristiques ou des relations. Ces relations
sonores sont un lien direct avec les lois du système.
%Outils et thèse Vogt
Le domaine de la sonification scientifique en physique est bien détaillé
@ -179,7 +179,9 @@ outils et environnements pour la recherche de relations par
PMS \cite{candey_xsonify_2006} \cite{pauletto_toolkit_2004}
\cite{walker_sonification_2003}, cependant aucun ne tirent réellement parti du
côté fortement structurel de la musique. Pourtant, la musique a de réels atouts
au sein de la sonification et c'est pourquoi nous introduisons la musification.
au sein de la sonification et c'est pourquoi nous proposons de dépasser le
cadre de la sonification pour aller vers la musification des données, comme
illustré par le schéma en figure~\ref{fig:dico}.
\subsection[À la musification]{\ldots\ à la musification}
Une approche de notre problème par les techniques de sonification classiques
@ -402,23 +404,29 @@ comme la \emph{Set Theory}.
\subsection{Une vue sur la théorie musicale}
\label{subsec:music}
Nous nous contenterons d'une description générale de cette théorie
musicale. La formalisation musicale s'est accentuée à la fin du
XX\ieme\ siècle avec l'utilisation d'outils algébriques pour décrire
les collections de hauteurs et généraliser les intervalles musicaux :
Nous nous contenterons d'une description générale de cette théorie musicale.
La formalisation musicale s'est accentuée à la fin du XX\ieme\ siècle
avec l'utilisation d'outils algébriques pour décrire les collections de
hauteurs et généraliser les intervalles musicaux : c'est le paradigme de
la \emph{Set Theory}~\cite{forte_structure_1973} \cite{rahn_basic_1987}
\cite{andreatta_autour_2008}. En rajoutant des opérations algébriques à l'espace
des hauteurs on obtient un couple (ensemble, structure) nous ouvrant l'accès
à la théorie des groupes. Les opérations ensemblistes et algébriques sont
disponibles : union et intersection, utilisation de la loi interne, etc.
\cite{andreatta_autour_2008}, que l'on peut traduire en français par «~Théorie
(musicale) des ensembles~»\footnote{Une approche qui, à la différence de
la théorie des ensembles en mathématiques, s'applique principalement à des
structures finies et laisse donc de côté les problèmes des fondements des
mathématiques}. En rajoutant des opérations algébriques à l'espace des hauteurs
on obtient un couple (ensemble, structure) nous ouvrant l'accès à la théorie des
groupes. Les opérations ensemblistes et algébriques sont disponibles : union et
intersection, utilisation de la loi interne, etc.
La notion importante utilisée tout au long de ce mémoire est celle
d'\emph{intervalle} : c'est la distance entre deux notes. Le plus petit
intervalle considéré est le demi-ton. Il y a 12 demi-tons dans la gamme
occidentale et ils sont répartis sur 7 notes (figure~\ref{fig:gamme}). On peut
altérer la hauteur d'une note, donc l'intervalle ayant pour une de ses bornes
cette note, en la faisant précéder d'une altération : ♯ (dièse, +1 demi-ton) ou
♭ (bémol, -1 demi-ton).
intervalle considéré tout au long de notre étude est le demi-ton car nous
nous basons sur la gamme occidentale. Cette gamme utilisant le tempérament
égal, a 12 demi-tons, tous à égale distance l'un par rapport à l'autre
(d'où le terme «~égal~» pour indiquer le tempérament) et répartis sur sept
notes (figure~\ref{fig:gamme}). On peut altérer la hauteur d'une note, donc
l'intervalle ayant pour une de ses bornes cette note, en la faisant précéder
d'une altération : ♯ (dièse, +1 demi-ton) ou ♭ (bémol, -1 demi-ton).
\begin{figure}[p]
\centering
@ -569,12 +577,12 @@ graphe de Cayley}
\end{figure}
Le musicologue Hugo Riemann a beaucoup exploré ce mode de représentation des
relations intervaliques entre note pour soutenir son système liant les triades
majeures et mineures. En gardant l'agencement d'Euler et en récupérant une
triangulation de l'espace, on obtient immédiatement toutes les triades Majeures
et mineures de la gamme agencées par tonalités voisines, comme Do Majeur (La
mineur) est la tonalité relative Majeure (mineure) à La mineur (Do Majeur)
respectivement, comme on peut le voir sur la figure~\ref{fig:trig}.
relations intervaliques entre les notes pour soutenir son système liant les
triades majeures et mineures. En gardant l'agencement d'Euler et en récupérant
une triangulation de l'espace, on obtient immédiatement toutes les triades
Majeures et mineures de la gamme agencées par tonalités voisines, comme Do
Majeur (La mineur) est la tonalité relative Majeure (mineure) à La mineur (Do
Majeur) respectivement, comme on peut le voir sur la figure~\ref{fig:trig}.
\begin{figure}[p]
\centering
@ -786,15 +794,17 @@ utilisons deux générateurs : la tierce Majeure (\texttt{4}) et la quinte juste
(\texttt{7}). Le sommet à l'origine du graphe de Cayley est l'élément
\emph{neutre} du groupe. Dans nos exemples, nous utilisons la présentation
finie suivante, notée additivement car nous sommes dans un groupe commutatif :
$$ g_{4,7} = < 4, 7\ |\ 3.\mathbf{4} + 0.\mathbf{7} = 0,\quad0.\mathbf{4} +
12.\mathbf{7} = 0,\quad4 + 7 = 7 + 4 > $$
$$ g_{4,7} = < \mathbf{4}, \mathbf{7}\ |\ 3.\mathbf{4} + 0.\mathbf{7} = 0,\quad0.\mathbf{4} +
12.\mathbf{7} = 0,\quad\mathbf{4} + \mathbf{7} = \mathbf{7} + \mathbf{4} > $$
Nous avons noté les générateurs en gras et l'écriture $n.\mathbf{g}$ abrège
la somme $\mathbf{g} + \cdots + \mathbf{g}$ n fois.
\begin{figure}[ht]
\centering
\subfloat[Chemin fermé universel dans un graphe de Cayley]{
\subfloat[Chemin fermé satisfait dans tout graphe de Cayley, car « il revient sur ses pas »]{
\begin{tikzpicture}[scale=.45\textwidth/4cm]
\clip (-15mm,-5mm) rectangle (25mm,15mm);
\draw[step=1cm,densely dotted] (-2,-1) grid (3,3);
\clip (-25mm,-5mm) rectangle (15mm,15mm);
\draw[step=1cm,densely dotted] (-3,-1) grid (2,3);
\fill (0,0) circle (2pt);
\fill (0,1) circle (2pt);
\fill (1,1) circle (2pt);
@ -802,11 +812,13 @@ $$ g_{4,7} = < 4, 7\ |\ 3.\mathbf{4} + 0.\mathbf{7} = 0,\quad0.\mathbf{4} +
node[right] {-b} ++(0,1);
\draw[thick,<->,double] (1,1) -- node[below] {-a}
node[above] {a} ++(-1,0);
\draw[thin,-open triangle 90] (-2,0) -- node[left] {a} ++(0,1);
\draw[thin,-open triangle 90] (-2,0) -- node[below] {b} ++(1,0);
\end{tikzpicture}
\label{fig:closepath}}
\qquad
\subfloat[Chemin fermé dans un graphe de Cayley spécifique à la contrainte $a +
b = b + a$]{
\subfloat[Chemin fermé dans un graphe de Cayley spécifique à la contrainte $b +
b + (-b) + (-a) = 0$]{
\begin{tikzpicture}[scale=.45\textwidth/4cm]
\clip (-15mm,-5mm) rectangle (25mm,15mm);
\draw[step=1cm,densely dotted] (-2,-1) grid (3,3);
@ -826,31 +838,33 @@ b = b + a$]{
Dans le graphe de Cayley associé à cette présentation, l'espace se replie sur
lui-même après 4 « sauts » de tierce Majeure ou 12 « sauts » de quinte juste,
on a ainsi un tore. Nous travaillons dans un dépliage de ce tore.
on a ainsi un tore. Nous travaillons dans un « dépliage » de ce tore.
Tout graphe de Cayley possède des chemins fermés, par exemple dans le graphe
construit à partir de deux générateurs $a$ et $b$, le chemin suivant décrit par
le mot $w$ est fermé en toute généralité (figure~\ref{fig:closepath}):
le mot $w$ est fermé en toute généralité (figure~\ref{fig:closepath}) car il «
revient sur ses pas » :
$$ w = a + b + (-b) + (-a) $$
Certains graphes de Cayley possèdent des chemins fermés qui leur sont
\emph{spécifiques} ; en reprenant l'exemple précédant augmenté de la contrainte
de commutativité $ a + b = b + a $, on obtient un autre chemin fermé décrit par
le mot $w$ (figure~\ref{fig:closepath2}) :
Les graphes de Cayley possèdent des chemins fermés qui leur sont
\emph{spécifiques} car caractéristiques des équations de la présentation ;
en reprenant l'exemple précédant augmenté de la contrainte de commutativité
$ a + b = b + a $, on obtient un autre chemin fermé décrit par le mot $w$
(figure~\ref{fig:closepath2}) :
$$ w = a + b + (-a) + (-b) $$
\subsection{Quelques mappings}
Pour apporter des éléments de réponse aux questions des physiciens
(§~\ref{subsec:mousses}), nous proposons les mappings M$_1$, M$_2$, M$_3$
et M$_4$ suivants. Le premier porte sur l'aspect signal et entre de ce fait
complètement dans le cadre de la sonification classique, les trois suivants
tirent partie des théories musicales néo-Riemanniennes et portent sur des études
rythmiques et mélodiques. À chaque mapping correspond une table des paramètres :
les paramètres de la bulle sont liés directement aux dimensions et descripteurs
(§~\ref{subsec:mousses}), nous proposons les mappings M$_1$, M$_2$, M$_3$ et
M$_4$ suivants. Le premier porte sur l'aspect signal et entre de ce fait dans
le cadre de la sonification classique, les trois suivants tirent partie des
théories musicales néo-Riemanniennes et portent sur des études rythmiques
et mélodiques. À chaque mapping correspond une table des paramètres : les
paramètres de la bulle sont liés directement aux dimensions et descripteurs
du système physique, les paramètres du modèle sont ceux liés directement aux
dimensions du mapping et qui sont reliés aux précédents et finalement les
paramètres arbitraires sont ceux que l'on ne contrôle pas explicitement mais qui
influent sur le résultat.
paramètres arbitraires sont ceux que l'on ne contrôle pas via les données
expérimentales mais qui influent sur le résultat.
\subsubsection{M$_1$ : Synthèse modale}
\label{subsec:modal}
@ -928,9 +942,8 @@ fois sur la taille des bulles et sur leur répartition le long de $(\Delta)$. La
liste des paramètres peut être consultée dans la table \ref{tab:param2}.
\begin{table}[hb]
\begin{agrandirmarges}{1cm}
\centering
\begin{tabular}{|l|l|l|}
\begin{tabular}{|m{4cm}|m{4cm}|m{4cm}|}
\hline
\textbf{Paramètre de la bulle} &
\textbf{Paramètre du modèle} &
@ -943,7 +956,6 @@ Position du centre en ordonnée & & \\
\end{tabular}
\caption{Liste des paramètres d'une bulle liée à un chemin rythmique}
\label{tab:param2}
\end{agrandirmarges}
\end{table}
Une technique similaire est mise en œuvre par S. Adhitya dans SUM
@ -964,9 +976,9 @@ de dimension donnée. Elle a pour intérêt de parcourir tout l'espace en le
décrivant, zone par zone et donc d'offrir un aperçu sonore permettant de rendre
compte de la « densité » d'un paramètre, par zone.
On peut imaginer une famille de courbes $(H_1,H_2,H_3)$ qui remplissent de mieux
en mieux l'espace, chaque $H_i$ approchant et agrégeant les parcelles de plus
en plus précisément.
On peut imaginer une famille de courbes $(H_1,H_2,H_3,\ldots)$ qui remplissent
de mieux en mieux l'espace, chaque $H_i$ approchant et agrégeant des domaines
spatiaux de plus en plus fins.
\begin{figure}[ht]
%\draw [opacity=.2,line join=round,line width=1cm,
@ -1046,10 +1058,10 @@ caractéristique initiale réglable.
\begin{figure}[ht]
\centering
\subfloat[$P_2$, pavage hexagonal se rapportant au graphe dual d'un graphe de
Cayley]{\includegraphics[width=.3\textwidth]{img/hex}}
Cayley]{\includegraphics[width=.4\textwidth]{img/hex}}
\qquad\qquad
\subfloat[$P_1$, mousse en deux dimensions]{
\includegraphics[width=.3\textwidth]{img/bul}}\\[1cm]
\includegraphics[width=.4\textwidth]{img/bul}}\\[1cm]
\subfloat[Numérotation unique des voisins d'une bulle (convention utilisée)]{
\begin{tikzpicture}[rotate=30,scale=.7,
hex/.style={regular polygon, regular polygon sides=6, draw, inner sep=.5cm,
@ -1069,7 +1081,7 @@ Cayley]{\includegraphics[width=.3\textwidth]{img/hex}}
\qquad
\subfloat[Projection de deux chemins de $P_2$ à $P_1$. Du plus clair
au plus foncé, à gauche, $1, 2, 3, 4, 5$ et à droite $6, 4, 6, 4, 6$]{
\includegraphics[height=.16\textheight]{img/bulandhex}
\includegraphics[height=.17\textheight]{img/bulandhex}
\label{fig:M3d}}
\caption{Schéma de la sonification des chemins dans un système physique en deux
dimensions}
@ -1094,16 +1106,16 @@ une mousse régulière et à chacun de ces hexagones correspond une note. Toutes
les transformations se font sur une base métrique.
Un chemin dans une mousse est une suite de sauts entre bulles voisines. Dans
un tonnetz, ceci correspond à une suite de notes. Dans le graphe de Cayley
de la présentation $g_{4,7}$ du groupe $\mathbb{Z}_{12}$, chaque élément a
six voisins, en prenant les directions \texttt{a}, \texttt{b}, \texttt{a+b},
\texttt{-a}, \texttt{-b} et \texttt{-(a+b)}. Nous numérotons de manière unique
(figure \ref{fig:num}) le voisinage de chaque bulle et nous indiquons ainsi
un chemin par une suite d'identifiants correspondant aux directions (uniques)
à prendre. Nous utiliserons par la suite soit des chemins construits à partir
de points ou définits comme une succession de directions. Dans tous les cas,
deux points consécutifs dans un chemin sont \emph{voisins} dans la mousse ou
dans le graphe de Cayley. On construit les projections de la manière suivante :
un tonnetz, ceci correspond à une suite de notes. Dans le graphe de Cayley de
la présentation $g_{4,7,11}$ du groupe $\mathbb{Z}_{12}$, chaque élément a six
voisins, en prenant les directions $a$, $b$, $c = a + b$, et leurs inverses.
Nous numérotons de manière unique (figure \ref{fig:num}) le voisinage de
chaque bulle et nous indiquons ainsi un chemin par une suite d'identifiants
correspondant aux directions (uniques) à prendre. Nous utiliserons par la suite
soit des chemins construits à partir de points ou définits comme une succession
de directions. Dans tous les cas, deux points consécutifs dans un chemin sont
\emph{voisins} dans la mousse ou dans le graphe de Cayley. On construit les
projections de la manière suivante :
\begin{itemize}
\item $\pi_{12}$ : on part du plan $P_1$, dans lequel se trouve un chemin $c$
de longueur $n$ constitué des \emph{points} $p_1$, $p_2$, …, $p_n$.
@ -1146,11 +1158,11 @@ une distorsion d'un chemin mélodique dans un tonnetz. À partir de là, on peut
exemple :
\begin{itemize}
\item on peut écouter un objet musical (note, accord, rythme) qui est lié à la
distance entre point d'arrivée du chemin idéal et point d'arrivée du chemin
distance entre le point d'arrivée du chemin idéal et le point d'arrivée du chemin
déformé ;
\item on peut, plus globalement, écouter le chemin correspondant à une mélodie
connue, soit en canon (une voix correspondant à un chemin idéal, l'autre
correspondant au chemin déformé), soit uniquement l'air déformé (le background
correspondant au chemin déformé), soit uniquement l'air déformé (le bagage
culturel commun permettant de détecter immédiatement la différence avec l'air
connu).
\end{itemize}
@ -1161,9 +1173,9 @@ dans $P_1$ et dans $P_2$, alors que le chemin de droite est clairement déformé
dans $P_1$, dû à une irrégularité le long du chemin.
\begin{table}[h]
\begin{agrandirmarges}{1.5cm}
\centering
\begin{tabular}{|l|l|l|}
\begin{tabular}{|m{4cm}|m{4cm}|m{4cm}|}
%\begin{tabular}{|l|l|l|}
\hline
\textbf{Paramètre de la bulle} &
\textbf{Paramètre du modèle} &
@ -1177,7 +1189,6 @@ Position du centre en ordonnée & Rayon moyen d'un hexagone dans la grille & \\
\end{tabular}
\caption{Liste des paramètres d'une bulle liée à un chemin musical}
\label{tab:param3}
\end{agrandirmarges}
\end{table}
@ -1192,6 +1203,12 @@ exemple la comptine Frère Jacques) et le rythme rajoute une information sur les
différences de distance entre le parcours dans un espace \emph{régulier} et
déformé.
\bigskip
Pour clore cette section, notez qu'une page web\footnote{%
\url{http://repmus.ircam.fr/blogteam/potier/list-of-parameter-mappings}}
~hébergée à l'\ircam\ permet d'écouter des échantillons sonores associées aux
méthodes M$_1$, M$_2$ et M$_3$ obtenus pendant l'implémentation.
\section{Implementation}
\label{sec:implementation}
% État du travail
@ -1288,13 +1305,12 @@ interface visuelle pour la programmation des boucles, entre autre. C'est un
logiciel libre conçu et développé à l'\ircam\ fonctionnant sur MacOS et Windows
: ce sont ces arguments qui ont motivé notre choix.
\begin{figure}[ht]
\begin{agrandirmarges}{.15\textwidth}
\includegraphics[width=1.3\textwidth]{img/visual-prog}
\begin{figure}[p]
\centering
\includegraphics[width=.9\textheight,angle=90]{img/visual-prog}
\caption{Photo d'écran présentant plusieurs fenêtres d'\openmusic\ pendant
l'implémentation de M$_3$ et M$_4$}
\label{fig:om}
\end{agrandirmarges}
\end{figure}
\subsection{La bibliothèque logicielle \musify}
@ -1435,16 +1451,13 @@ Afin de limiter la fatigue des sujets, l'expérience ne doit pas durer plus de
\section{Perspectives}
De par la courte durée du stage et de par le côté fortement
exploratoire du sujet, certaines parties n'ont été que partiellement
traitées et d'autres n'ont été qu'entrevues. Une page web\footnote{%
\url{http://repmus.ircam.fr/blogteam/potier/list-of-parameter-mappings}}
~hébergée à l'\ircam\ permet d'écouter des échantillons sonores associées aux
méthodes M$_1$, M$_2$ et M$_3$ obtenus pendant l'implémentation.
traitées et d'autres n'ont été qu'entrevues.
\bigskip
Voici quelques explications sur les points insuffisamment abordés.
\begin{description}
\item[Vérification du graphe de voisinage]
\item[Vérification du graphe de voisinage.]
Le premier point à aborder est celui de la comparaison entre une triangulation
de Delaunay et le voisinage \emph{réel} dans une mousse. Comme décrit dans
§~\ref{subsec:musify}, nous utilisons une triangulation de Delaunay afin trouver
@ -1454,7 +1467,7 @@ d'utiliser cette méthode comme approximation du voisinage, sachant que le
paramètre «~nombre de voisins~» est très important du point de vue des mousses
liquides en deux dimensions.
\item[Une extension de M$_1$]
\item[Une extension de M$_1$.]
Une seconde voie d'amélioration serait d'ajouter à M$_1$ une donnée locale en
plus du traitement global. Pour le moment, nous considérons chaque bulle comme
des entités séparées et sans interaction les unes avec les autres. À l'instar
@ -1467,25 +1480,25 @@ serait intéressant de rajouter une interaction entre chaque bulle en prenant en
compte les fréquences de résonnance de chacune afin d'amplifier ou d'inhiber ses
voisines.
\item[Une validation approfondie]
\item[Une validation approfondie.]
La partie de validation n'a malheureusement été que très peu traitée. Il est
primordial de mener des campagnes de validation auprès de très nombreux sujets
afin de valider statistiquement la pertinence des résultats.
\item[Développement d'un cadre général]
Comme amrcé avec la bibliothèque logicielle \musify, nous avons pour
\item[Développement d'un cadre général.]
Comme amorcé avec la bibliothèque logicielle \musify, nous avons pour
but de développer un environnement de sonification général permettant
l'exploration d'un ensemble de données pour y trouver des relations, de manière
semi-automatique, interactive (modèle Human-In-The-Loop) et temps-réel afin que
l'utilisateur puisse en permanence obtenir un retour sonore.
Ce cadre général vise à être développé dans un sujet de thèse déposé cette année
à l'ÉDITE de Paris VI.
l'utilisateur puisse en permanence obtenir un retour sonore. Ce cadre général
vise à être développé dans un sujet de thèse déposé cette année à l'ÉDITE de
Paris VI.
\item[Explorer plus de mapping]
\item[Explorer plus de mapping.]
Par exemple, il faudrait explorer des variantes de M$_3$ avec des accords plutôt
que des mélodies.
\item[Surchage cognitive]
\item[Surchage cognitive.]
Il serait intéressant de savoir jusqu'à quel point on peut superposer
des informations différentes (comme dans M$_4$ : rythme, accord,
polyphonie, timbre, etc.) avant d'atteindre un point de surchage
@ -1493,7 +1506,7 @@ cognitive~\cite{paas_cognitive_2004} (qui peut être tout autant un phénomène
masquage de fréquence), auquel cas il est inutile de continuer à «~empiler~»
l'information.
\item[Exploration des mappings]
\item[Exploration des mappings.]
Comment explorer semi-automatiquement les mappings ? On pourrait faire défiler
auditivement plusieurs mapping différents du même processus et laisser
l'auditeur choisir le plus approprié. Il faut concevoir une interface pour
@ -1502,7 +1515,7 @@ affiner lui-même son écoute, parmi un dictionnaire de mapping existant. Il
manque un outil générique et très flexible (comme \texttt{gnuplot}) qui, à
partir de séries temporelles, produit de la musique (plutôt que des graphiques).
\item[Étude systématique des rapports 2D/3D]
\item[Étude systématique des rapports 2D/3D.]
Afin de pouvoir généraliser ensuite le modèle à trois dimensions, il serait
intéressant d'étudier en détail les projections de 3D vers 2D, avec une courbe
de Hilbert par exemple, par balayage (comme le principe du radar) ou par une

92
fiche-synthese.tex
View file

@ -30,37 +30,41 @@
% impossible, d'étudier un tel système avant d'en connaître ses observables
% utiles.
Le travail de recherche présenté dans ce mémoire essaye de montrer la pertinence
de l'utilisation de processus musicaux pour l'analyse de l'évolution de systèmes
dynamiques complexe. La sonification est un domaine récent qui s'appuie
sur des processus sonores afin d'analyser le comportement d'un système, à
Le travail présenté dans ce rapport étudie la pertinence de l'utilisation
de processus musicaux pour l'analyse de l'évolution de systèmes dynamiques
complexes. La \emph{sonification} est un domaine récent qui s'appuie sur
des processus sonores afin d'analyser le comportement d'un système, à
l'instar de la visualisation scientifique qui s'appuie sur la présentation
graphique de données scientifiques. Ici, nous faisons une étape supplémentaire
en nous appuyant sur des structures musicales, au-dessus des structures
sonores, afin de mettre en évidence des régularités dans des séries temporelles
caractérisant l'évolution d'un système complexe particulier : les mousses
liquides. La sonification est un domaine par essence pluridisciplinaire. Les
travaux notables sont ceux répertoriés dans l'ouvrage \emph{The Sonification
Handbook} (\url{http://sonification.de/handbook/}) de T. Hermann, A. Hunt et J.
Neuhoff. Différentes méthodes y sont normalisées avec leurs atouts et domaine
d'application.
graphique de données scientifiques. La sonification est un domaine par
essence pluridisciplinaire. Les travaux notables de ce nouveau domaine
de recherche sont répertoriés dans l'ouvrage \emph{The Sonification
Handbook}\footnote{\url{http://sonification.de/handbook/}}. Différentes méthodes
y sont normalisées avec leurs atouts et domaine d'application.
Notre étude vise à étendre l'approche de la sonification en nous appuyant sur
des structures musicales, au-dessus des structures sonores, afin de mettre en
évidence des régularités dans de grandes masses de données. Nous utilisons le
terme de \emph{musification} pour souligner le caractère multi-échelle de notre
démarche. Notre travail s'est focalisé sur des séries temporelles caractérisant
l'évolution d'un système complexe particulier : les mousses liquides.
\subsection*{Le problème étudié}
%Quelle est la question que vous avez abordée ?
%Pourquoi est-elle importante, à quoi cela sert-il d'y répondre ?
Notre objectif est de fournir aux physiciens un outil permettant d'explorer
Notre but est de fournir aux physiciens un outil permettant d'explorer
des données expérimentales et de mettre en évidence les régularités dans la
trajectoire d'un système dynamique complexe. Plus précisément, nous nous
appuyons sur les caractéristiques du système auditif humain afin de (a)
caractériser le degré d'ordre de l'organisation spatiale du système et (b)
appuyons sur les caractéristiques du système auditif humain afin de : (a)
caractériser le degré d'ordre de l'organisation spatiale du système ; et (b)
repérer les épisodes catastrophiques lors de l'évolution temporelle du système.
%Est-ce un nouveau problème ?
%Si non, pourquoi pensiez-vous pouvoir apporter une contribution originale ?
La question de la découverte automatique des lois d'un système n'est pas
nouvelle, mais notre apport a le mérite d'être original. Nous sommes
certainement parmis les premiers à utiliser les propriétés musicales pour
découvrir les paramètres descripteurs d'un système complexe.
L'analyse et la fouille de donnée sont des problématiques anciennes. Notre
approche ne vise pas à établir automatiquement des relations entre des données
expérimentales, mais vise à assister un humain dans la découverte de relations
complexes à plusieurs échelles. Aborder cette problématique en étendant les
outils de la sonification est à notre connaissance originale.
\subsection*{La contribution proposée}
%Qu'avez vous proposé comme solution à cette question ?
@ -68,17 +72,19 @@ Notre cas d'étude est celui des mousses liquides en deux dimensions et nous
proposons une approche nouvelle : la musification. La musification, étend
l'approche de la sonification en s'appuyant sur les structures musicales
complémentaires des structures sonores : intrinsèquement multi-échelle, la
musique permet de rendre compte de phénomènes à plusieurs échelles (notes,
mesures, phrases ; et parallèlement voix, tonalités). Ces structures sont
facilement et simultanément perçues par le système auditif, ce qui est approprié
à rendre compte des données d'un systèmes à plusieurs échelles.
musique permet de rendre compte de phénomènes à plusieurs échelles (en nous
appuyant sur les structures de notes, mesures, phrases ; et parallèlement sur
celles de voix et de tonalités). Ces structures sont facilement et simultanément
perçues par le système auditif, ce qui est approprié pour rendre compte de la
grande masse de données qui décrivent l'évolution d'un système à plusieurs
échelles.
Une de nos contribution principales est une méthode permettant de rendre compte
musicalement du "défaut d'héxagonalité" des réseaux formés par les bulles de
musicalement du « défaut d'héxagonalité » des réseaux formés par les bulles de
la mousse. Le type de mousse que nous étudions évolue vers un réseau hexagonal
régulier et, en nous appuyant sur la notion de Tonnetz, nous avons développé
un outil permettant de relier l'évolution de la mousse à la déformation d'une
phrase musicale.
régulier et, en nous appuyant sur la notion de \emph{Tonnetz} en musique, nous
avons développé un outil permettant de relier l'évolution de la mousse à la
déformation d'une phrase musicale.
% Nous utilisons les mousses liquides en deux dimensions en exemple et nous
% proposons la voie de la musification. En effet la musique a de bonnes propriétés
@ -101,30 +107,34 @@ phrase musicale.
%Qu'est-ce qui montre que cette solution est une bonne solution ?
%Des expériences, des corollaires ?
Nous avons déjà des résultats d'écoutes qui montrent que l'on peut, à l'oreille,
déterminer avec le bon paramètre un moment de l'évolution temporelle du système.
Les résultats préliminaires d'écoute que nous avons obtenus montrent que l'on
peut, à l'oreille, déterminer avec le bon paramètrage les différentes phases de
l'évolution temporelle du système étudié.
%Commentez la \emph{robustesse} de votre proposition :
Notre proposition est fondée sur la nature structurée, naturelle et commune de
la musique (occidentale), ce qui rend notre approche suffisamment reproductible
et relativement efficace, même à un auditeur naïf des théories musicales.
la musique occidentale, ce qui rend notre approche suffisamment reproductible
et relativement efficace, même face à un auditeur naïf des théories musicales.
%comment la validité de la solution dépend-elle des hypothèses de travail ?
Notre approche est cependant dépendante en partie des habitudes culturelles
musicales et seulement dans ce cas demande de l'apprentissage.
Cependant, notre méthode est dépendante en partie du bagage culturel
musicale et l'effet de l'apprentissage reste à évaluer.
\subsection*{Le bilan et les perspectives}
%Et après ? En quoi votre approche est-elle générale ?
Le travail effectué ici est un travail préliminaire qui vise à explorer, pour la
première fois, la notion de musification (au-delà de la sonification) et il faut
impérativement continuer dans cette voie.
Le travail effectué ici est un travail préliminaire qui vise à explorer,
pour la première fois, la notion de musification au-delà de la sonification.
Les premiers résultats obtenus sont encourageants et poussent à approfondir
l'approche esquissée dans ce travail.
%Qu'est-ce que votre contribution a apporté au domaine ?
%Que faudrait-il faire maintenant ?
Il reste beaucoup de validation ainsi que l'extension et la mise en pratique
des méthodes présentées.
Il reste beaucoup de validation à effectuer ainsi qu'à étudier systématiquement
diverses extensions des méthodes proposées.
%Quelle est la bonne \emph{prochaine} question ?
La prochaine question est celle de la navigation parmi les méthodes proposées
pour la recherche exploratoire de relations dans un système complexe.
Parmis les perspectives ouvertes par ce travail, une des plus cruciales est
sans doute celle de la navigation assistée dans les différents paramétrages des
données afin d'explorer le plus efficacement possible les relations potentielles
exhibées par le système dynamique à analyser.
\end{abstract}
% \end{document}

15
memoire.tex
View file

@ -15,9 +15,11 @@
\usetikzlibrary{positioning}
\usetikzlibrary{fit}
\usetikzlibrary{lindenmayersystems}% for Hilbert curve
\usetikzlibrary{arrows}
\usepackage[lofdepth,lotdepth]{subfig}% replaces subfigure
\usepackage{scrtime}
\usepackage[section]{placeins} % force flushing figures before section starts
\usepackage{array}
%\usepackage{hyperref}
\defaultfontfeatures{Scale=MatchLowercase}
@ -90,9 +92,9 @@ UMR 9912 - STMS \hfill UMR 8502 - Université Paris-Sud\\%
\begin{center}
Stage encadré par :\\[2ex]
Wiebke \textsc{Drenckhan} (\lps/CNRS)\\
Moreno \textsc{Andreatta} (\ircam/CNRS)\\
et\\
Moreno \textsc{Andreatta} (\ircam/CNRS)\\[6ex]
Wiebke \textsc{Drenckhan} (\lps/CNRS)\\[6ex]
Rapporteur :\\[2ex]
Gilles \textsc{Schaeffer}
\end{center}
@ -127,10 +129,11 @@ Laurent \textsc{Bonnasse-Gahot} pour ses suggestions éclairées à propos de
tuiles et de tremblement de terre ainsi que Philippe \textsc{Esling}.
\medskip
Je remercie enfin Gérard \textsc{Assayag} pour avoir soutenu mon projet de thèse
à l'ÉDITE, ainsi que Amandine et Grégoire (pour les relectures) et Benjamin,
Eric, Jérémie, toute l'équipe du LPS que j'ai eu la chance rencontrer et le
personnel de l'IRCAM en général pour leur bonne humeur au quotidien.
Je remercie enfin Gérard \textsc{Assayag} pour m'avoir accueilli au sein de
son équipe Représentations Musicales, ainsi que Amandine et Grégoire (pour les
relectures) et Benjamin, Eric, Jérémie, toute l'équipe du LPS que j'ai eu la
chance rencontrer et le personnel de l'IRCAM en général pour leur bonne humeur
au quotidien.
\medskip
Je souhaite finalement remercier ma famille, mes amis et surtout Olivia pour